怎么让蜘蛛禁止抓取带搜索的search?页面
是的,可以生成 的
Disallow: /search
看URL层级,如果你不想被抓取的页面是 www.某域名/search 中search栏目下的所有页面,就像上面那样写即可
站长之家可以生成
让更多人参与回答