禁止抓去某些栏目是怎么写的呢？？ 悬赏3元 已结束
如果我不想让蜘蛛抓去http://www.xxxxx.com/ask/lists/下面的内容，这样写可以吗？ 有没有错呢？
Disallow: http://www.xxxxx.com/ask/lists/
因为这里面的都是死连接
19 人参与回答
Disallow: /ask/lists/ 这样就可以了
Disallow:
Disallow:xxxxxx
直接 写目录就行
不用带网站名
是的，不用写域名地址，直接写目录路径。
或者专门找个网站技术也可以，自己不懂的话
没必要带网站，直接写目录就行，写完拿工具检测一下是不是禁止了
直接写机器人协议就好了
按照你的意思，写在 robos里就可以了
写在 robos里面就可以了
User-agent: Baiduspider
Disallow: ask/lists/
可以写成相对路径，但是要路径后面有斜杠和没有斜杠的区别：比如Disallow:/lists/有斜杠是禁止抓取lists整个文件夹，Disallow: /lists没有斜杠意思是凡是路径里面有lists这个关键词的都会被屏蔽。按照你的意思，可以写成
User-agent: *
Disallow: /ask/lists/
User-agent: Baiduspider
Disallow: /ask/lists/
没什么问题，这样写就可以了，没必要太纠结这个
写在 robos里面就可以了
User-agent: Baiduspider
Disallow: （禁止的页面）
