百度蜘蛛重复抓取一个页面，一个页面重复的抓取，其它页面不被抓取，如何让蜘蛛不要重复的抓取？抓取的都没有多大用，我应该怎么办？
禁止抓取的话并不会让蜘蛛抓其他页面，重复抓也没事吧
设置一个robot看看
如果对服务器不影响的话，就让他抓呗
禁止抓取
robot就可以了
可以试下设置一个robot看看
robot禁止抓取那个目录
那就禁止抓取吧
让更多人参与回答
