网站就是蜘蛛每次来了，反复抓取一个页面多次，每次都是抓取重复的页面太多，为什么蜘蛛到反复抓取一个页面？有什么办法可以禁止蜘蛛不要抓取重复的页面？我查看了每次重复，郁闷啊！
这种情况不用管它就行了
让更多人参与回答
