网站蜘蛛每次都是来抓取页面，问题是抓取页面次数都是重复的，长时间更新依然抓取页面重复的，这是什么情况？蜘蛛抓取重复的也没有什么作用，如何引导蜘蛛爬取页面正常不要重复的抓取？谢谢高手解答问题。
重复抓取的后期会自动去重
楼上的楼主们说的都对
这应该是正常情况吧
基本好多都是重复抓取正常
让更多人参与回答
