蜘蛛就是爬取页面是重复的，经常爬取页面重复性太高了，爬取页面重复对网站也没有好处，为什么蜘蛛一次次的爬取重复的页面，如何引导蜘蛛爬取页面正确？真的不希望蜘蛛这样反复的爬取页面没有用的。
这个问题不大的，不停的爬就是好事，最怕不爬你的站，哈哈。有些网站内容更新快，不停的爬抓取最新页面是正常的。
被抓取多次并没有什么问题啊，如果你看的是蜘蛛访问记录抓取多次也可以是某条连接过来的，比如随机随机推荐的链接，或者外部广告。 如果你查的出来源，还是发现多次短时间内同时抓取，那么有可能这个页面当时访问受限，或者打开不流畅，应该考虑优化服务器，或者换个空间，具体原因需要你自己查。
让更多人参与回答
