网站蜘蛛反复爬取页面重复，最近一直爬取页面重复，有一个星期了，这是什么原因导致的蜘蛛，如何引导蜘蛛爬取页面正常？有哪些引导蜘蛛的办法，为什么蜘蛛反复无常的爬取页面这样？
蜘蛛本来就没有规律啊，多去手动提交一下
可以尝试提交一下指出没有抓取过得页面，看看效果，也可以检查一下没有抓取得页面是不是有什么问题。
蜘蛛本来就没有规律啊
网站内链建设没做好
让更多人参与回答
