蜘蛛爬取页面重复的太多怎么回事？
网站蜘蛛爬取不正常，多数爬取的都是重复的页面太多次，如何引导蜘蛛爬取页面？蜘蛛反复爬取重复的页面是哪里问题，我应该怎么解决问题？蜘蛛来的次数可以，就是重复的页面。
5 人参与回答
过来学习的，而且很认真的
收录的页面 会重复爬取的。
爬取的是收录的页面吧，如果是收录的页面 会重复爬取的。
内链结构是不是不太合理 经常抓取的页面多放一些内链引导
网站蜘蛛爬取不正常，多数爬取的都是重复的页面太多次，如何引导蜘蛛爬取页面？蜘蛛反复爬取重复的页面是哪里问题，我应该怎么解决问题？蜘蛛来的次数可以，就是重复的页面。
过来学习的，而且很认真的
收录的页面 会重复爬取的。
爬取的是收录的页面吧，如果是收录的页面 会重复爬取的。
内链结构是不是不太合理 经常抓取的页面多放一些内链引导
