网站蜘蛛爬取不正常，多数爬取的都是重复的页面太多次，如何引导蜘蛛爬取页面？蜘蛛反复爬取重复的页面是哪里问题，我应该怎么解决问题？蜘蛛来的次数可以，就是重复的页面。
过来学习的，而且很认真的
收录的页面 会重复爬取的。
爬取的是收录的页面吧，如果是收录的页面 会重复爬取的。
内链结构是不是不太合理 经常抓取的页面多放一些内链引导
检查一下内链，是不是太多链接指向重复页面，在蜘蛛重复爬取这个文章里面放上2-3个内链跳转到其他页面，可以促进其他页面的收录
让更多人参与回答
