网站蜘蛛每次来网站总是爬取多次重复的页面内容，无法禁止蜘蛛爬取正常，怎么引导蜘蛛的抓取爬取情况，让蜘蛛不要重复的爬取页面，有什么解决的办法？
我也来蹲个大佬看看
自己把重复的删了
检查一下内链，是不是太多链接指向重复页面，这是好事，人家都怕蜘蛛不来，在蜘蛛重复爬取这个文章里面放上2-3个内链跳转到其他页面，可以促进其他页面的收录
让更多人参与回答
