网站每天都来爬取页面，爬取次数是正常的，问题是爬取的都是重复的页面，蜘蛛一次次的爬取重复页面是怎么处理？有没办法禁止蜘蛛不要爬取重复的页面，这样下去怎么处理？
这个不用管的啊
重复爬取，无所谓了
那你可以合理设置被抓取重复的页面，页面的内链可以调整一下
检查一下内链，是不是太多链接指向重复页面，这是好事，人家都怕蜘蛛不来，在蜘蛛重复爬取这个文章里面放上2-3个内链跳转到其他页面，可以促进其他页面的收录
没啥好办法，蜘蛛不可控，看看内容页是不是有重复指引
让更多人参与回答
