网站蜘蛛抓取页面重复太高怎么解决？
网站蜘蛛抓取页面是正常的，每次来的次数也是可以的，问题是每次爬取页面多数是重复的，一次次的重复也没有什么用，如何才能解决网站蜘蛛不要重复了？平时我们应该怎么处理，可以引导蜘蛛？
6 人参与回答
看看大佬都是怎么回答这个问题的
同样的，我的网站也有这样的情况存在。
如果您的网站蜘蛛抓取的页面重复太高，可能会导致网站的性能问题，影响搜索引擎的抓取效率。您可以尝试以下方法来解决这个问题：
使用“rel=canonical”标签：如果您的网站有多个重复的页面，可以使用“rel=canonical”标签来指定哪一个页面是原始页面，哪些页面是重复页面。这样可以告诉搜索引擎，只需要抓取原始页面就可以了，不需要重复抓取重复页面。
在Robots.txt文件中添加排除规则：您可以在网站的robots.txt文件中添加排除规则，来指定哪些页面不希望被搜索引擎抓取。这样可以减少搜索引擎抓取的页面数量。
使用“noindex”标签：如果您的网站有一些页面并不希望被搜索引擎抓取，可以在页面中添加“noindex”标签，来告诉搜索引擎不要抓取这个页面。
使用网站地图：如果您的网站没有网站地图，可能会导致搜索引擎无法快速抓取到所有页面
