蜘蛛爬取页面重复率太高怎么解决？
网站每次蜘蛛爬取是正常的访问量，就是每次爬取页面都是重复的，每次访问都是重复率太高，反复的重复访问也没有多大收录了，蜘蛛的问题有点大，怎么解决蜘蛛爬取页面正常？感谢指点一下谢谢！
1 人参与回答
蜘蛛重复抓取页面是正常的，蜘蛛抓取页面的依据是看页面内容是否发生了变化，如果每次抓取页面都有变化，那么抓取就会更加频繁。如果多次抓取后发现页面都没有变化，就会减少抓取。所以不要刻意让蜘蛛不重复抓取某个正常的页面。
页面收录有两个关键的因素，第一个就是蜘蛛抓取，第二个则是页面的内容质量要过关。也就是说只有页面质量好，且在蜘蛛成功抓取的情况下，页面才会被收录。
