百度蜘蛛抓取页面重复怎么解决？
网站怎么优化中，蜘蛛来的次数挺多，就是每次爬取页面都是重复的，为什么一次次的抓取重复率太高，如何禁止蜘蛛抓取重复，怎么引导蜘蛛抓取正常？有哪些站内优化技巧，让蜘蛛不要重复的抓取？
4 人参与回答
现常的，我的网站也是经常会重复爬取一同一个链接。
1、为什么蜘蛛要重复抓取这些页面
相对而言，蜘蛛更喜欢去抓取那些权重高的、更新频率大的页面。蜘蛛重复抓取某个页面，这肯定有它的原因，我们要做的不是去看，还是应该去想，为什么蜘蛛不断重复的抓取这些页面！找到这个问题的内在原因，不仅可以帮助我们解决问题，同时也能以此为依据，去优化其他页面的抓取问题。
2、如何引导蜘蛛去抓取其他目标页面
我们要知道蜘蛛抓取的过程，它会提取Sitemap及页面上的链接，然后根据具体的策略去抓取。
所以，想要让蜘蛛去抓取目标页面，首先得把目标页面的地址提交到搜索引擎。另外要注意，搜索引擎对于每个网站都有额定的抓取上限，为了更好的节省蜘蛛抓取份额，对于那些已经被收录的页面，以及蜘蛛重复抓取的页面，可以适当的设置Nofollow标签。
3、蜘蛛抓取页面重复率太高怎么处理
首先，如果你觉得这些被重复抓取的页面没有用，可以设置nofollow；
其次，及时提交想要被抓取的目标页面（写进Sitemap，主动提交等等都行）；
最后，注意目标页面的链接入口，通过内链和外链等优化，来促进搜索引擎蜘蛛抓取。
