网站最近的蜘蛛爬取不正常了，很多时候都是重复的爬取页面，这样作用都不大，怎么引导蜘蛛爬取页面正确，蜘蛛抓取次数也减少了，这是什么原因呢？如何解决蜘蛛的问题？
内页多放些其他内页的链接
抓取重复率过高，说明你那些文章质量足够高，所以才抓取比较频繁，稳定更新就行了 不太需要管
如果内页足够多，重复率应该会下降。
重复抓取的地方，多放一些内链，首页，站点地图链接吧
让更多人参与回答
