蜘蛛抓取页面重复太多怎么办？
蜘蛛是稳定的来网站抓取，页面也被蜘蛛抓取的正常，可是为什么蜘蛛抓取页面的次数都是重复的，多次重复的页面对网站作用不大，这种情况如何处理？我应该怎么弄好希望各位大佬指导感谢！
8 人参与回答
引导蜘蛛去抓其他页面
1、稳定持续在白天更新文章，固定时间段发布更新做提交推送；2、文章持续在固定的时间点发布，更新提交推送，有助于培养蜘蛛来访。
那就想办法给这个页面加些其他页面的链接啊，引导蜘蛛去抓其他页面
有蜘蛛来就不错了
