蜘蛛多次访问都是重复的页面,怎么就是重复的页面,如何引导蜘蛛爬取页面正常?为什么都是重复的多次,导致蜘蛛抓取不正常,怎么解决问题?为什么一次次的抓取重复的页面。
,还是保持多优化
蜘蛛重复抓取页面是正常的,蜘蛛抓取页面的依据是看页面内容是否发生了变化,如果每次抓取页面都有变化,那么抓取就会更加频繁。如果多次抓取后发现页面都没有变化,就会减少抓取。所以不要刻意让蜘蛛不重复抓取某个正常的页面。
坚持稳定更新就可以了
正常的,坚持稳定更新就可以了
这种情形很正常,多更新点文章即可
让更多人参与回答