搜外网>搜外问答>问答页面

蜘蛛不来访问重复的页面怎么解决?

蜘蛛多次访问都是重复的页面,怎么就是重复的页面,如何引导蜘蛛爬取页面正常?为什么都是重复的多次,导致蜘蛛抓取不正常,怎么解决问题?为什么一次次的抓取重复的页面。

追加问题
    5 人参与回答

,还是保持多优化

天行健咨询
天行健咨询 · 精益生产管理与六西格玛管理咨询,培训机构

蜘蛛重复抓取页面是正常的,蜘蛛抓取页面的依据是看页面内容是否发生了变化,如果每次抓取页面都有变化,那么抓取就会更加频繁。如果多次抓取后发现页面都没有变化,就会减少抓取。所以不要刻意让蜘蛛不重复抓取某个正常的页面。

陈之虎
陈之虎 · 正在输入……

坚持稳定更新就可以了

正常的,坚持稳定更新就可以了

利美医疗
利美医疗 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

这种情形很正常,多更新点文章即可