搜外网>搜外问答>问答页面

蜘蛛爬取页面重是什么情况?

蜘蛛每次来网站是正常的,怎么爬取页面都是重复的,有时候爬取也没有被记录了,为什么蜘蛛爬取页面重复率太高,是什么情况导致的蜘蛛爬取不正常?如何吸引蜘蛛爬取页面正常起来?

追加问题
    4 人参与回答
天行健咨询
天行健咨询 · 精益生产管理与六西格玛管理咨询,培训机构

去引下蜘蛛,引蜘蛛去抓取你不抓的页面

可能是不同IP的蜘蛛

Plum
Plum · 聚乙烯醇缩丁醛-天元化工网-小小站长,兢兢业业!

去引下蜘蛛,引蜘蛛去抓取你不抓的页面

去引下蜘蛛,引蜘蛛去抓取你不抓的页面