搜外网>搜外问答>问答页面

蜘蛛爬取页面重复多次怎么处理?

网站蜘蛛每天是爬取多次,每次爬取页面都是正常的,为什么没有爬取记录痕迹,有时候爬取页面重复太高了,这是什么原因导致的,如何引导蜘蛛爬取页面正常?蜘蛛特别奇怪爬取不正常呢?

追加问题
    3 人参与回答
HWAPº
HWAPº · 网站权6,友情链接QQ:2544424184

多次是好事啊

Plum
Plum · 聚乙烯醇缩丁醛-天元化工网-小小站长,兢兢业业!

网站蜘蛛每天是爬取多次

做好你网站的内链优化,蜘蛛可以通过内链在你的网站中爬寻,你网站的目录层级也不能太多了