搜外网>搜外问答>问答页面

蜘蛛总是抓取重复的页面怎么解决问题?

蜘蛛抓取次数多了,但是问题是每次蜘蛛抓取页面是重复的,重复的页面反复抓取,这是怎么回事为什么大量蜘蛛每天每次要抓取重复的页面,有什么办法禁止不要继续抓取页面重复,让蜘蛛正确抓取我要怎么做?

追加问题
    6 人参与回答
无双
无双 · 两年seo优化经验,正在学习中。

一个页面多次抓取也正常的 只要你的新页面也在抓取就行了

百度蜘蛛怕是不受我们控制。

优建教育
优建教育 · 职称评审、建工考培、人才落户、学历提升免费咨询、vx:13007215902

蜘蛛都是有专门字段的,你可以检查看一下啊

唔知叫什么名好
唔知叫什么 · 法律快车网站权重6,友情链接QQ1293815178

可以先去看一下是否真假蜘蛛,看一看是否存在恶意攻击。

是不是恶意点击

qwoeyhoii333
qwoey · 奈斯导航为广大网民精心筛选、整理国内外各类优秀的网站大全,各位站长可以免费提交收录。==》

首先,你需要确认是否真实蜘蛛,假的就屏蔽了免得浪费资源。
https://didi.seowhy.com/ip.html

SEO培训招生中
190