搜外网>搜外问答>问答页面

网站蜘蛛抓取大量死链,如何解决?

<p>查看日志发现最近网站的404很多,我提交了死链之后,反正发现抓取的更多了。</p><p>蜘蛛抓取404的次数也很多,请问大家为什么会这样?我该如何解决?</p><p><br></p>

追加问题
    5 人参与回答
小柒
小柒 · 【免费】SEO快排,用你的友链换网站优化 ,微信联系: Cloud-Ltd
A rilex 等 1 人赞同该回答

看看来源是哪个平台的, 如果是百度的要去处理的。 去提交死链

尚博思连锁管理系统
尚博思连锁 · 专业做美发、美容、养生、按摩、推拿、美甲行业收银系统

都提交了,或者禁止抓取

把死链都提交了

想快Robots里写入禁止抓取,提交死链的如果url打开是404 后期它也会慢慢不抓

河南振豫律师事务所
河南振豫律 · 7年前端 seo、振豫律师事务所

Robots设置禁止抓取相应的404页面
百度站长平台提交404页面