搜外网>搜外问答>问答页面

蜘蛛一直抓取之前未改版前的链接,造成一大堆死链,要如何处理

网站改版快一年了,之前是用WordPress建站,后面代码给改了,是去年3月份改版的,到现在已经快一年了,从站点日志里面看到蜘蛛一直在抓取旧站链接,也有整理过一大堆死链提交了,也在robots里面禁止蜘蛛爬行,但是蜘蛛还是一直都有在抓取,随便都是上千条死链,是哪个地方出错了吗?要如何让蜘蛛更新数据库,抓取新的链接?


追加问题
    5 人参与回答

做好404 把死链收集起来提交百度平台

素材网
素材网 · 素材网,网站模板,网站素材,视频教程,sucaipro。com

不太清楚呢 ,

晓迪
晓迪 · 百果园加盟

做好404 把死链收集起来提交百度平台

推推蛙
推推蛙 · 擅长SEOSEM网站诊断、方案编写、优化运维。微信:tuituiwaseo

1、不建议整站屏蔽页面,是否已屏蔽抓取,可以Robots里面的页面检测看看,是否已封禁; 

2、网站改版,出现大量死链也是正常的,有死链做死链提交删除就好,页面返回码是404,搜索引擎后期也会删死链,不建议封禁屏蔽; 

3、新的页面,做好基础站内外seo,做好提交推送,提升域名信任度,后期蜘蛛会识别发现新的URL。

ps:做好404页面,做好基础优化和死链提交删除,新的URL推送

看看大神是怎么回复的吧

SEO培训招生中
166