蜘蛛日志为什么抓取站内不存在的死链?

网站一个礼拜的收录没怎么变动动过,偶尔上涨1~2,偶尔下降1~2。

最近查看了7天的蜘蛛日志发现,各个搜索引擎都抓取站内不存在的死链,

1.没当发布新文章URL里面带有文章的标题

2.网站以前存在后来修改后没有了的URL

3.错乱的/错乱目录/错乱文件名的URL

死链已经提交,蜘蛛协议已经屏蔽。

但是每天还是有很多这样的死链被蜘蛛抓取。

大家给点提议和见解吧。

追加问题
分享到微信 收藏
    1 人参与回答
王佳琪 · 15年刚接触SEO的新手

其实很多原因都可能会造成抓取不存在的链接,比如域名之前的一些外链数据、网站程序内部生成的一些路径、改版或者一些历史遗留的原因,或者其他人提交了一些不存在的链接等等都是有可能的。

建议是采用Robots.txt屏蔽掉。