17 人参与回答

不需要处理 没影响

用户123076 · 唵嘛咪叭咪吽

提交死链吧,也没别的办法了

SEO优化 整站优化 关键词优化 排名优化 外推软件
。com/

日志里面大量抓取不存在的目录,返回码404,你的程序里面无这个目录,这个是模拟蜘蛛不是真的蜘蛛,不要处理;

你好,不用处理,予以忽略

用户139285 · 享飞悦小程序模板 - 多场景、多行业的小程序模板平台,专业制作,无需开发,快速发布

这个是虚拟蜘蛛吧,不处理也没有关系

用户137963 · 专业的ERP定制开发、小程序开发、软件外包、软件开发服务商, 定制化开发服务, 擅长小程序开发,微商城开发,PHP项

可能服务器有缓存

用户167433 · 结识同道中人,一起成长

不用处理,直接忽略

Robots.txt禁用

用户207495 · seo小白进行时

不用处理,直接忽略

先不用去管他这个

之前收录的页面,现在这个页面无法访问了,网站改版了,这种情况可能会出现这样的情况嘛

用户213035 · 怡合达专业从事自动化零部件研发、生产和销售,提供FA工厂自动化零部件一站式供应

这个是虚拟蜘蛛吧,不处理也没有关系

可能服务器有缓存

用户186390 · 个人网站接入收付款功能

可能服务器有缓存,清理一下

用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、日志里面大量抓取不存在的目录,返回码404,你的程序里面无这个目录,这个是模拟蜘蛛不是真的蜘蛛,不要处理;

2、如果真的这么多抓取异常,百度站长里面抓取异常,就会有异常数据提示,你可以去看看,没有就没事;

3、真的蜘蛛不会抓取不存在目录,这个无需处理,如果是以前建站的目录,后期出现死链接收录,整理死链提交删除就可以。

这个不用处理,忽略它就可以