网站日志有大量UA是baiduspider的IP,访问了大量不存在的页面,产生了大量的404,
而且访问的页面在robots都已经屏蔽,但还是有大量访问的,这种情况如何解决,有什么影响吗?
提交死链 做好404页面
爬取大量404页面可能是那里路口的原因,需要排查一下,不存在的页面是怎么来的
肯定会有影响的,提交一下死链
1、百度蜘蛛抓取返回码大量404,那么百度站长里面抓取异常是否也是大量异常,如果不是可忽略; 2、百度站长如果出现异常,直接会影响网站收录和排名,如果无异常,这种可能是虚假模拟蜘蛛,或者抓取的本身是不存在的URL,不会影响网站的收录排名。
提交死链嗯 到站长反馈下
存在大量404页面的话肯定会降低网站评级的,最好把404页面整理一下提交死链处理一下吧
没有死链到站长
让更多人参与回答