电商网在网络日志中出现了大量的谷歌404蜘蛛状态码是什么原因?

解决的方法是什么?相对于用户状态码,蜘蛛状态码是不是更重要与用户状态码,用户状态码是基于什么发现的,我用的是光年日志分析工具

追加问题
    5 人参与回答
刘振兴
刘振兴 · 搜外论坛咨询区版主 微信&QQ:870837079

404的出现对网站不好,这时候要检查一下网站内部哪些链接失效了。然后删除。注意一下两点:第一,找URL规律,Robots屏蔽;第二,看网站地图里面有没有该链接,如果有删除。

张立博
张立博 · 搜问69号会员 电子商务从业者

用谷歌站长工具看一下吧,日志里的谷歌蜘蛛未必是真的谷歌蜘蛛,也许是假冒的呢。
其次,看看那些404页面的代码,确定httpstatus状态码是404吗?
第三,如果页面是不存在的,那么要看看出现这些url的原因是什么,比如拼写错误之类。

洪逸君
洪逸君 · 基督福音传播,B2B运营管理,SEO技术实战

从发起者的发问推测对网络日志还不是很熟悉,这里我谈下以上问题:

1、出现了大量的谷歌404蜘蛛状态的原因:
404状态码是用户(分为访客和爬虫)向服务器发出页面访问请求,服务器中不存在该页面即返回404。如果页面存在并且正常访问会返回200,如果页面被重定向到其他页面会返回301,如果网站程序故障造成无法访问会返回503

2、解决的方法:
首先判断404的页面情况,检查这些页面是否存在,在服务器负荷过大或其他情况下会出现无法访问页面,而返回404,这种情况是偶然造成的,需要对服务器进行稳定性维护。

其次404状态码是一个不利于网站SEO的现象,是需要进行处理。如果页面确实不存在,则需要使用“死链表”和“Robots"结合处理。死链表的原理是主动将不存在的页面地址(返回404地址)以告知是死链的方式提交给搜索引擎,搜索引擎处理后就会从数据库中清除这部分资料。robots的原理是屏蔽搜索引擎去抓取某些特定区域、特定规则的页面,有些时候死链是成规则批量出现的,可能有上白条,这样就需要结合robots进行屏蔽。

3、蜘蛛状态码与用户状态码:
状态码起到一个告知网站管理员和网站访问者的作用,只是当蜘蛛访问时会相应返回蜘蛛状态码,当用户访问时会返回用户状态码。以SEO为出发点,蜘蛛状态码会比用户状态码重要,用户状态码不是不重要,而是放在其次。

4、用户状态码的原理:
用户(分为访客和爬虫)向服务器发出页面访问请求,服务器将页面输送给浏览器同时传输返回码

5、光年日志分析工具的体验
我也是使用光年日志分析工具,感觉性能挺好,分析速度快。日志是由服务器上的管理器登记产生的,光年日志分析工具是一个解读日志数据的软件。

李明亮
李明亮 · 我是阿亮 品牌推广实践者 擅长整站优化及网络营销

首先,你的网站是否改版?URL是否处理好?另外,下面两个方法可以急救:
1、有些URL可以用301重定向来解决
2、Robots屏蔽
另外,其实谷歌喜欢网站返回正确的状态码,只要正确设置死链接的返回状态,一般不会有问题的。
还有,正确地使用404,其实可以让整个网站在搜索引擎中的表现非常有帮助。

刘永君
刘永君 · 要成为SEOer,首先和百度、Google、Yahoo等搜索引擎谈恋爱

那些路径访问下是正常的不,不正常就是死链接