我的网站是不是处问题了,那么多404页面怎么处理? 悬赏1元 已结束
<p>FTP后台上根本没有这样的文本,但是日志上每天都能查到那么多的404链接,robots文本也做了屏蔽了还是没有用这是什么情况,还要最后的汇总为什么只有404个,有知道怎么处理的吗,麻烦解释一下,谢谢!www.zhboyang.com</p><p></p><p></p>
13 人参与回答
做好死链提交
要不就是老站的链接、要不就是挂马链接、蜘蛛肯定不会无缘无故的去爬不存在的页面
这个情况嘛,静观其变。。
日志里有些是假蜘蛛,有些是用户访问
(1)首先有效的蜘蛛都是抓取存在的网页,而且是仅限于爬行路径:
(2)检查一下百度站长的抓取情况,要是没有异常,那么就没有太大的问题,另外也不用做屏蔽处理,因为根本无法做屏蔽无效的蜘蛛;
(3)出现的404页面如果抓取无异常,那就没太大的问题;
检查网站看是否有被挂马
有些在源文件找不到
屏蔽这些链接 我也碰到了