织梦系统:已经在robots禁止Disallow:/plus/postocar.php,为什么网站日志还出现大量的404

5,174 次浏览

织梦系统:已经在robots禁止Disallow:/plus/postocar.php,为什么网站日志还出现大量请求该页的404页面。该页是存在的,只是网站没有应用到这个这个页面。



追加问题
    6 人参与回答
巧博
巧博 ·
梦人生搜外啦王青 等 3 人赞同该回答

最好修复一下,Robots就像是一张通告,百度想抓照样会抓

詹响
詹响 · 职业规划师、MBTI性格分析师,QQ/微信:536213
林志鹏 等 1 人赞同该回答

网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的文件,也就是服务器日志。
Robots.txt是一个协议,而不是一个命令。robots.txt是搜索引擎在访问网站的时候要查看的第一个文件,用来告诉蜘蛛程序在服务器上什么文件是可以被查看的。

你在robots里屏蔽了/plus/postocar.PHP这个文件,只是蜘蛛不抓取、不请求你这个文件。

访问日志中出现大量该页面的404页面是因为除蜘蛛以外的人或者程序访问了该页面。

潘锐
潘锐 · 我是一个小菜鸟!
马海涛 等 1 人赞同该回答

百度蜘蛛目前对Robots文件的识别率不高,robots对百度基本上没有用的、但是谷歌是完全支持的

刘海洋
刘海洋 · SEO从业者,个人站长,专注整站优化

蜘蛛不抓,但可能有人点的啊 亲

李娜
李娜 · 一家二手车网站 seo主管 从2009年开始从事seo工作

把这些404页面都提交给百度,大概过1-2周左右就会没啦。

胡鸿国
胡鸿国 · 成都律军风险管理股份有限公司 seo总监、运营总监。做行业标杆!

404错误分两种:一种是硬404,另一种软404。一般的就是硬404错误,很多大型门户网站为什么被降权就是软404。我们在发现404错误时,要分析为什么导致的404错误,应该如何去修复404错误。如果不能修复404错误,我们把404错误的地址向百度提交。如果控制不了404错误时才用Robots禁止,如果404错误太多了,就提出网站改版

回复问答禁止带推广链接,了解合理带链接的方法
该问题已经锁定, 无法新增回复