wordpress的蜘蛛爬虫记录都是抓取chineseurl.php,而且很多404 推荐热议 悬赏8元 已结束

3,345 次浏览

如标题所示,网站是wordpress系统,使用chineseurl.php进行url伪静态处理。

看了日志记录,基本都是在抓取chineseurl.php这个文件,而且状态码很多404,也有200,请问这个有影响吗?有的话如何解决。谢谢!

在百度站长工具里面看“抓取异常”,基本正常,没有什么错误。

网站是http://www.easysofts.com.cn[?]

QQ截图20180905161944QQ截图20180905161700

追加问题
    15 人参与回答
最佳回答
8元
获得赏金
奋斗
奋斗 · 哈尔滨装修公司、家装公司、装饰设计公司。专注品质装修12年!
乐义 等 1 人赞同该回答

站长工具里面看“抓取异常”,基本正常,没有什么错误。  那就没问题。一切以百度认为的为准,百度都觉得正常了,你还担心什么。

还有,日志里面的蜘蛛,一点参考价值都没有,很多都是假的。

首先你要去确定这个404页面的是否是真正的百度蜘蛛,现在有很多IP伪装成百度蜘蛛前来抓取网站。比如我网站每天就会有很多这种假蜘蛛。

可以不用管的,因为404也是页面

叉壹
叉壹 · 天才在左,疯子在右。

404页面到百度站长平台提交一下就行,问题不大,chineseurl.PHP这个文件打开是404,所以也一并提交吧。有些是404,然而你站内是没有的就可以用Robots屏蔽一下。

1

施先生
施先生 · 资深的SEO/SEM工作者和管理者

你这个页面自己测试下 我进去这个页面是无法打开的。那就是一个死链接了。如果没多大影响可以删除。

最怕的是有死链接

崔家大院
崔家大院 · 网站诊断、建站、快速排名 qq:787808565

可以用 Robots 屏蔽一些没有必要的404,然后,做好404页面

梦一样 · 社区网站可发外链,需注册!

影响不大的

刘振勇
刘振勇 · wsjpg纹身图案

是有影响的,百度对一个网站派去的蜘蛛是有限度的,这些蜘蛛抓取了这些404页面,相对的抓取正常内容页的机会就会减少,会影响收录。用Robots屏蔽掉就可以了。

常州优化
常州优化 · 「常州SEO-wjk」擅长单词优化-整站优化-多年钻研企业站点SEO

屏蔽就好了

加载更多
回复问答禁止带推广链接,了解合理带链接的方法