百度抓取返回404,站长平台抓取异常没有提示,抓取诊断正常,求高手解决问题 悬赏18元 已结束

在网站日志中发现一些返回码404,有很多

但是站长平台中抓取异常没有任何提示

抓取诊断测试也都是正常的,网页也可以正常打开

站长工具ping过了都没问题

而且发现一个规律,举例:

如果是下面这样的完整链接格式,返回404

220.181.108.186 - - [27/Aug/2020:08:48:35 +0800] "GET /www.hupaige.com/2956.html HTTP/1.1" 404 25182 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; 

如果是这样的链接格式,/2956.html,返回200

220.181.108.149 - - [27/Aug/2020:06:27:11 +0800] "GET /2956.html HTTP/1.1" 200 85239 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

所有的页面都是这样的,是我的链接设置有什么问题吗?

如果是第一种情况,是不是抓取的链接实际上是www.hupaige.com/www.hupaige.com/2956.html,为什么会出现这种情况呢

微信截图_20200828150534

追加问题
    25 人参与回答
推推蛙
推推蛙 · 推推蛙擅长SEO网站优化、竞价账户调整、网站建设、全网优化、新媒体营销、品牌策划
画龟的孩子你好2016 等 2 人赞同该回答

1、你思考的无误;

2、抓取错误的链接,肯定返回码404

3、百度站长抓取无异常,一般没毛病,不会对网站造成不好影响;

4、你的站点里面用的都是绝对地址;

5、这个是否是真蜘蛛爬行不可得知,真蜘蛛抓取返回404便不会再抓取这种格式URL,可以继续观察。

QQ截图20200828153455QQ截图20200828153853

j
just · 银弹谷零代码开发
银弹谷 等 1 人赞同该回答

1、首先先确认抓取路径是否存在,验证是否是百度蜘蛛,确认无误后检查是否封禁了抓取404的蜘蛛,均正确的话应该就是服务器的事了。目前这个路径是存在的,需要你验证一下百度蜘蛛,其次虽然封禁蜘蛛不太可能出现404死链状态的。

2、从自身排查,排查域名、服务器,域名是否可以外地访问,就是说出了你这台电脑在别的地方能不能访问,我也有过类似经历,就是本地能访问,给其他人就不能访问,这个需要排查一下,用站长工具ping一下。虽然可以打开你的网站,但是不保证其他地方是否正常。

3、检查服务器的负载是多少,也有可能蜘蛛来的数量较多,当时你的网站造成影响,导致你的服务器负载无法打开。

路人
路人 · seo小学生
外汇阁 等 1 人赞同该回答

这个跟你网站设置没有什么关系,只要前端诊断正常反馈就行了,至于网站日志反馈的不一定是准确,还有就是百度自己本身的问题,这个你可以不用怎么管,只要被收录了就没事

你好2016 等 1 人赞同该回答

这个确实有点问题,需要找技术解决,正常返回状态码是200才对

外汇阁
外汇阁 · (外汇阁:权重2)(sheep吉他网:权重1) - 换友情链接QQ2024529894(采集站勿扰)
Skyblue° 等 1 人赞同该回答

一、如果是下面这样的完整链接格式,返回404

 - - [27/Aug/2020:08:48:35 +0800] "GET /www . hupaige . com /  HTTP/" 404 25182 "-" "Mozilla/ (compatible; Baiduspider/ 

答:这肯定返回404    /www . hupaige . com/ 2956 . html  抓取的完整链接就是:https : / /www . hupaige . com/www . hupaige . com/ 2956 . html  那肯定是404了

把你的日志发给我,看看里面的链接

装载机行
装载机行 · 站长之家 seo 优化群 :851061791

你采纳我,我把解决这个问题的方案,用私信发给你

奋力向前
奋力向前 · 普通企业站站长,要学的东西还有很多,需要多交流。

我的404页面也得需要修改一下

建议用相对地址,用绝对地址有一定概率会在前面加上域名

素材网 · 素材网,网站模板,网站素材,视频教程

以百度蛛蛛爬行为主,404,就要处理呢。建议把文章列表里的文章地址,直接绝对链接

爱你 · 个人擅长百度贴吧霸屏+百度文库外链+seo优化

这个你找技术解决一下吧,找人问问

草坪护栏
草坪护栏 · 批发草坪护栏,锌钢护栏,道路护栏,铝艺护栏

百度的问题啊

杰克
杰克 · SEO优化 专业模板网站建设优化工作

根本不需要担心

我从来没有分析日志,看来也要看一下

甲乙丙丁
甲乙丙丁 · 一个做seo的小白。

首先日志里面的链接跟你抓取诊断的链接是不相同的,然后可以看看这个链接是从哪里爬取到的。还有判断这个蜘蛛是不是真蜘蛛。

加载更多
SEO培训招生中
146