搜外网>搜外问答>问答页面

我的网站除了首页,内页全部抓取诊断失败,这是什么原因?怎么解决? 悬赏5元 已结束

<p>技术说虚拟空间,没有防火墙</p><p></p><p><br></p><p>访问日志:</p><p>220.181.108.109 - - [02/Mar/2021:01:02:09 +0800] "GET / HTTP/1.1" 200 48307 "-" "Mozilla/5.0(compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html" m.guanlingls.com text/html "/usr/home/byu4732860001/htdocs/index.html" 12499<br>111.206.198.4 - - [02/Mar/2021:01:02:09 +0800] "GET / HTTP/1.1" 200 10757 "-" "Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)" m.guanlingls.com text/html "/usr/home/byu4732860001/htdocs/index.html" 2817<br>220.181.108.167 - - [02/Mar/2021:01:02:10 +0800] "GET / HTTP/1.1" 200 48307 "-" "Mozilla/5.0(compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html" m.guanlingls.com text/html "/usr/home/byu4732860001/htdocs/index.html" 13040<br>111.206.221.112 - - [02/Mar/2021:01:02:11 +0800] "GET / HTTP/1.1" 200 10757 "-" "Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)" m.guanlingls.com text/html "/usr/home/byu4732860001/htdocs/index.html" 3028</p><p><b></b><i></i><u></u><strike></strike><br></p><p><br></p><p>。。。</p><p>好像是抓取的时候抓到的都是404?</p><p><b></b><i></i><u></u><strike></strike><br></p><p><b></b><i></i><u></u><strike></strike><br></p>

追加问题
    19 人参与回答
酷酷的媛迟暮归来 等 2 人赞同该回答

301或302重定向设置错误
 

301重定向是指百度蜘蛛访问链接时发生了跳转,如果跳转后的链接超长或者连续跳转的次数超过5次,就会发生重定向错误而导致抓取失败。  

网站访问速度
 

很多SEO站长表示,在本地测试访问时候,返回的HTTP状态码是200,但是抓取诊断就一直显示抓取中,没有反馈任何结果,这是由于服务器的线路不同,百度蜘蛛抓取的速度可能发生延时,就会产生明明可以正常访问,却出现抓取失败的情况。一般遇到这种情况需要定期检测服务器各地访问速度,优化网站的打开访问速度。 

 Robots.txt封禁
 

在抓取诊断工具中如果返回的抓取失败,请确认你是否对该网站设置了robots.txt封禁,阻止百度蜘蛛抓取网站的某些内容,如果你未使用robots.txt文件屏蔽百度,请点击旁边的报错链接,百度会立即更新你网站的robots信息;如果是你的误操作导致了robots.txt封禁,请及时修改robots文件,避免造成你的网站在百度收录量影响。  

DNS错误问题 

DNS错误是指由于服务器停止运行或DNS到你网域的路由存在问题,导致百度蜘蛛无法与DNS服务器通信。对于持续的或反复出现的DNS错误,请与你的DNS提供商联系处理。通常情况下,你的DNS提供商即为网站服务器托管服务提供商,配置你的服务器,使其能够以404或500等HTTP错误代码对不存在的主机名作出响应。 

 404错误 

一般情况下,当百度蜘蛛访问到不存在的网页(因为你删除或重命名了网页且没有将旧网址重定向到新网页,或者链接中存在拼写错误)时,就会出现“未找到”状态错误(通常是404 HTTP状态代码),404错误也会导致抓取失败。 访问遭拒绝

一般情况下,百度会通过跟踪网页间的链接来查找内容。百度蜘蛛必须能够访问某个网页才能抓取该网页。

如果你意外地看到了“访问遭拒”的错误,可能是由于以下几种原因导致的:

 (1)百度spider无法访问您网站上的网址,因为你网站上的所有或部分内容要求用户登录后才能查看。

 (2)你的服务器要求用户使用代理进行身份验证,或者您的托管服务提供商阻止百度蜘蛛访问你的网站。

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo
罗凌峰SunShine 等 2 人赞同该回答

1、如果你不需要m二级域名,可以权重取消解析;

2、留着这个也是做301跳转,这个是做什么用的。

ps:用工具看301,当前重定向无死链,要是不需要可以取消这个解析。


几何城市
几何城市 · 城市家具·城市街具·公共艺术·创意·设计·生产制造全产业链。

重定向的问题?

趣玩号
趣玩号 · 趣玩号

如果转跳弄掉了,还提示这个,就加我吧,应该是被人挂马了

杭州继保
杭州继保 · 微机保护行业

找个找高手处理一下吧

跳转了吧 找程序问问

是你做了跳转,在服务器端改一下吧

你提交的这个链接,返回码是304,不是200,让你们程序看一下是啥情况。

香港谷歌SEO
香港谷歌S · Shuke.→谷歌SEO服务咨询微信:15877060841

是你做了跳转,在服务器端改一下吧

这个看不懂,看见代码头疼

来解决问题

这个是啥情况啊

宝润通
宝润通 · 迈斯特/三元进气清洗剂/解决汽车年检/尾气排放污染,发动机积碳清洗养护剂工厂

找技术来解决问题

猫耳朵
猫耳朵 · 擅长日本动漫、以及各类影视写真题材、5iv88影视点击最右边就能免费get到

图中已经说得非常清楚,有跳转.

圣考资料网
圣考资料网 · 考研资料363322014 友情链接QQ:363322014 微信号:qqnba2

我找空-间-商,他帮我,我之前也撞过

加载更多
SEO培训招生中
189