搜外网>搜外问答>问答页面

我的网站除了首页，内页全部抓取诊断失败，这是什么原因？怎么解决？悬赏5元已结束

微信

技术说虚拟空间，没有防火墙 访问日志：220.181.108.109 - - [02/Mar/2021:01:02:09 +0800] "GET / HTTP/1.1" 200 48307 "-" "Mozilla/5.0(compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html" m.guanlingls.com text/html "/usr/home/byu4732860001/htdocs/index.html" 12499 111.206.198.4 - - [02/Mar/2021:01:02:09 +0800] "GET / HTTP/1.1" 200 10757 "-" "Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)" m.guanlingls.com text/html "/usr/home/byu4732860001/htdocs/index.html" 2817 220.181.108.167 - - [02/Mar/2021:01:02:10 +0800] "GET / HTTP/1.1" 200 48307 "-" "Mozilla/5.0(compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html" m.guanlingls.com text/html "/usr/home/byu4732860001/htdocs/index.html" 13040 111.206.221.112 - - [02/Mar/2021:01:02:11 +0800] "GET / HTTP/1.1" 200 10757 "-" "Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)" m.guanlingls.com text/html "/usr/home/byu4732860001/htdocs/index.html" 3028<strike></strike> 。。。好像是抓取的时候抓到的都是404？<strike></strike> <strike></strike>

APP 404 举报 本帖由用户发布，如有侵权联系删除 2021-03-02 发布1,242 次浏览

交换友情链接，就用搜外友链，方便！

19 人参与回答

知乎

酷酷的媛、迟暮归来等 2 人赞同该回答

301或302重定向设置错误

301重定向是指百度蜘蛛访问链接时发生了跳转，如果跳转后的链接超长或者连续跳转的次数超过5次，就会发生重定向错误而导致抓取失败。

网站访问速度

很多SEO站长表示，在本地测试访问时候，返回的HTTP状态码是200，但是抓取诊断就一直显示抓取中，没有反馈任何结果，这是由于服务器的线路不同，百度蜘蛛抓取的速度可能发生延时，就会产生明明可以正常访问，却出现抓取失败的情况。一般遇到这种情况需要定期检测服务器各地访问速度，优化网站的打开访问速度。

Robots.txt封禁

在抓取诊断工具中如果返回的抓取失败，请确认你是否对该网站设置了robots.txt封禁，阻止百度蜘蛛抓取网站的某些内容，如果你未使用robots.txt文件屏蔽百度，请点击旁边的报错链接，百度会立即更新你网站的robots信息;如果是你的误操作导致了robots.txt封禁，请及时修改robots文件，避免造成你的网站在百度收录量影响。

DNS错误问题

DNS错误是指由于服务器停止运行或DNS到你网域的路由存在问题，导致百度蜘蛛无法与DNS服务器通信。对于持续的或反复出现的DNS错误，请与你的DNS提供商联系处理。通常情况下，你的DNS提供商即为网站服务器托管服务提供商，配置你的服务器，使其能够以404或500等HTTP错误代码对不存在的主机名作出响应。

404错误

一般情况下，当百度蜘蛛访问到不存在的网页(因为你删除或重命名了网页且没有将旧网址重定向到新网页，或者链接中存在拼写错误)时，就会出现“未找到”状态错误(通常是404 HTTP状态代码)，404错误也会导致抓取失败。访问遭拒绝

一般情况下，百度会通过跟踪网页间的链接来查找内容。百度蜘蛛必须能够访问某个网页才能抓取该网页。

如果你意外地看到了“访问遭拒”的错误，可能是由于以下几种原因导致的：

(1)百度spider无法访问您网站上的网址，因为你网站上的所有或部分内容要求用户登录后才能查看。

(2)你的服务器要求用户使用代理进行身份验证，或者您的托管服务提供商阻止百度蜘蛛访问你的网站。