搜外网>搜外问答>问答页面

百度资源抓取诊断出现DNS无法解析IP怎么办？

微信

百度资源抓取诊断出现DNS无法解析IP问题，但是360站长、搜狗站长都是正常诊断的，还有阿里云服务器测试也是没有出现IP错误的问题，网站地图也可以正常抓取，该怎么解决？麻烦大神帮忙看看！

搜狗阿里云 DNS 举报 本帖由用户发布，如有侵权联系删除 2021-10-20 发布2,186 次浏览

交换友情链接，就用搜外友链，方便！

29 人参与回答

泳池设备 · 主营泳池循环水泵、过滤砂缸、消毒监控设备、空气能热泵、除湿热泵等泳池水处理设备及其他配套设备。

风和日丽、一个小小哥等 2 人赞同该回答

1，查看Robots.txt有没有禁止抓取语句

首先我们要检查robots.txt中是否有禁止抓取语句，教大家一个简单的方法，首先你要删除根目录下的robots.txt，然后在进行抓取诊断。如果抓取成功了，则证明是robots.txt的问题，大家需要整改这个文件了，如果依然抓取失败，请往下继续看。
2，更换DNS解析（一般生效时间都是24小时）

因为一般抓取失败都是提示DNS无法解析IP的问题，大家需要去切换自己域名解析的DNS，推荐大家切换成阿里云解析的DNS，生效时间比较快，当切换以后，大家最好等待24小时，全国生效以后，在进行抓取诊断，一般情况下都是可以解决这个问题的。
3，网站是否打不开，服务器不稳定，防火墙蜘蛛屏蔽

第三点就是我们网站自身的问题，有时候会出现卡顿，导致蜘蛛抓取不成功，大家可以自己手动进行网站测速，然后在稳定性比较好，确认可以打开网站的情况下去测试蜘蛛的抓取，一般这种情况下，虚拟主机问题比较多。

另外说下，有的服务器是带有硬防的，会自动阻止一些IP的抓取，或者你安装的防护软件自动屏蔽了抓取IP，因为防护系统会认为这类IP在攻击你的网站，你可以发工单让技术方不要关闭你的防火墙，你自己也关闭自己的防御软件，在进行测试就OK了。
4，百度异常，查看日志是否有蜘蛛进来抓取

如果以上方法都试过，但是你的抓取依然失败的话，不排除百度本身的问题，你可以通过日志看每天是否有蜘蛛来，如果有，而且很规律很正常，就可以不必理会百度后台的蜘蛛抓取了。

大家应该明白，其实百度后台的蜘蛛抓取，不代表实际的蜘蛛抓取，大家可以自行分析网站蜘蛛日志，当你发现一个蜘蛛都没有的情况下，正好百度站长后台抓取也是失败的情况下，这个时候，就是你的网站，或者服务器的问题了，如果以上说的问题，你都试过，无效的话，你可以考虑让空间商帮你换一个IP，或者换一台服务器试下。通常是可以解决这个问题的。