16 人参与回答
最佳回答
推推蛙
用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo
用户165897 等 1 人赞同该回答

1、这里有抓取详情可以去看一下,为何失败; 

2、百度站长这个是一开始就抓取异常,还是之前是正常,如果一开始就异常,也并未Robots屏蔽就考虑重新验证下; 

3、网站蜘蛛模拟抓取无异常,返回码也正常; 

4、站点域名双解析可考虑301集权,主域名切记不要404



网站的主体应该是有点问题的

你看一下Robots抓取异常的情况

琪琪七七
用户182115 · 防雷相关

不知道这个什么原因哎 没有碰到过

看看叹号的提示 不行就反馈看看

点一下抓取失败,看一下提示是什么,是什么报错,在进行解决

你看看那个圆圈叹号提示啥

八点半
用户159841 · 阿鹏博客

这个我之前都是还服务器就好了

你看一下Robots抓取异常的情况,看看是怎么样的呢

抓取的ip是不是正确的,我之前碰到过,有可能是IP错误。

zamgu.com
用户196124 · 栈谷统计-实时网站流量统计分析,实时抓取网络蜘蛛爬虫

建议百度 栈谷统计 去看看蜘蛛爬虫实时访问情况,很好用的

你点击那个抓取失败,看一下原因是啥,如果你确定服务器那些都没屏蔽过,而且Robots也没有屏蔽,那就重新验证下网站试试。

换服务器了吗

没碰到过,想不出来

大风
用户151058 · 个人承接私单微信小程序,APP,网站开发

反馈下试试,看看抓取的ip是不是正确的,我之前也碰到过

是不是屏蔽了百度蜘蛛