<p><br></p><p>做网站的前端说没有屏蔽,防火墙也没把蜘蛛给拦截了,有没有大神知道还有其他原因造成这样吗?</p>
1、这里有抓取详情可以去看一下,为何失败;
2、百度站长这个是一开始就抓取异常,还是之前是正常,如果一开始就异常,也并未Robots屏蔽就考虑重新验证下;
3、网站蜘蛛模拟抓取无异常,返回码也正常;
4、站点域名双解析可考虑301集权,主域名切记不要404。
网站的主体应该是有点问题的
你看一下Robots抓取异常的情况
不知道这个什么原因哎 没有碰到过
看看叹号的提示 不行就反馈看看
点一下抓取失败,看一下提示是什么,是什么报错,在进行解决
你看看那个圆圈叹号提示啥
这个我之前都是还服务器就好了
你看一下Robots抓取异常的情况,看看是怎么样的呢
抓取的ip是不是正确的,我之前碰到过,有可能是IP错误。
建议百度 栈谷统计 去看看蜘蛛爬虫实时访问情况,很好用的
你点击那个抓取失败,看一下原因是啥,如果你确定服务器那些都没屏蔽过,而且Robots也没有屏蔽,那就重新验证下网站试试。
换服务器了吗
没碰到过,想不出来
反馈下试试,看看抓取的ip是不是正确的,我之前也碰到过
是不是屏蔽了百度蜘蛛
让更多人参与回答