搜外网>搜外问答>问答页面

上线两周的新站,百度站长资源平台一直抓取失败,是什么原因啊? 悬赏1元 已结束

<p><br></p><p>做网站的前端说没有屏蔽,防火墙也没把蜘蛛给拦截了,有没有大神知道还有其他原因造成这样吗?</p>

追加问题
    16 人参与回答
最佳回答
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo
沈晨晨 等 1 人赞同该回答

1、这里有抓取详情可以去看一下,为何失败; 

2、百度站长这个是一开始就抓取异常,还是之前是正常,如果一开始就异常,也并未Robots屏蔽就考虑重新验证下; 

3、网站蜘蛛模拟抓取无异常,返回码也正常; 

4、站点域名双解析可考虑301集权,主域名切记不要404



网站的主体应该是有点问题的

你看一下Robots抓取异常的情况

琪琪七七
琪琪七七 · 防雷相关

不知道这个什么原因哎 没有碰到过

看看叹号的提示 不行就反馈看看

点一下抓取失败,看一下提示是什么,是什么报错,在进行解决

你看看那个圆圈叹号提示啥

八点半
八点半 · 阿鹏博客

这个我之前都是还服务器就好了

你看一下Robots抓取异常的情况,看看是怎么样的呢

抓取的ip是不是正确的,我之前碰到过,有可能是IP错误。

zamgu.com
zamgu · 栈谷统计-实时网站流量统计分析,实时抓取网络蜘蛛爬虫

建议百度 栈谷统计 去看看蜘蛛爬虫实时访问情况,很好用的

你点击那个抓取失败,看一下原因是啥,如果你确定服务器那些都没屏蔽过,而且Robots也没有屏蔽,那就重新验证下网站试试。

换服务器了吗

没碰到过,想不出来

大风
大风 · 个人承接私单微信小程序,APP,网站开发

反馈下试试,看看抓取的ip是不是正确的,我之前也碰到过

加载更多