蜘蛛抓取异常 悬赏1元 已结束
<p>新站十三天了 一直不收录,今天查看了下百度站长平台 看了下 </p><p> </p><p><br></p><p><br></p><p>服务器错误:爬虫发起抓取,httpcode返回码是5XX</p><p>访问被拒绝:爬虫发起抓取,httpcode返回码是403</p><p>找不到页面:爬虫发起抓取,httpcode返回码是404</p><p>然后看了下日志 没太看明白</p><p><br></p><p>问题有两个 第一这种抓取异常怎么处理还是服务器设置问题 走哪里着手修改</p><p>第二这个日志跟抓取异常有关联吗</p>
16 人参与回答
用户196011 等 1 人赞同该回答
1:通过你的截图来看蜘蛛没有在你网站上遇到这些问题,一般出现异常会在这里显示线条图,线条图中会有抓取错误数量的记录,而你目前这几个数据都是空的,所以不用担心抓取问题。
2:新站13天时间还比较短,平时将精力放在站内外的建设方面,网站内容充实的时候蜘蛛会抓取比较多,平时多做一些内外链操作,让蜘蛛有更多的抓取入口,这样到了后期你网站的收录也会加快。
多更新内容
如果确定服务器没问题的话,就是百度的原因