我的站www.jidiyo.com查看百度抓取有如下异常:
其他错误:爬虫发起抓取,httpcode返回码是4XX,不包括403和404
找不到页面:爬虫发起抓取,httpcode返回码是404
访问被拒绝:爬虫发起抓取,httpcode返回码是403
服务器错误:爬虫发起抓取,httpcode返回码是5XX
这些异常需要处理不?
如果要处理应该怎么处理呢?
我对技术说明都不懂。
看下错误原因才能排查
抓取代码错误?
太正常了,这是一门玄学!
1、这个是那个阶段是站点是有抓取问题的,也会有抓取失败的页面展现;
2、检查当前站点站点是否能正常打开,使用百度站长抓取工具抓取下,是否能正常抓取;
3、后期好像没有了,这个不影响,因为你后面都是正常无抓取失败的情况,可能那段时间蜘蛛抓取你的网站,你的网站打不开导致抓取失败;
4、这些如果之前抓取失败的页面能正常打开,抓取诊断也正常,那么一切都是正常的,不用处理;
5、日常访问站点,和观察数据以防出现抓取失败情况。
百度现在一直不稳定,先观察几天看看
百度现在一直不稳定
进来看看大佬怎么分析的
百度现在一直不稳定 ,过几天就会好了
<p><br></p>
先观察几天看看。
让更多人参与回答