1、抓取异常究竟指什么
关键词排名优化对于互联网中可正常访问的页面,通过百度蜘蛛抓取所获取到的内容应与普通用户访问到是一致的,而抓取异常是除此以外的情况。
2、网站抓取异常有什么严重的影响
如果网站中存在大量网页抓取异常,网站就会被搜索引擎认为存在用户体验上的缺陷,从而对网站的评价将会受到大幅度的影响,而网站在百度搜索引擎中的表现将会被终影响到。推荐阅读:什么样的网站利于百度蜘蛛抓取
百度抓取异常,百度抓取异常会降权吗,百度抓取规则
3、关于死链接
死链接就是指那些页面已经无效,无法对用户提供任何有价值信息的页面,包括协议死链和内容死链两种形式。
什么是协议死链:如404、403、503状态等常见死链会在页面的TCP协议状态/HTTP协议状态中有明确的表示。
什么是内容死链;对于服务器来说,它有着正常的服务器状态,但是已经变更为不存在内容、或者是已删除或需要权限等与原内容无关的信息页面。
对于死链,建议对死链数据进行及时修复,或推送死链数据,为使搜索引擎更快地发现死链,将死链对用户以及搜索引擎的影响减少。推荐阅读:如何吸引百度蜘蛛与抓取的频率
4、关于IP禁封
对网络的出口IP地址进行限制,禁止该IP段的使用者进行内容访问,就是禁封。
5、关于UA禁封
用户代理(User-Agent)即是UA,服务器是通过UA才能识别访问者的身份。而UA禁封就是网站针对指定UA的访问,返回异常页面(如403,500)或跳转到其他页面的情况。
6、关于异常重定向
即为重定向将网络请求重新指向其他位置。永久重定向(301跳转协议)和暂时重定向(302跳转协议),目前百度都可以识别和支持是两种常见的重定向。
对于长时间跳转到其他域名的情况,如网站更换域名,建议您使用301跳转协议。
7、其他异常
针对百度refer的作弊:这是网页针对从百度的refer返回不同于正常内容的行为的一种反应。针对百度ua的作弊:网页对百度UA返回不同于页面原内容的行为。
JS跳转作弊:用户在通过搜索结果进入页面后发生了跳转的情况,这是由于网页加载了百度无法识别的JS跳转代码。
压力过大引起的偶然禁封:根据站点的规模,访问量等信息,百度会自动设定一个合理的抓取压力。但是如压力控制失常等异常情况下,根据自身负荷,上海网站优化服务器会进行保护性的偶然封禁。这种情况下,会在返回码中返回其含义是
“Service Unavailable ,如果网站已空闲,等百度蜘蛛会过段时间再来尝试抓取时,这个链接就会被成功抓取。