网站蜘蛛怎么不正常,有时候抓取页面重复,有时候抓取页面没有记录痕迹,为什么蜘蛛抓取页面多数是重复的,作用没有多大,怎么保证蜘蛛的正常爬取抓取?蜘蛛抓取没有记录是什么情况?
是不是屏蔽了呢
我的首页蜘蛛抓取首页很乱怎么办,看首页快照很乱
自查一下,看看有没有屏蔽蜘蛛抓取
页面没有抓取记录的可以做下抓取诊断,蜘蛛可以正常爬行的话,就主动提交引导蜘蛛
检查一下是不是 屏蔽了 蜘蛛
看看是不是被屏蔽了
看看是否有屏蔽蜘蛛
检查一下有没有这些情况:服务器连接异常 网络运营商异常 DNS异常 IP封禁 UA封禁 死链 协议死链 异常跳转
蜘蛛量抓取可能有点少,也可以看看是不是被屏蔽了
蜘蛛量抓取可能有点少
看看是不是屏蔽了
让更多人参与回答