蜘蛛抓取页面不正常怎么办？
网站蜘蛛怎么不正常，有时候抓取页面重复，有时候抓取页面没有记录痕迹，为什么蜘蛛抓取页面多数是重复的，作用没有多大，怎么保证蜘蛛的正常爬取抓取？蜘蛛抓取没有记录是什么情况？
13 人参与回答
是不是屏蔽了呢
我的首页蜘蛛抓取首页很乱怎么办，看首页快照很乱
自查一下，看看有没有屏蔽蜘蛛抓取
页面没有抓取记录的可以做下抓取诊断，蜘蛛可以正常爬行的话，就主动提交引导蜘蛛
检查一下是不是 屏蔽了 蜘蛛
看看是不是被屏蔽了
看看是否有屏蔽蜘蛛
看看是不是被屏蔽了
检查一下是不是 屏蔽了 蜘蛛
蜘蛛量抓取可能有点少，也可以看看是不是被屏蔽了
蜘蛛量抓取可能有点少
看看是不是屏蔽了
