蜘蛛每次来网站是正常的,怎么爬取页面都是重复的,有时候爬取也没有被记录了,为什么蜘蛛爬取页面重复率太高,是什么情况导致的蜘蛛爬取不正常?如何吸引蜘蛛爬取页面正常起来?
去引下蜘蛛,引蜘蛛去抓取你不抓的页面
可能是不同IP的蜘蛛
让更多人参与回答