蜘蛛每次来网站是正常的，怎么爬取页面都是重复的，有时候爬取也没有被记录了，为什么蜘蛛爬取页面重复率太高，是什么情况导致的蜘蛛爬取不正常？如何吸引蜘蛛爬取页面正常起来？
去引下蜘蛛，引蜘蛛去抓取你不抓的页面
可能是不同IP的蜘蛛
让更多人参与回答
