蜘蛛是怎么了，为什么一次次爬取页面都是重复的，反复爬取页面重复，这样爬取也没有什么作用，为什么蜘蛛一次次的爬取页面都是重复。怎么解决蜘蛛爬取的问题引导蜘蛛爬取页面正常？大家是如何解决的？
让更多人参与回答
