蜘蛛反复多次抓取页面，都是重复的页面，为什么大量的都是重复的页面，其它都没有被抓取，怎么处理好把蜘蛛引导一下抓取方法不要总是抓取一个页面？有没有好的办法？
按提示去处理就可以，或者死链提交
我的也是啊，一个页面重复抓取，真的是服了
看看大师怎么说的吧。
网站地图做好就行
看看专家怎么说的吧
让更多人参与回答
