蜘蛛是正常来网站，也是正常的抓取页面，就是每次抓取页面都是重复的，重复率页面太高了，这样反复多次抓取没有什么效果，为什么导致蜘蛛抓取页面重复，怎么禁止不会重复抓取？
网站程序问题。
看下程序的是不是有问题。
看一下是不是网站程序有问题
每次抓的都是一个页面？
重复率页面太高了 是不是网站程序有问题 ，造成的
让更多人参与回答
