蜘蛛总是抓取重复的页面怎么解决问题？
蜘蛛抓取次数多了，但是问题是每次蜘蛛抓取页面是重复的，重复的页面反复抓取，这是怎么回事为什么大量蜘蛛每天每次要抓取重复的页面，有什么办法禁止不要继续抓取页面重复，让蜘蛛正确抓取我要怎么做？
6 人参与回答
一个页面多次抓取也正常的 只要你的新页面也在抓取就行了
蜘蛛都是有专门字段的，你可以检查看一下啊
是不是恶意点击
首先，你需要确认是否真实蜘蛛，假的就屏蔽了免得浪费资源。
https://didi.seowhy.com/ip.html
