我只做地图也发一些外链，但是网站奇怪了蜘蛛总是反复多次抓取重复的页面，每次抓取的重复没有什么用，长时间下去我如何处理蜘蛛的问题？苦恼啊！蜘蛛怎么就是抓取重复的页面？
调整一下内链模块，引导一下蜘蛛的爬行路线
在重复的页面加些新链接
让更多人参与回答
