每次蜘蛛过来爬取页面，但是爬取页面都是重复的的太多，为什么页面重复的太多，怎么引导蜘蛛让蜘蛛爬取页面正常，每天更新文章就是为了吸引蜘蛛，蜘蛛到底是怎么爬取页面重复的也没有用啊？
可以发一些外链引导，或交换友情链接引导
Robots设置一下
可以引导去抓其他页面
让更多人参与回答
