网站最近蜘蛛有来网站，每次来的频率次数挺多，唯一是蜘蛛抓取页面多数是重复的页面，别的页面不怎么抓取，这样收录量也不太好，怎么避免蜘蛛一次次的抓取页面重复？重复的抓取没有什么用，咋处理好？
做好内链，影响蜘蛛抓取深度；手动提交网址
额~这个问题我也想知道~
1、蜘蛛抓取重复页面也是正常的，对新站来说，一直抓首页也是符合预期； 2、想要抓取新的页面，就需要引蜘蛛促收录，提交推送URL给百度站长，外链友链，蜘蛛池和收录宝提交URL有助于蜘蛛抓取发现新的URL页面。
让更多人参与回答
