网站蜘蛛是经常正常来爬取，但是每次爬取的页面都是重复的太多，怎么禁止蜘蛛引导蜘蛛爬取正确的页面，我需要怎么办？为什么蜘蛛总是爬取重复的链接页面，是网站那里问题怎么改对？
总是爬重复的，说明那块内容蜘蛛喜欢，可以添加一些内链，多提交网站地图
你在他爬取的页面上挂些别的链接引导过去
让更多人参与回答
