网站每次都是正常更新，一直保持更新也没有隔断开，最近是怎么的网站的蜘蛛是来了但是都是重复的，爬取页面都是重复页面，如何才能解决蜘蛛爬取问题，怎么处理引导蜘蛛爬取正常？
前来学习的，学习的非常的认真
应该是不用管吧
让更多人参与回答
