网站蜘蛛每次爬取页面，但反复爬取的都是重复的页面，次数太多了都无效，怎么引导蜘蛛爬取正常？是不是经常爬取重复的页面，对网站不利没有用，如何优化好站内情况？多谢回答问题的大佬！
要注意一下网站内链建设。
看看网站的链接框架，正常的话蜘蛛是一直延续下去爬取的
提交网站链接，建立网站地图
让更多人参与回答
