网站蜘蛛爬取页面次数很多，但是没有被收录起来，多数爬取都是重复的，无用的爬取页面重复的，怎么才能让蜘蛛爬取正常？为什么蜘蛛一次次的爬取重复的页面，有什么解决的办法？
看看你的页面布局呀
要是404页面就提交反馈，要是正常页面反复抓取就更新页面内容，增加内链提高蜘蛛的抓取路径，要还是一样的抓取情况，吸引更多外部蜘蛛去不同页面抓取。
让更多人参与回答
