蜘蛛是怎么了抓取次数多了，就是抓取次数都是重复的，为什么抓取重复页面，这样的也没有什么用处，如何引导蜘蛛抓取次数不要重复的，怎么引导蜘蛛抓取页面正常？长时间抓取页面重复咋回事？
首先，如果你觉得这些被重复抓取的页面没有用，可以设置Nofollow； 其次，及时提交想要被抓取的目标页面（写进Sitemap，主动提交等等都行）； 最后，注意目标页面的链接入口，通过内链和外链等优化，来促进搜索引擎蜘蛛抓取。
可以在一直重复的那个页面加一些链接引到别的页面
重复抓取的页面多添加一些内链进行引流
让更多人参与回答
