网站蜘蛛来的也规律，按时经常来网站，问题是来了爬取的都是重复的页面，反复这样好多次了，怎么引导蜘蛛抓取爬取其它页面？不爬取别的页面，也没有作用，蜘蛛为什么反复抓取一个页面？
把你想让蜘蛛抓取的页面链接过去
1、蜘蛛抓取重复页面，这些页面里面有无导出外部的URL，如果有，也会有机会被抓取爬行； 2、例如新站，蜘蛛可能更多是抓取站点首页，内页不予抓取，这种多半是首页信任度高，内页还需要持续优化积攒信任度； 3、站内结构优化合理，彼此直接都有指向，那么都会有机会被抓取； 4、蜘蛛不抓取其他页面，可以做提交推送URL给百度站长，站点规划合理，其他页面也有机会被抓取。 引用自@推推蛙的回答
多发高质量内容，引导蜘蛛
让更多人参与回答
