网站的蜘蛛是每天都来爬取，爬取次数是正常的唯一是抓取的页面都是重复的，怎么才能让蜘蛛不要重复的爬取页面链接？蜘蛛为什么光爬取重复的页面，其它无爬取情况？
这个影响不大吧
找高手处理一下吧
做网站地图了吗？
1、如新站，蜘蛛只抓取首页也是正常的，持续优化提升信任度； 2、想要蜘蛛来访抓取内页，可以引蜘蛛操作，做好基础优化提升域名信任度，做好外链友链，蜘蛛池和收录宝指向不收录的内页，可以引蜘蛛去爬行内页。
让更多人参与回答
