网站日志查询看到蜘蛛很多次爬取，就是爬取内容都是重复的，每次被爬取的都是重复的，怎么合理的爬取页面最好不要重复了，有什么方法可以解决？蜘蛛爬取页面都是重复的，苦恼死了怎么办？
更新百度地图，通过多种方式向百度提交最新的链接，吸引蜘蛛抓取新页面
1、新站上线，蜘蛛总是会抓取首页，内页不抓取，这种情况也是符合搜索预期； 2、内页，产品页，栏目页，如果是老站了，依旧不抓取，可以尝试引蜘蛛操作，吸引蜘蛛来访抓取内页，抓取诊断无异常，内容稀缺优质的也可以申诉反馈百度站长，请求收录； 3、持续稳定做好站内外SEO优化，积攒域名信任度，做推送提交引蜘蛛，后期内页也会被抓取放出页面收录。
抓取的页面多加点内链试试呢 蜘蛛就是会经常爬取重复页面的 你还可以多发外链去吸引更多的蜘蛛来抓取
让更多人参与回答
