搜外网>搜外问答>问答页面

网站蜘蛛抓取页面都是重复率高怎么解决？

微信

网站最近蜘蛛有来网站，每次来的频率次数挺多，唯一是蜘蛛抓取页面多数是重复的页面，别的页面不怎么抓取，这样收录量也不太好，怎么避免蜘蛛一次次的抓取页面重复？重复的抓取没有什么用，咋处理好？

举报 本帖由用户发布，如有侵权联系删除 2021-08-20 发布472 次浏览

3 人参与回答

啊丶噗 · 成都易牛云朗沃从2006年起匠心专注川内IT培训教育，开设了Java，Web前端，UI设计等热门课程。

我的微信:sec_vip 等 1 人赞同该回答

做好内链，影响蜘蛛抓取深度；手动提交网址

我的微信:sec_vip 等 1 人赞同该回答

额~这个问题我也想知道~

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

我的微信:sec_vip 等 1 人赞同该回答

1、蜘蛛抓取重复页面也是正常的，对新站来说，一直抓首页也是符合预期；
2、想要抓取新的页面，就需要引蜘蛛促收录，提交推送URL给百度站长，外链友链，蜘蛛池和收录宝提交URL有助于蜘蛛抓取发现新的URL页面。

收录宝