网站蜘蛛总是爬取重复的内容什么情况？
最近一段时间了，网站蜘蛛每次都来网站爬取，就是爬取的都是重复的内容？重复的内容反复被蜘蛛爬取了，所以收录量也不算高，这个怎么办是怎么回事？有什么办法可以让蜘蛛不爬取重复的太多了？
4 人参与回答
我的微信:sec_vip 等 1 人赞同该回答
爬取重复的内容，说明你其他的页面权重不高
我的微信:sec_vip 等 1 人赞同该回答
爬取重复的内容 也是会更新你那些内容 说明你其他的页面权重不高
我的微信:sec_vip 等 1 人赞同该回答
1、网站重要页面：首页、栏目页等相关页面，只显示近期的内容，过早的内容链接全部取消不显示！
2、网站地图只显示近期的内容，过早的链接全部取消！
3、稳定更新新内容，注意质量
我的微信:sec_vip 等 1 人赞同该回答
可以设置一个Robots文件
