网站蜘蛛总是爬取重复的内容什么情况?
最近一段时间了,网站蜘蛛每次都来网站爬取,就是爬取的都是重复的内容?重复的内容反复被蜘蛛爬取了,所以收录量也不算高,这个怎么办是怎么回事?有什么办法可以让蜘蛛不爬取重复的太多了?
4 人参与回答
用户204937 等 1 人赞同该回答
1、网站重要页面:首页、栏目页等相关页面,只显示近期的内容,过早的内容链接全部取消不显示!
2、网站地图只显示近期的内容,过早的链接全部取消!
3、稳定更新新内容,注意质量