蜘蛛抓取页面重复太高怎么处理好点？
网站蜘蛛抓取页面多数都是重复的，如何解决蜘蛛的重复抓取页面，避免继续重复率太高了，网站重复率太高了是什么原因导致的，如何才能解决蜘蛛不让蜘蛛爬取重复的内容，不然也是没有作用，怎么解决？
1 人参与回答
有蜘蛛抓取就不错啦！
网站蜘蛛抓取页面多数都是重复的，如何解决蜘蛛的重复抓取页面，避免继续重复率太高了，网站重复率太高了是什么原因导致的，如何才能解决蜘蛛不让蜘蛛爬取重复的内容，不然也是没有作用，怎么解决？
有蜘蛛抓取就不错啦！
