网站100个页面生成200多个链接。一半多都是重复的。我要怎么才能禁止蜘蛛抓取重复的？我想把重复链接写到robots里面，但是写了蜘蛛照样来抓，大佬们，这个robots应该怎么写才行啊？
这个跟你写不写没关系
写不写是你的事，抓不抓是它的事。你写了也不一定可以禁止蜘蛛抓取……
匿名用户
没卵用，蜘蛛不会遵守的，我都屏蔽了2个月依旧抓取！
让更多人参与回答
