搜外网>搜外问答>问答页面

大佬们，为什么写了robots还是不能禁止蜘蛛抓取？

微信

网站100个页面生成200多个链接。一半多都是重复的。我要怎么才能禁止蜘蛛抓取重复的？我想把重复链接写到robots里面，但是写了蜘蛛照样来抓，大佬们，这个robots应该怎么写才行啊？

Robots 举报 本帖由用户发布，如有侵权联系删除 2019-07-13 发布1,339 次浏览

3 人参与回答

赵团辉 · 留学生租房、海外租房、留学后服务等

这个跟你写不写没关系

袁昆 · 互联网营销、SEO优化、微电商运营实战专家。搜索一下：守护袁昆

写不写是你的事，抓不抓是它的事。你写了也不一定可以禁止蜘蛛抓取……

没卵用，蜘蛛不会遵守的，我都屏蔽了2个月依旧抓取！

收录宝