某些域名，所有页面都需要限制蜘蛛抓取，用rotots限制 悬赏1元 已结束
通过百度文档的rotots写法是：
User-agent: *
Disallow:/
而这些域名的rotots的写法是下面
User-agent: *
Disallow:*
想请问下下面的写法是错误的？
Disallow:/和Disallow:* 和*的区别在哪？
10 人参与回答
杨小旭 等 1 人赞同该回答
1、屏蔽整站，选第一个；
2、*代表任意值，但是很少有见Disallow:*；
3、如果屏蔽整站Disallow : / 即可。
第二种写法是错误的，没有这样写的
Disallow:/是规范的写法
嗯，可以这样的
