书写 Robots 文件时需要注意以下细节：
1、一定不要写绝对路径，就是不要带网站域名，用/代替即可。
2、注意 robots 文件中的所有符号都是在英文状态下写的，比如 Disallow: /admin/ 中的:是英文状态下的。
3、注意空格，例如 Disallow: /admin/ 中:后面紧跟着一个空格。
4、注意大小写，例如 Disallow: /admin/ 中 Disallow 的D是大写的。
5、robots 是有生效时间的，是由百度决定的，几天或者两个月以内，所以一定不要随便屏蔽整站。
6、还有一点要弄清楚，Disallow: /help 的意思是禁止蜘蛛访问/、/、/help/ 等所有带 help 的文件及文件夹；Disallow:/help/ 则是禁止蜘蛛访问 /help/ 这种形式的路径，允许访问 /、/。
一楼应该解决你的问题了
上面说的已经很多了，参照着些就行了
正确，没有问题的
没有啥问题
多学习学习才可以
我也学习学习。
有问题 有暴露后台地址的风险 建议敏感目录使用* 通配符 Disallow: /ad*zi/ 这个自己改 要自己需要抓取的目录跟这个没有一样的就行
写的没问题。
嗯 不错 虽然我也看不太懂
1楼分析得不错，可以借鉴
学到了学到了，
不想抓取的文件夹或者网页可屏蔽掉。
推推蛙说得对，学到了
没毛病。可以在【https://ziyuan。baidu。com/】上注册个账号，站点管理中添加自己的站点，里面有个Robots板块，既可以验证文件内容是否有效，也可以校验，很方便。
正确，没有问题的
大体上是没问题的
1、Robots的功效主要是屏蔽不让抓取的文件夹或者页面；
2、你屏蔽的是否是你的网页后台地址，如果是这样就直接把你的后台正大光明的告诉别人了，一般不建议写，网站里面没有给通道，一般也不会收录后台地址；
3、不想抓取的文件夹或者网页可屏蔽掉。
新手表示看不懂，坐等大神
