20 人参与回答
最佳回答
加载更多
书写 Robots 文件时需要注意以下细节：
1、一定不要写绝对路径，就是不要带网站域名，用/代替即可。
2、注意 robots 文件中的所有符号都是在英文状态下写的，比如 Disallow: /admin/ 中的:是英文状态下的。
3、注意空格，例如 Disallow: /admin/ 中:后面紧跟着一个空格。
4、注意大小写，例如 Disallow: /admin/ 中 Disallow 的D是大写的。
5、robots 是有生效时间的，是由百度决定的，几天或者两个月以内，所以一定不要随便屏蔽整站。
6、还有一点要弄清楚，Disallow: /help 的意思是禁止蜘蛛访问/、/、/help/ 等所有带 help 的文件及文件夹；Disallow:/help/ 则是禁止蜘蛛访问 /help/ 这种形式的路径，允许访问 /、/。
一楼应该解决你的问题了
上面说的已经很多了，参照着些就行了
正确，没有问题的
没有啥问题
多学习学习才可以
我也学习学习。
有问题 有暴露后台地址的风险 建议敏感目录使用* 通配符 Disallow: /ad*zi/ 这个自己改 要自己需要抓取的目录跟这个没有一样的就行
写的没问题。
嗯 不错 虽然我也看不太懂
1楼分析得不错，可以借鉴
学到了学到了，
不想抓取的文件夹或者网页可屏蔽掉。
推推蛙说得对，学到了
