只能是屏蔽站内文件的，对站外文件没有屏蔽功能。
，Allow，Disallow，Sitemap的首字母都是大写的。
，Allow，Disallow，Sitemap的冒号后面都是有空格的，没有写空格直接写接下来的内容会出错。
5.网站通常会屏蔽搜索结果页面。因为搜索结果页和正常展示的内容页相比，标题和内容上相同的，而这两个页面链接是不同的。那搜索引擎该将这篇文章归属于哪个内链呢?这样就会造成内链之间相互竞争，造成内部资源损耗。
6.建议屏蔽JS文件。Disallow: /*.js$，以 .js 结尾的路径统统被屏蔽，这样就屏蔽了js文件。
7.路径是区分大小写的。Disallow: /ab/ 和 Disallow: /Ab/ 是不一样的。
会暴露网站相关目录，写Robots.txt时要考虑到这一点。
9.有些seo会将文件直接备份在服务器中，文件是 .zip 格式，然后在robots.txt中屏蔽。个人不建议这样，这就是明显告诉人家你的备份文件位置。建议文件和数据都备份到本地。
10.一些特殊规则对比：
①Disallow: /和Disallow: / ab (/后面有个空格，再有ab)是一样的，/后面多了个空格，蜘蛛之认空格前面那一段，就是Disallow: /，所以两个都是屏蔽整站的。
②Disallow: /ab和Disallow: /ab*是一样的。比如两个都能屏蔽http://域名/ab，http://域名/abc，http://域名/abcd。
③Disallow: /ab/和Disallow: /ab是不一样的。很明显，Disallow: /ab范围更广，包含了Disallow: /ab/。因为Disallow: /ab/只能屏蔽http：//域名/ab/，http：//域名/ab/....这样的路径，也就是只能屏蔽ab目录和ab目录下的文件不被蜘蛛抓取。
这个不是很明白，也需要学习一下
你可以主动邀请蜘蛛来
楼上大佬说得对
对啊
这个问题我也很疑惑，占位学习
