主要用于限制蜘蛛抓取的情况。
通俗点说，这个就是控制网站蜘蛛抓取的
主要作用就是让搜索引擎的蜘蛛禁止爬取哪些页面 可以爬取哪些页面的要求
一种协议，搜索引擎可以根据这个协议来判断是否抓取
Robots文件就是展示给搜索引擎看的，抓取方便
让更多人参与回答
