网站里的robots文件是不是必须要具备的，看了很多网站都有样的文件存在？
前来学习的，学习的非常的认真
Robots文件是给搜索引擎看的，告诉他们谁可以来抓取，哪些可以抓取
有这样的文件夹，但是不一定有内容
让更多人参与回答
