robots文件的作用是指令搜索引擎禁止抓取某些页面，或者允许抓取某些页面，对吗？
是的，有一些你不想让蜘蛛抓取的路径就可以禁止，比如你网站的VIP账号信息，你的后台管理，这些就可以禁止它抓取
说的没错，相当于一个小区的门卫，进门先过这个门岗，门卫告诉蜘蛛你要去A单元，B单元你不能过去，蜘蛛出于礼貌大部分情况会遵守，但是腿长在人家身上有能力去任何地方，门卫是个花甲老大爷只能口头警告，没有实际阻拦能力，当然大部分情况下蜘蛛自觉性都挺高的。
让更多人参与回答
