robots文件的作用是指令搜索引擎禁止抓取某些页面，或者允许抓取某些页面，对吗？

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

Answer 1

四百发布网 · 各类传奇手游，手游SF，复古传奇，神途，发布网站，每日更新大量手游传奇信息

是的，有一些你不想让蜘蛛抓取的路径就可以禁止，比如你网站的VIP账号信息，你的后台管理，这些就可以禁止它抓取

Answer 2

闯王破坡主 · 自由站长自学seo 欢迎交流企鹅 10400042

说的没错，相当于一个小区的门卫，进门先过这个门岗，门卫告诉蜘蛛你要去A单元，B单元你不能过去，蜘蛛出于礼貌大部分情况会遵守，但是腿长在人家身上有能力去任何地方，门卫是个花甲老大爷只能口头警告，没有实际阻拦能力，当然大部分情况下蜘蛛自觉性都挺高的。

收录宝