搜外网>搜外问答>问答页面

robots文件有什么作用？

微信

网站没有弄robots文件，没事吧？

Robots 举报 本帖由用户发布，如有侵权联系删除 2020-08-03 发布908 次浏览

交换友情链接，就用搜外友链，方便！

16 人参与回答

绝版黑色

我感觉没啥用。

第一际科技 · 上海园区招商免费注册公司免费代理记账

提示蜘蛛聊胜于无

享受生活

提示蜘蛛哪些可以抓取哪些不可以

痫

没事的

麦田

感觉没啥用不让抓取的也抓

leeyd · 佛系佛系，排名随缘，收录随缘，转化随缘

如果没有要禁止蜘蛛访问的目录就没啥用，不过看蜘蛛访问老是404，我就添加了个上去，顺带将Sitemap地址放上去

钢管厂家 · 专业加工螺旋钢管、直缝钢管，无缝钢管，加工防腐钢管、保温钢管、涂塑钢管，加工销售镀锌钢管，钢护筒

给蜘蛛指路的，告诉他哪些可以收录,保护网站。给蜘蛛指路的，告诉他哪些可以收录，哪些不能收入，因为蜘蛛进网站首先访问的就是Robots，在里面加上网站地图会有更好的效果

三个六

Robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。