搜外网>搜外问答>问答页面

常说的robots文件是什么意思？

微信

Robots 举报 本帖由用户发布，如有侵权联系删除 2022-12-08 发布614 次浏览

6 人参与回答

利美医疗 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

主要用于限制蜘蛛抓取的情况。

三九问答 · 专业的有问必答平台

通俗点说，这个就是控制网站蜘蛛抓取的

主要作用就是让搜索引擎的蜘蛛禁止爬取哪些页面可以爬取哪些页面的要求

HWAPº · 网站权6，友情链接QQ:2544424184

一种协议，搜索引擎可以根据这个协议来判断是否抓取

泉水溪溪 · 鑫盛主营包装机设备，粉剂包装机，颗粒包装机，可用于面粉、粮食、化工、肥料行业

Robots文件就是展示给搜索引擎看的，抓取方便

1。

Robots文件就是展示给搜索引擎看的，抓取方便

收录宝