搜外网>搜外问答>问答页面

Robots是百度蜘蛛第一先抓取的？

微信

请问各位大神，Robots文件在哪里如何设置？

Robots

本帖由用户发布，如有侵权联系删除 2019-06-01 发布1,560 次浏览

交换友情链接，就用搜外友链，方便！

8 人参与回答

用户126600 · 网站诊断、关键词规划、关键词上排名，QQ1432459003

是，Robots是蜘蛛协议，可以禁止蜘蛛抓取某些页面

用户69934 · 思埠集团81236939

恩，就是一个大门~

用户128309 · ✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈㊣伸出发财的小手帮我点一下=。=

是的，蜘蛛第一读取的是你网站的Robots

用户136240 · Google SEO，外贸企业的必备增长引擎，微信：15877068041

Robots文件在服务器的根目录下，你要写好蜘蛛抓取规则就好了

用户98591 · Google SEO专家-Shuke.→SEO服务咨询微信：15877060841

蜘蛛会首先看你的蜘蛛协议，蜘蛛协议可以写好之后放进服务器根目录下

用户135774 · 一只可爱的SEOer

Robots是一种协议，各个搜索引擎的爬虫都会遵守，所以首先会访问它

用户57984 · 域名交易平台 efa.wang