搜外网>搜外问答>问答页面

Robots是百度蜘蛛第一先抓取的?

请问各位大神,Robots文件在哪里如何设置?

追加问题
    8 人参与回答
西山seo
西山seo · 网站诊断、关键词规划、关键词上排名,QQ1432459003

是,Robots是蜘蛛协议,可以禁止蜘蛛抓取某些页面

sibuzyncom
sibuz · 思埠集团81236939

恩,就是一个大门~

大李先生
大李先生 · ✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈㊣伸出发财的小手帮我点一下=。=

是的,蜘蛛第一读取的是你网站的Robots

蘋果與蛇
蘋果與蛇 · Google SEO,外贸企业的必备增长引擎,微信:15877068041

Robots文件在服务器的根目录下,你要写好蜘蛛抓取规则就好了

PS
PS · Google SEO专家-Shuke.→SEO服务咨询微信:15877060841

蜘蛛会首先看你的蜘蛛协议,蜘蛛协议可以写好之后放进服务器根目录

To me
To me · 一只可爱的SEOer

Robots是一种协议,各个搜索引擎的爬虫都会遵守,所以首先会访问它

蒋元红
蒋元红 · 域名交易平台 efa.wang

Robots是第一访问的,放网站根目录下即可,书写格式百度站长工具有详细介绍

SEO培训招生中
188