31 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM网站诊断、方案编写、优化运维。5118网站优惠折扣码:9ADB8B

1、Robots的规则是为了节省蜘蛛抓取爬行时间,有一些文件夹一直被蜘蛛抓爬,但是这些非正常网页文件,可以选择robots屏蔽掉;

2、一般网站模板都有默认的robots文件;

3、robots是搜索引擎蜘蛛第一个看的文件,如果你都允许,其实设置不设置都没啥;

4、分析网站日志,看蜘蛛抓取哪些文件,有些css样式,或者不想让蜘蛛抓取爬行的文件夹不重要的,都可robots掉;

5、robots的含义就是为了节省蜘蛛抓取时间,屏蔽一些不重要或者不想被蜘蛛抓取的文件夹或者网页。

注:切记不要屏蔽整站抓取就ok

just
just · 零代码开发
欧文知世宝工商一站式服务 等 2 人赞同该回答

不是的,你要按需来写,不过一般的网站都是直接写允许访问所有就可以了,如下:

  User-agent: *

  Disallow:

但是如果你有特殊需求,就在百度搜索一下:Robots书写规则,很详细的书写规则。

王听风
王听风 · SEO知名站长
欧文 等 1 人赞同该回答

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-include/
Disallow: /?s=
Allow: /wp-admin/Sitemap:
知世宝工商一站式服务 等 1 人赞同该回答

直接全部就好

浮生挽歌
浮生挽歌 · 税务筹划,财务外包,代理记账
知世宝工商一站式服务 等 1 人赞同该回答

站长工具,里面有一个Robots.txt生成,把你想要搜索引擎爬行的或者不要爬行的都设置,保存,放到根目录就行。

江苏瓦轴总代理
江苏瓦轴总 · 瓦轴

其实也可以不用写

移动POS机服务商办信用卡
移动POS · 成都项融科技,专业从事移动pos机、手机收款APP软件办理安装、代理等售后维修服务

我的网站就没有写呢,

根据自己的要求进行设置就可以了

看你想要给蜘蛛抓取哪些页面,不给抓取哪些页面,不给抓取屏蔽掉就行了

你的是什么CMS,你可以看下其他网站的Robots文件是怎么设置的,做下参考

姗姗
姗姗 · 网站仿制、网站定制开发、模板开发,QQ1217815926

如果都允许的话,不写就行了。

行星减速机
行星减速机 · 行星减速机品牌厂家

百度一搜,各种教程都出来了

申虎包装-杨敏
申虎包装- · 上海厂家直供装盒机、灌装机、封口机、封尾机、旋盖机

其实不设置也没啥,设置也是把后台文件屏蔽一下

我一般都不管这个 

加载更多
SEO培训招生中
148