搜外网>搜外问答>问答页面

网站robots文件常规怎么设置？ 推荐热议 悬赏3元 已结束

微信

直接允许全部吗？

还是说有什么特殊目录需要限制？

# robots.txt generated at https://meimeifa.com/robots/ 

User-agent: *

Disallow: 

追加问题
Robots
本帖由用户发布，如有侵权联系删除  2020-11-19 发布1,337 次浏览
举报
其他问题
 
    31 人参与回答
用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo
用户184991、 用户186307、 用户156223 等 3 人赞同该回答

1、Robots的规则是为了节省蜘蛛抓取爬行时间，有一些文件夹一直被蜘蛛抓爬，但是这些非正常网页文件，可以选择robots屏蔽掉；

2、一般网站模板都有默认的robots文件；

3、robots是搜索引擎蜘蛛第一个看的文件，如果你都允许，其实设置不设置都没啥；

4、分析网站日志，看蜘蛛抓取哪些文件，有些css样式，或者不想让蜘蛛抓取爬行的文件夹不重要的，都可robots掉；

5、robots的含义就是为了节省蜘蛛抓取时间，屏蔽一些不重要或者不想被蜘蛛抓取的文件夹或者网页。

注：切记不要屏蔽整站抓取就ok

5 年前
IP属地：天津
赞同 3 评论 0
收藏 举报
评论取消
用户180087 · 零代码开发
用户127263、 用户184991 等 2 人赞同该回答

不是的，你要按需来写，不过一般的网站都是直接写允许访问所有就可以了，如下：

　　User-agent: *

　　Disallow:

但是如果你有特殊需求，就在百度搜索一下：Robots书写规则，很详细的书写规则。

5 年前
IP属地：广东
赞同 2 评论 2
收藏 举报
评论取消
用户128748 · SEO知名站长
用户127263 等 1 人赞同该回答 

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-include/

Disallow: /?s=

Allow: /wp-admin/Sitemap:
5 年前
IP属地：江西
赞同 1 评论 1
收藏 举报
评论取消
用户133904
用户184991 等 1 人赞同该回答

直接全部就好

5 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
用户168980 · seo、网站建设
用户184991 等 1 人赞同该回答

站长工具，里面有一个Robots.txt生成，把你想要搜索引擎爬行的或者不要爬行的都设置，保存，放到根目录就行。

5 年前
IP属地：广西
赞同 1 评论 0
收藏 举报
评论取消
用户143270 · 瓦轴

其实也可以不用写

5 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
用户185102 · 成都项融科技，专业从事移动pos机、手机收款APP软件办理安装、代理等售后维修服务

我的网站就没有写呢，

5 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
用户170201

根据自己的要求进行设置就可以了

5 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
用户185058

看你想要给蜘蛛抓取哪些页面，不给抓取哪些页面，不给抓取屏蔽掉就行了

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户171504

你的是什么CMS，你可以看下其他网站的Robots文件是怎么设置的，做下参考

5 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
用户186916 · 网站仿制、网站定制开发、模板开发，QQ1217815926

如果都允许的话，不写就行了。

5 年前
IP属地：江西
赞同 0 评论 0
收藏 举报
评论取消
用户148299 · 行星减速机品牌厂家

百度一搜，各种教程都出来了

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户158433 · 上海厂家直供装盒机、灌装机、封口机、封尾机、旋盖机

其实不设置也没啥，设置也是把后台文件屏蔽一下

5 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
用户186495 · 长期承接软件著作权、作品美术著作权版权登记代理代办VX：pifa3628365

我一般都不管这个 

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户3175 · 为客户寻找利益其实是为自己寻找利益。

一般不设置网站也爬的蛮好的

5 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
用户182414 · 冷却塔厂家特菱空调交换友链ing~~~

站长工具可以生产。一半是设置哪些东西需要访问，哪些禁止访问的。可以单独屏蔽某个搜索引擎的蜘蛛去抓取，也可以把网站地图写到这里面给蜘蛛抓取~

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户161559 · 深圳翻译公司-SEO还在潜修

不会设置，就全常规就行了

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户154204

如果不需要屏蔽什么，常规的就行

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户162335 · SEM学徒

站长工具就可以自动生成

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户185182

关于网站rebots.txt写法，网上很多啊

5 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
用户184066

看你哪些页面不想被搜索引擎抓取，一般是404页面 和搜索结果页需要屏蔽

5 年前
IP属地：重庆
赞同 0 评论 0
收藏 举报
评论取消
用户178692

常规即可

5 年前
IP属地：山西
赞同 0 评论 0
收藏 举报
评论取消
用户148382 · 游戏源码,整站源码,网站制作,网站seo优化

这个根据你的CMS来定

5 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
用户186834

按照常规的Robots文件来写就行

5 年前
IP属地：四川
赞同 0 评论 1
收藏 举报
评论取消
用户186390 · 个人网站接入收付款功能

常规的就行，

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户158790 · 啥都会却啥都不擅长

直接百度搜一下Robots.txt     有一个专门的词条介绍的很详细，怎样配置允许抓取怎样配置不允许抓取，怎样告诉蜘蛛这是你的网站地图推荐抓取。很详细。

5 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
用户152811 · 时长一年半的SEO小白

常规的就行，不想被抓取的可以屏蔽

5 年前
IP属地：北京
赞同 0 评论 2
收藏 举报
评论取消
用户147315 · 国内前十AA类评级期货公司为您[免费提供]综合类期货交易知识

问你们技术

5 年前
IP属地：甘肃
赞同 0 评论 0
收藏 举报
评论取消

匿名用户

常规的话就不用管即可

5 年前
IP属地：安徽
赞同 0 评论 0
收藏 举报
评论取消
用户171948

把你的FTP没必要的文件路径都屏蔽了就好，或者是百度抓取的链接 你觉得没啥意义 也可以直接在这里面屏蔽

5 年前
IP属地：安徽
赞同 0 评论 0
收藏 举报
评论取消
加载更多

收录宝

86998 75002 37279 45623 45482 54376 63310 72286 82688 96948 07224 15988 45977 55369 08716 47636 56193 64961 73728 91425

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司