搜外网>搜外问答>问答页面

网站robots文件常规怎么设置？推荐热议悬赏3元已结束

微信

直接允许全部吗？

还是说有什么特殊目录需要限制？

# robots.txt generated at https://meimeifa.com/robots/

User-agent: *

Disallow:

Robots 举报 本帖由用户发布，如有侵权联系删除 2020-11-19 发布1,188 次浏览

交换友情链接，就用搜外友链，方便！

31 人参与回答

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

诚笃企服、逆风翻盘、罗凌峰等 3 人赞同该回答

1、Robots的规则是为了节省蜘蛛抓取爬行时间，有一些文件夹一直被蜘蛛抓爬，但是这些非正常网页文件，可以选择robots屏蔽掉；

2、一般网站模板都有默认的robots文件；

3、robots是搜索引擎蜘蛛第一个看的文件，如果你都允许，其实设置不设置都没啥；

4、分析网站日志，看蜘蛛抓取哪些文件，有些css样式，或者不想让蜘蛛抓取爬行的文件夹不重要的，都可robots掉；

5、robots的含义就是为了节省蜘蛛抓取时间，屏蔽一些不重要或者不想被蜘蛛抓取的文件夹或者网页。

注：切记不要屏蔽整站抓取就ok

just · 零代码开发

欧文、诚笃企服等 2 人赞同该回答

不是的，你要按需来写，不过一般的网站都是直接写允许访问所有就可以了，如下：

　　User-agent: *

　　Disallow:

但是如果你有特殊需求，就在百度搜索一下：Robots书写规则，很详细的书写规则。

王听风 · SEO知名站长

欧文等 1 人赞同该回答

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-include/

Disallow: /?s=

Allow: /wp-admin/Sitemap:

呀。。土豆

诚笃企服等 1 人赞同该回答

直接全部就好

浮生挽歌 · seo、网站建设

诚笃企服等 1 人赞同该回答

站长工具，里面有一个Robots.txt生成，把你想要搜索引擎爬行的或者不要爬行的都设置，保存，放到根目录就行。

江苏瓦轴总 · 瓦轴

其实也可以不用写

移动POS · 成都项融科技，专业从事移动pos机、手机收款APP软件办理安装、代理等售后维修服务

我的网站就没有写呢，

花秀才

根据自己的要求进行设置就可以了

罗帕德投影

看你想要给蜘蛛抓取哪些页面，不给抓取哪些页面，不给抓取屏蔽掉就行了

坤知Seo

你的是什么CMS，你可以看下其他网站的Robots文件是怎么设置的，做下参考

姗姗 · 网站仿制、网站定制开发、模板开发，QQ1217815926

如果都允许的话，不写就行了。

行星减速机 · 行星减速机品牌厂家

百度一搜，各种教程都出来了

申虎包装- · 上海厂家直供装盒机、灌装机、封口机、封尾机、旋盖机

其实不设置也没啥，设置也是把后台文件屏蔽一下

软著狗 · 长期承接软件著作权、作品美术著作权版权登记代理代办VX：pifa3628365

我一般都不管这个

藤设计网站 · 为客户寻找利益其实是为自己寻找利益。

一般不设置网站也爬的蛮好的

加载更多

网站robots文件常规怎么设置？推荐热议悬赏3元已结束

收录宝

提供服务

常用链接

产品实验室

网站robots文件常规怎么设置？ 推荐热议 悬赏3元 已结束

收录宝

提供服务

常用链接

产品实验室

网站robots文件常规怎么设置？推荐热议悬赏3元已结束