搜外网>搜外问答>问答页面

网站robots文件常规怎么设置？ 推荐热议 悬赏3元 已结束

微信

直接允许全部吗？

还是说有什么特殊目录需要限制？

# robots.txt generated at https://meimeifa.com/robots/ 

User-agent: *

Disallow: 

追加问题
Robots 举报 本帖由用户发布，如有侵权联系删除  2020-11-19 发布1,069 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    31 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo
诚笃企服、 逆风翻盘、 罗凌峰 等 3 人赞同该回答

1、Robots的规则是为了节省蜘蛛抓取爬行时间，有一些文件夹一直被蜘蛛抓爬，但是这些非正常网页文件，可以选择robots屏蔽掉；

2、一般网站模板都有默认的robots文件；

3、robots是搜索引擎蜘蛛第一个看的文件，如果你都允许，其实设置不设置都没啥；

4、分析网站日志，看蜘蛛抓取哪些文件，有些css样式，或者不想让蜘蛛抓取爬行的文件夹不重要的，都可robots掉；

5、robots的含义就是为了节省蜘蛛抓取时间，屏蔽一些不重要或者不想被蜘蛛抓取的文件夹或者网页。

注：切记不要屏蔽整站抓取就ok

3 年前
IP属地：天津
赞同 3 评论 0
收藏 举报
评论取消
just
just · 零代码开发
欧文、 诚笃企服 等 2 人赞同该回答

不是的，你要按需来写，不过一般的网站都是直接写允许访问所有就可以了，如下：

　　User-agent: *

　　Disallow:

但是如果你有特殊需求，就在百度搜索一下：Robots书写规则，很详细的书写规则。

3 年前
IP属地：广东
赞同 2 评论 2
收藏 举报
评论取消
王听风
王听风 · SEO知名站长
欧文 等 1 人赞同该回答 

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-include/

Disallow: /?s=

Allow: /wp-admin/Sitemap:
3 年前
IP属地：江西
赞同 1 评论 1
收藏 举报
评论取消
呀。。土豆
呀。。土豆
诚笃企服 等 1 人赞同该回答

直接全部就好

3 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
浮生挽歌
浮生挽歌 · seo、网站建设
诚笃企服 等 1 人赞同该回答

站长工具，里面有一个Robots.txt生成，把你想要搜索引擎爬行的或者不要爬行的都设置，保存，放到根目录就行。

3 年前
IP属地：广西
赞同 1 评论 0
收藏 举报
评论取消
江苏瓦轴总代理
江苏瓦轴总 · 瓦轴

其实也可以不用写

3 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
移动POS机服务商办信用卡
移动POS · 成都项融科技，专业从事移动pos机、手机收款APP软件办理安装、代理等售后维修服务

我的网站就没有写呢，

3 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
花秀才
花秀才

根据自己的要求进行设置就可以了

3 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
罗帕德投影灯 李先生
罗帕德投影

看你想要给蜘蛛抓取哪些页面，不给抓取哪些页面，不给抓取屏蔽掉就行了

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
坤知Seo
坤知Seo

你的是什么CMS，你可以看下其他网站的Robots文件是怎么设置的，做下参考

3 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
姗姗
姗姗 · 网站仿制、网站定制开发、模板开发，QQ1217815926

如果都允许的话，不写就行了。

3 年前
IP属地：江西
赞同 0 评论 0
收藏 举报
评论取消
行星减速机
行星减速机 · 行星减速机品牌厂家

百度一搜，各种教程都出来了

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
申虎包装-杨敏
申虎包装- · 上海厂家直供装盒机、灌装机、封口机、封尾机、旋盖机

其实不设置也没啥，设置也是把后台文件屏蔽一下

3 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
软著狗
软著狗 · 长期承接软件著作权、作品美术著作权版权登记代理代办VX：pifa3628365

我一般都不管这个 

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
藤设计网站建设公司
藤设计网站 · 为客户寻找利益其实是为自己寻找利益。

一般不设置网站也爬的蛮好的

3 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
加载更多
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 企业站怎么布局关键词？
  • 有没有做得比较成功的动态网站？我的动态网站收录效果实在是太差了
  • 写文章关键词做加粗和锚文本可以一起吗？
  • 小程序总是调用不过来 网站的内容 是啥情况
  • 标题突然大变，模板也大变，对排名影响大不大？
  • 都是发布带有指数词的文章，就算收录了也不见有排名！！！
  • 网站访问速度对SEO影响大吗？
  • 求小程序推广方法？
  • 哪里有的卖友链？
  • 最近想给自己网站发点外链，淘宝上那些外链有用吗？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司