搜外网>搜外问答>问答页面

大神们来解释一下这个robots.txt意思

微信

<p><br></p>

追加问题
Robots 举报 本帖由用户发布，如有侵权联系删除  2020-10-30 发布557 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    9 人参与回答
燕子
燕子 · 达尔文服装智造平台_为跨境电商企业提供服装货源的供应链

禁止所有搜索引擎抓取

3 年前
IP属地：香港
赞同 0 评论 0
收藏 举报
评论取消
7号传奇人物
7号传奇人

除了1楼，其他的都是在开玩笑吗？

3 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
ζCóngFlyぺ
ζCóng · seo优化,电脑方面

这就是一个最普遍的写法 一般网站默认Robots文件就是这么写的   就是允许所有搜索引擎抓取所有页面   第二行 如果你填啥路径 就是啥不让抓取

3 年前
IP属地：辽宁
赞同 0 评论 0
收藏 举报
评论取消
么么么
么么么 · www.snmky.org www.crbsc.org

禁止抓取

3 年前
IP属地：贵州
赞同 0 评论 0
收藏 举报
评论取消
微笑
微笑

禁止抓取路径啊，没必要的文件你就可以放上去，然后百度就停止抓取了

3 年前
IP属地：安徽
赞同 0 评论 0
收藏 举报
评论取消
花秀才
花秀才

不抓取所以页面

3 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
LED照明
LED照明

禁止抓取

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
灵猫优化
灵猫优化 · 长期高价收购古董古玩古钱币 →→→→→→→→→→→→→→→→→→→→→→→点→→→→→→→这→→→→→→→里→→→→

User-agent: *

第一条：意思是允许所有搜索bai引擎收录，星号代表所有。

Disallow:

第二条：意思是禁止搜索引擎收录页面。

3 年前
IP属地：上海
赞同 0 评论 2
收藏 举报
评论取消
MiLe
MiLe · 每一个成功者都有一个开始

禁止抓取所有吧

3 年前
IP属地：江西
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 网站优化一年多了才到权3怎么快速做到权5？
  • 网站首页，二级域名，三级域名全部修改tkd，没有被K，反而排名上涨了一倍？
  • seo标题怎么
  • 首页都没有收，有没有类似情况的
  • 官网seo优化怎么做
  • 网站权3升权4是多做长尾词好些，还是主攻核心词呢？
  • 百度统计失效了吗？
  • 最近百度怎么了？网站不收录
  • 分析网站有谁懂的，来帮我简单分析一下这个网站最近三个月都不收录的原因是什么，有偿！
  • 新网站建站大半个月不收录，帮忙分析下哪里的问题
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司