搜外网>搜外问答>问答页面

大神们来解释一下这个robots.txt意思

微信

<p><br></p>

追加问题
Robots 举报 本帖由用户发布，如有侵权联系删除  2020-10-30 发布662 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    9 人参与回答
燕子
燕子 · 达尔文服装智造平台_为跨境电商企业提供服装货源的供应链

禁止所有搜索引擎抓取

4 年前
IP属地：香港
赞同 0 评论 0
收藏 举报
评论取消
7号传奇人物
7号传奇人

除了1楼，其他的都是在开玩笑吗？

4 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
ζCóngFlyぺ
ζCóng · seo优化,电脑方面

这就是一个最普遍的写法 一般网站默认Robots文件就是这么写的   就是允许所有搜索引擎抓取所有页面   第二行 如果你填啥路径 就是啥不让抓取

4 年前
IP属地：辽宁
赞同 0 评论 0
收藏 举报
评论取消
么么么
么么么 · www.snmky.org www.crbsc.org

禁止抓取

4 年前
IP属地：贵州
赞同 0 评论 0
收藏 举报
评论取消
微笑
微笑

禁止抓取路径啊，没必要的文件你就可以放上去，然后百度就停止抓取了

4 年前
IP属地：安徽
赞同 0 评论 0
收藏 举报
评论取消
花秀才
花秀才

不抓取所以页面

4 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
LED照明
LED照明

禁止抓取

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
灵猫优化
灵猫优化 · 长期高价收购古董古玩古钱币 →→→→→→→→→→→→→→→→→→→→→→→点→→→→→→→这→→→→→→→里→→→→

User-agent: *

第一条：意思是允许所有搜索bai引擎收录，星号代表所有。

Disallow:

第二条：意思是禁止搜索引擎收录页面。

4 年前
IP属地：上海
赞同 0 评论 2
收藏 举报
评论取消
MiLe
MiLe · 每一个成功者都有一个开始

禁止抓取所有吧

4 年前
IP属地：江西
赞同 0 评论 0
收藏 举报
评论取消
搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司