搜外网>搜外问答>问答页面

新网站还在调试，怎么写robots文件不让搜索引擎抓取整站

微信
追加问题
Robots 举报 本帖由用户发布，如有侵权联系删除  2020-08-06 发布1,173 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    18 人参与回答
最佳回答
sheep吉他网
sheep · ✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈这个网站有点东西！嘎嘎带劲！快点开看看！ - 右边→_→

User-agent: *

Disallow: /

上面是所有蜘蛛

下面是网站根目录

Disallow

是禁止

写上面的两个到Robots.txt中放根目录就OK了


4 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
大青山
大青山 · 深圳翻译公司-SEO还在潜修

按照上面大家说的写个文件放根目录就行了

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
美团运营服务商
美团运营服 · 千百味外卖运营

禁止部分啊    全部禁止了做什网站

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
拉卡拉
拉卡拉 · POS机办理 / 代理请联系招商经理13147099258（微信同号）

坚持就是胜利啊兄弟~

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
汇成真空-王泽欢
汇成真空-

新网站在调试期间，不要上线，等弄好了，再上线也可以呢

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
三郎
三郎 · 南京车位涂鸦

新网站先不上线不就好了，等调试好了在上线

4 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
遥望
遥望

不建议禁止，娃娃推解释过，可以看一下

4 年前
IP属地：辽宁
赞同 0 评论 0
收藏 举报
评论取消
Trd
Trd · 来来来，这有好东西→→→→→→→→→点 击 回 形 针→→→→→→→→→→→那边→→→→→→→→对！就是这→→→→→

User-agent: *

Disallow: /

就这样，冒号后面要加一个英文状态下的空格

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
大熊龙之介
大熊龙之介

新建一个txt文件，命名为Robots.txt，里面写个：Disallow: /

然后把这个文件放到你网站根目录，去百度搜索资源平台的robots栏目下“检测并更新”即可，保险起见可以测一下还能不能抓得到

4 年前
IP属地：陕西
赞同 0 评论 0
收藏 举报
评论取消
王金亮
王金亮 · 个人站长 SEO优化 搜索排名 90后魔漂一枚~15870837476（同微信）互相交流

Robots里面针对所有搜索引擎写一个禁止抓取的规则

新建一个txt文件，命令为robots.txt

把下面的规则写进去，上传到网站的根目录就可以了

User-agent: *

Disallow: /

4 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
行云有影
行云有影

百度下规则！！

4 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
五金制品
五金制品 · 铝合金外壳加工

向优秀的同学学习

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
艺赛旗
艺赛旗

去搜索每个蜘蛛然后禁止了

4 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
搜外公民
搜外公民 · ❀ → 看这里 → → → → → → 5118 优惠码 6C1516 ← ← ← ← ← ← 看这里 ← ❀

User-agent: *

Disallow: /

建议本地调试，或者解析个二级域名进行调试，感觉百度反应迟钝，会不会等你接触robot限制了百度白天反应不过来

4 年前
IP属地：陕西
赞同 0 评论 0
收藏 举报
评论取消
努力搬砖
努力搬砖

这个得找一个大佬

4 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
加载更多
搜外微信
提供服务
常用链接
产品实验室
©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司