搜外网>搜外问答>问答页面

新网站还在调试，怎么写robots文件不让搜索引擎抓取整站

微信

Robots

本帖由用户发布，如有侵权联系删除 2020-08-06 发布1,339 次浏览

交换友情链接，就用搜外友链，方便！

18 人参与回答

最佳回答

用户157476 · ✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈这个网站有点东西！嘎嘎带劲！快点开看看！ - 右边→_→

User-agent: *

Disallow: /

上面是所有蜘蛛

下面是网站根目录

Disallow

是禁止

写上面的两个到Robots.txt中放根目录就OK了

用户161559 · 深圳翻译公司-SEO还在潜修

按照上面大家说的写个文件放根目录就行了

用户171189 · 千百味外卖运营

禁止部分啊全部禁止了做什网站

用户174259 · POS机办理 / 代理请联系招商经理13147099258（微信同号）

坚持就是胜利啊兄弟~

用户174813

新网站在调试期间，不要上线，等弄好了，再上线也可以呢

用户103266 · 南京车位涂鸦

新网站先不上线不就好了，等调试好了在上线

用户175716

不建议禁止，娃娃推解释过，可以看一下

用户163829 · 来来来，这有好东西→→→→→→→→→点击回形针→→→→→→→→→→→那边→→→→→→→→对！就是这→→→→→

User-agent: *

Disallow: /

就这样，冒号后面要加一个英文状态下的空格

用户175594

新建一个txt文件，命名为Robots.txt，里面写个：Disallow: /

然后把这个文件放到你网站根目录，去百度搜索资源平台的robots栏目下“检测并更新”即可，保险起见可以测一下还能不能抓得到

用户133508 · 个人站长 SEO优化搜索排名 90后魔漂一枚~15870837476（同微信）互相交流

Robots里面针对所有搜索引擎写一个禁止抓取的规则

新建一个txt文件，命令为robots.txt

把下面的规则写进去，上传到网站的根目录就可以了

User-agent: *

Disallow: /

用户147972

百度下规则！！

用户174195 · 铝合金外壳加工

向优秀的同学学习

用户140436

去搜索每个蜘蛛然后禁止了

用户176303 · ❀ → 看这里 → → → → → → 5118 优惠码 6C1516 ← ← ← ← ← ← 看这里 ← ❀

User-agent: *

Disallow: /

建议本地调试，或者解析个二级域名进行调试，感觉百度反应迟钝，会不会等你接触robot限制了百度白天反应不过来

用户176429

这个得找一个大佬

用户172122 · 素材网，网站模板，网站素材，视频教程，sucaipro。com

直接禁止全部就可以

用户33988 · 冷却塔

禁止部分啊

用户173486 · 做一个平凡的IT民工！

你不发外链，就不会抓取

新网站还在调试，怎么写robots文件不让搜索引擎抓取整站

提供服务

常用链接

产品实验室

新网站还在调试，怎么写robots文件不让搜索引擎抓取整站

收录宝

蜘蛛池

提供服务

常用链接

产品实验室