搜外网>搜外问答>问答页面

如果robots文件把网站所有页面都做禁止抓取，那百度蜘蛛是不是就不会爬我这个网站了？

微信

Robots 百度蜘蛛

本帖由用户发布，如有侵权联系删除 2024-04-22 发布835 次浏览

举报

交换友情链接，就用搜外友链，方便！

3 人参与回答

用户240377 · 液体流量计，液体/气体检定装置厂家196-9378-6536（同微）

正常来说，确实是这样的。

用户206886

直接
User-agent: *
Disallow: /
这样就禁止所有搜索引擎蜘蛛爬取你网站所有内容了

用户242681

是的