搜外网>搜外问答>问答页面

如果robots文件把网站所有页面都做禁止抓取，那百度蜘蛛是不是就不会爬我这个网站了？

微信

Robots 百度蜘蛛举报 本帖由用户发布，如有侵权联系删除 2024-04-22 发布331 次浏览

3 人参与回答

流量计标 · 液体流量计，液体/气体检定装置厂家196-9378-6536（同微）

正常来说，确实是这样的。

Forwo

直接
User-agent: *
Disallow: /
这样就禁止所有搜索引擎蜘蛛爬取你网站所有内容了

是的

收录宝