网站robots里面Disallow: / 的语法是屏蔽抓取吗?

1,008 次浏览

User-agent: *

Disallow: /
网站的Robots这样写,是禁止所有的搜索引擎收录,也包括百度么?

追加问题
分享到微信 收藏
    1 人参与回答
刘言爱 · 游管家是一家专业做旅游景区、门票酒店、旅游路线一站搜索查询的旅游比价网站
叶景苏苏 等 2 人赞同该回答

是的
禁止所有的这样写
User-agent:*
Disallow:/
允许所有的这样写
User-agent:*
Allow:/