robots文件的疑问？
<p>User-agent: *
</p><p>Disallow:</p><p><br></p><p>这样写是什么意思？</p><p>如果我不想让搜索引擎抓取某个页面该怎么写？</p><p><br></p><p>比如不想让搜索引擎抓取网站的成功案例，该怎么写？求大佬指点</p>
1 人参与回答
<p>User-agent: *
</p><p>Disallow:</p><p><br></p><p>这样写是什么意思？</p><p>如果我不想让搜索引擎抓取某个页面该怎么写？</p><p><br></p><p>比如不想让搜索引擎抓取网站的成功案例，该怎么写？求大佬指点</p>
