如何禁止网页被搜索引擎收录和索引？
这个
User-agent: *
Disallow: /
注册一个txt文本 改名字 改成Robots.txt 然后里面内容复制上面两行代码
这个意思是禁止所有爬取网站
Robots.txt里面做好Disallow设置。
建立一个Robots.txt就行了啊
进来学习学习
楼上回答学到了，我只知道Robots.txt文件协议（君子协议） 也不能完全依靠它。
匿名用户
Robots.txt 文件是作为禁止搜索引擎抓取的最常用的手段和方法，但是该方法并不能完全阻止搜索引擎的收录的索引，那么我们此时就可以使用网页 meta 标签来实现完全的禁止搜索引擎收录索引。
让更多人参与回答
