怎样才能屏蔽各大搜索引擎蜘蛛的抓取?
我们公司有两个网站，两个网站内容一模一样，只是地区不一样，一个是做成都，一个是做重庆，一个网站用来做竞价，另一个网站用来做自然排名，我想把做竞价的那个网站屏蔽掉，不让各大搜索引擎抓取网站，我目前是写的一个robots文件，里边的内容如下：
User-agent: *
Disallow:/
结果是：屏蔽掉的这个网站首页还是被百度收录了，请问各位大神，我需要怎么处理这个问题呢?怎样才能真正屏蔽搜索引擎。
7 人参与回答
我们公司有两个网站，两个网站内容一模一样，只是地区不一样，一个是做成都，一个是做重庆，一个网站用来做竞价，另一个网站用来做自然排名，我想把做竞价的那个网站屏蔽掉，不让各大搜索引擎抓取网站，我目前是写的一个robots文件，里边的内容如下：
User-agent: *
Disallow:/
结果是：屏蔽掉的这个网站首页还是被百度收录了，请问各位大神，我需要怎么处理这个问题呢?怎样才能真正屏蔽搜索引擎。
