怎样才能屏蔽各大搜索引擎蜘蛛的抓取?

我们公司有两个网站,两个网站内容一模一样,只是地区不一样,一个是做成都,一个是做重庆,一个网站用来做竞价,另一个网站用来做自然排名,我想把做竞价的那个网站屏蔽掉,不让各大搜索引擎抓取网站,我目前是写的一个robots文件,里边的内容如下:

User-agent: *

Disallow:/

结果是:屏蔽掉的这个网站首页还是被百度收录了,请问各位大神,我需要怎么处理这个问题呢?怎样才能真正屏蔽搜索引擎。



追加问题
    7 人参与回答
j
jane ·

应该只有首页被收录吧,我看到过这种情况,但不知道怎么处理

善阳传媒软文发稿
善阳传媒软 · 善阳传媒新闻自媒体营销平台,十万+媒体自助发稿,联系QQ:154996692

Robots里设置好禁止抓取,另外各搜索引擎站长后台的自动推送代码也去掉

不太懂是什么意思

推广找我
推广找我 · 杭州建站 App开发 信息流推广 SEO优化 2327843255

给他抓呗 做个权重传导不就行了

菠萝菠萝
菠萝菠萝 · SEM|SEO|程序|新媒体|设计什么都会

在网站首页代码<head>与</head>之间,加入<metaname="Robots"content="noarchive">代码,此标记禁止搜索引擎抓取网站并显示网页快照

SEO培训招生中
153