搜外网>搜外问答>问答页面

怎么屏蔽谷歌蜘蛛?

我的网站一直再给谷歌爬蜘蛛,我又不要谷歌

一直爬爬到我服务器都要死的感觉

User-Agent: *


Disallow: /


Allow: /$


Allow: /complain/


Allow: /media_partners/


Allow: /about/


Allow: /user_agreement/


这个是robots.txt 屏蔽谷歌的规则吗?

我怕屏蔽百度 360 搜狗 的

追加问题
    5 人参与回答
搜外用户
搜外用户 · 来搜外学习的一名普通用户

*
上面这两行,不用屏蔽啊

局长
局长 · 网址导航 wanzhan。cc

User-Agent: Googlebot

Disallow: *

精彩奇闻
精彩奇闻 · 收录网站

现在国内用GOOGLE的也多了,不用屏蔽啊,很多浏览器都自带代理了。

User-Agent: Googlebot

Disallow: *

上面这两行,添加到Robots.txt文件中去就可以了。话说没有什么必要屏蔽。

站长工具有个生成Robots.txt,就有禁止谷歌选项

SEO培训招生中
189