搜外网>搜外问答>问答页面

目前网站的robots协议变成了这个,这个到底是允许还是不允许啊? 悬赏3元 已结束

User-agent: GoogleBotDisallow: *
User-agent: googleBotDisallow: *

User-agent: BaiduspiderDisallow: *
User-agent: baiduspiderDisallow: 

我问了周围的人,有人说是允许,有人说是不允许,求大神们赐教!

追加问题
    12 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo
罗凌峰 等 1 人赞同该回答

1、当前规则语法错误、大小写问题、不必要的重复;
2、你的规则是允许抓取,还是不允许抓取,首先要明白这个;
3、整站禁止(谷歌和百度的抓取)
User-agent: Googlebot

Disallow: /

User-agent: Baiduspider

Disallow: /
4、正常Robots里使用的都是禁止每个栏目被抓取,不禁止的,就是默认允许。

艾克SEO
艾克SEO · ⚫新站快收 ⚫网站建设 官网 商城 小程序 ⚫SEO优化 诊断 托管 运营 ⚫QQ/微信:97358052
网站建设 等 1 人赞同该回答

全部允许的写法:
User-agent: *
Allow: /

江苏瓦轴总代理
江苏瓦轴总 · 瓦轴

目前是不允许Google和百度爬虫,allow才是允许

杭州继保
杭州继保 · 微机保护行业

使用Robots生成工具

丫丫
丫丫 · 唵嘛咪叭咪吽

是不允许,但是Disallow后面应该是/而不是*

Winson
Winso · 专业的运动地板生产厂家

目前是不允许Google和百度爬虫,allow才是允许

组卷库
组卷库 · 免费在线出卷组卷,千万资源免费在线浏览~

使咏Robots生成工具

User-agent: Googlebot

Disallow: 不允许的栏目

上方规则错了,蜘蛛名也要写正确,要不然也不管用

现在说什么估计你都会保持怀疑态度,我建议你用百度资源平台链接提交自己监测一下,百度官方的东西 最准确了。

是不允许Google和百度爬虫

是不允许Google和百度爬虫

是不允许,但是一般不允许都是用disallow:/

SEO培训招生中
187