目前网站的robots协议变成了这个，这个到底是允许还是不允许啊？ 悬赏3元 已结束
User-agent: GoogleBotDisallow: *
User-agent: googleBotDisallow: *
User-agent: BaiduspiderDisallow: *
User-agent: baiduspiderDisallow:
我问了周围的人，有人说是允许，有人说是不允许，求大神们赐教！
12 人参与回答
网站建设 等 1 人赞同该回答
全部允许的写法：
User-agent: *
Allow: /
是不允许，但是Disallow后面应该是/而不是*
目前是不允许Google和百度爬虫，allow才是允许
User-agent: Googlebot
Disallow: 不允许的栏目
上方规则错了，蜘蛛名也要写正确，要不然也不管用
是不允许Google和百度爬虫
是不允许，但是一般不允许都是用disallow:/
