网站robots文件这样写,是禁止抓爬还是允许?

User-agent: BaiduspiderDisallow: /User-agent: 360SpiderDisallow: /User-agent: SosospiderDisallow: /User-agent: sogou spiderDisallow: /User-agent: YodaoBotDisallow: /User-agent: GooglebotDisallow: /User-agent: BingbotDisallow: /User-agent: SlurpDisallow: /User-agent: TeomaDisallow: /User-agent: ia_archiverDisallow: /User-agent: twicelerDisallow: /User-agent: MSNBotDisallow: /User-agent: ScrubbyDisallow: /User-agent: RobozillaDisallow: /User-agent: GigabotDisallow: /User-agent: googlebot-imageDisallow: /User-agent: googlebot-mobileDisallow: /User-agent: yahoo-mmcrawlerDisallow: /User-agent: yahoo-blogs/v3.9Disallow: /

追加问题
    15 人参与回答
烟火
烟火 · 婚恋交友网站建设服务商

写得太复杂了,网上生成器进行生成就好了,很简单

罗浮
罗浮 · SRM供应商采购协同管理平台,《免费试用》点击右边回形针图标 --------→

我的网站直接没写,如果网站有的页面不用爬虫怕就要写

人生如Xi
人生如Xi · 永盛人力集团是一家集人力资源服务、劳务派遣、招聘代理、中高端猎头、互联网招聘、职业教育以及培训与测评为一体的大型人力

一点规律都没有 看的头条

看的我都头疼~,你这是写的什么玩意。给你一个参考吧   照抄我网站Robots

尴尬了
尴尬了 · seo小小小的N次方白

看着眼花,为什么Robots文件要设置这么多呢?

华芯霍尔元件
华芯霍尔元 · 华芯霍尔元件,17年专业做霍尔,优质霍尔元件,霍尔开关厂家,主营各种霍尔元器件

Allow就是允许,Disallow就是不允许

申虎包装-杨敏
申虎包装- · 上海厂家直供装盒机、灌装机、封口机、封尾机、旋盖机

User-agent: Baiduspider

Disallow: /

User-agent: 360Spider

Disallow: /

你这是不允许抓取所有

Allow就是允许,Disallow就是不允许。

许
· 小小站长

好多哦 看的眼涨 小型网站直接删了Robots

燕子
燕子 · 达尔文服装智造平台_为跨境电商企业提供服装货源的供应链

Allow就是允许,Disallow就是不允许

Allow就是允许,Disallow就是不允许。

挤塑板
挤塑板 · xps挤塑板,高抗压挤塑板,冷库专用挤塑板,石墨烯挤塑板,冷藏车专用挤塑板,PET发泡板

User-agent: * 

Allow: /

Disallow: /

浮生挽歌
浮生挽歌 · 税务筹划,财务外包,代理记账

不允许。

SEO培训招生中
149