网站robots文件这样写，是禁止抓爬还是允许？
User-agent: BaiduspiderDisallow: /User-agent: 360SpiderDisallow: /User-agent: SosospiderDisallow: /User-agent: sogou spiderDisallow: /User-agent: YodaoBotDisallow: /User-agent: GooglebotDisallow: /User-agent: BingbotDisallow: /User-agent: SlurpDisallow: /User-agent: TeomaDisallow: /User-agent: ia_archiverDisallow: /User-agent: twicelerDisallow: /User-agent: MSNBotDisallow: /User-agent: ScrubbyDisallow: /User-agent: RobozillaDisallow: /User-agent: GigabotDisallow: /User-agent: googlebot-imageDisallow: /User-agent: googlebot-mobileDisallow: /User-agent: yahoo-mmcrawlerDisallow: /User-agent: yahoo-blogs/v3.9Disallow: /
写得太复杂了，网上生成器进行生成就好了，很简单
我的网站直接没写，如果网站有的页面不用爬虫怕就要写
一点规律都没有 看的头条
Allow就是允许，Disallow就是不允许
User-agent: Baiduspider
Disallow: /
User-agent: 360Spider
Disallow: /
你这是不允许抓取所有
Allow就是允许，Disallow就是不允许。
Allow就是允许，Disallow就是不允许
Allow就是允许，Disallow就是不允许。
User-agent: *
Allow: /
Disallow: /
不允许。
