25 人参与回答
SEO迷途者
SEO迷途 · SEO迷航者,希望能够共同学习...

可以,这样写就是禁止某个准确的页面不让抓取

小鱼
小鱼 · 专业的ERP定制开发、小程序开发、软件外包、软件开发服务商, 定制化开发服务, 擅长小程序开发,微商城开发,PHP项

可以这样写的

应该可以的,可以去搜索引站长平台试一下

简单收录网
简单收录网 · 来提交你的网站,免费做高权重免费外链

可以。允许的没必要写

太细了吧。。

嗯嗯 对的

站长工具里试一下

Allow是没必要强调的,只写disAllow就可以了。

花无痕
花无痕 · 花开的时间很美丽

这个不需要设置,也是可以收录的

可以没问题的

是可以的啊,主要是设置抓取哪些而已,不知道为什么要这样设置,一般都是允许所有搜索引擎爬取

我是老王
我是老王 · 软装设计、全屋定制家居可以搜索悦鹿家居咨询------

没啥毛病,可以只写抓取或者不允许抓的,不用都分开写出来

视频一号
视频一号 · 因为有你,世界更精彩

差不多就行了

Harry添義
Harry · 在SEO的道路上坚持了很多年

这样写也是可以的

鹰米讲解器
鹰米讲解器 · 徽马科技鹰米导览是一家专业从事团队无线讲解器、自助导览机、展厅分区讲解系统的品牌生产厂家。

百度有提供测试的工具 检测一下robot.txt 在百度资源平台 “数据统计”>“Robots
底部可以校验一下是否被阻止。

加载更多