4 人参与回答
用户157683 · 7年前端 seo、振豫律师事务所
用户204937 等 1 人赞同该回答

每条记录均由 字段: 值 组成l。
User-agent:用于指定指令所作用于的目标抓取工具(网络蜘蛛),后接抓取工具名称;
Disallow:指定不允许抓取的目录或网页,后面为空则表示允许抓取一切页面;
Allow:指定允许抓取的目录或网页;
Sitemap:站点地图的位置,必须是绝对路径;
*:表示通配符;
$:表示网址结束;
/:匹配根目录以及任何下级网址。

用户148684 · 磐石云天海外服务器 香港服务器租用 美国服务器租用 香港站群服务器租用
用户204937 等 1 人赞同该回答

百度站长平台Robots写法可以去看看
这里发不了域名

用户39451 · 帝王洁具(浴室柜、智能坐便器、卫浴龙头、淋浴器、淋浴房2)
用户204937 等 1 人赞同该回答

很简单的,你看下说明就会了

用户204937 等 1 人赞同该回答

可以直接去 百度搜索站长平台 去看看Robots的 用法