搜外网>搜外问答>问答页面

怎么设置通过 robots.txt 允许、禁止搜索引擎收录方法??

我这个网站的robots文件,这样写会对吗?

网站:https://www.icarexm.com/[?]

追加问题
    4 人参与回答
河南振豫律师事务所
河南振豫律 · 7年前端 seo、振豫律师事务所
我的微信:sec_vip 等 1 人赞同该回答

每条记录均由 字段: 值 组成l。
User-agent:用于指定指令所作用于的目标抓取工具(网络蜘蛛),后接抓取工具名称;
Disallow:指定不允许抓取的目录或网页,后面为空则表示允许抓取一切页面;
Allow:指定允许抓取的目录或网页;
Sitemap:站点地图的位置,必须是绝对路径;
*:表示通配符;
$:表示网址结束;
/:匹配根目录以及任何下级网址。

香港服务器租用
香港服务器 · 磐石云天海外服务器 香港服务器租用 美国服务器租用 香港站群服务器租用
我的微信:sec_vip 等 1 人赞同该回答

百度站长平台Robots写法可以去看看
这里发不了域名

馨苗绿化
馨苗绿化 · 帝王洁具(浴室柜、智能坐便器、卫浴龙头、淋浴器、淋浴房2)
我的微信:sec_vip 等 1 人赞同该回答

很简单的,你看下说明就会了

我的微信:sec_vip 等 1 人赞同该回答

可以直接去 百度搜索站长平台 去看看Robots的 用法

SEO培训招生中
173