搜外网>搜外问答>问答页面

怎么设置通过 robots.txt 允许、禁止搜索引擎收录方法？？

微信

我这个网站的robots文件，这样写会对吗？

网站：https://www.icarexm.com/[?]

Robots 索引举报 本帖由用户发布，如有侵权联系删除 2021-08-10 发布734 次浏览

交换友情链接，就用搜外友链，方便！

4 人参与回答

河南振豫律 · 7年前端 seo、振豫律师事务所

我的微信:sec_vip 等 1 人赞同该回答

每条记录均由字段: 值组成l。
User-agent：用于指定指令所作用于的目标抓取工具（网络蜘蛛），后接抓取工具名称；
Disallow：指定不允许抓取的目录或网页，后面为空则表示允许抓取一切页面；
Allow：指定允许抓取的目录或网页；
Sitemap：站点地图的位置，必须是绝对路径；
*：表示通配符；
$：表示网址结束；
/：匹配根目录以及任何下级网址。