我这个网站的robots文件,这样写会对吗?
网站:https://www.icarexm.com/[?]
每条记录均由 字段: 值 组成l。 User-agent:用于指定指令所作用于的目标抓取工具(网络蜘蛛),后接抓取工具名称; Disallow:指定不允许抓取的目录或网页,后面为空则表示允许抓取一切页面; Allow:指定允许抓取的目录或网页; Sitemap:站点地图的位置,必须是绝对路径; *:表示通配符; $:表示网址结束; /:匹配根目录以及任何下级网址。
百度站长平台有Robots写法可以去看看 这里发不了域名
很简单的,你看下说明就会了
可以直接去 百度搜索站长平台 去看看Robots的 用法
让更多人参与回答