搜外网>搜外问答>问答页面

请问这个Robots 禁止目录里面的某些地址要怎么写,谢谢

比如我的网站目录 是xxx com/play/1263-1-1.html 我想让百度抓取 xxx com/play/1263-1-1.html   play/1263-1-2 play/1263-1-3   play/1263-1-4 以此类推让它可以抓取,

但不想让它抓取 play/1262-2-1 play/1263-2-2 play/1263-2-3 play/1262-2-4以此类推,这个目录限制要怎么写的  的robots里面,就是目录里 1变成2的不让它抓取,谢谢大家

追加问题
    1 人参与回答
seo神一样的站长
seo神一 · 新网站如何优化 qddaj.com www.qddaj.com

Robots协议也叫robots.txt

(统一小写)是一种存放于

网站

根目录下的

ASCII

编码的

文本文件

,它通常告诉网络

索引

的漫游器(又称

网络蜘蛛

),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots

元数据

(Metadata,又称元数据)。

robots协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。