请问这个Robots 禁止目录里面的某些地址要怎么写,谢谢
比如我的网站目录 是xxx com/play/1263-1-1.html 我想让百度抓取 xxx com/play/1263-1-1.html play/1263-1-2 play/1263-1-3 play/1263-1-4 以此类推让它可以抓取,
但不想让它抓取 play/1262-2-1 play/1263-2-2 play/1263-2-3 play/1262-2-4以此类推,这个目录限制要怎么写的 的robots里面,就是目录里 1变成2的不让它抓取,谢谢大家
1 人参与回答
Robots协议也叫robots.txt
(统一小写)是一种存放于
网站
根目录下的
ASCII
编码的
文本文件
,它通常告诉网络
搜索引擎
的漫游器(又称
网络蜘蛛
),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots
元数据
(Metadata,又称元数据)。
robots协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。