搜外网>搜外问答>问答页面

网站robots禁止抓取某个链接怎么写？

微信

Robots 举报 本帖由用户发布，如有侵权联系删除 2019-05-30 发布3,499 次浏览

5 人参与回答

新起点影视 · 深圳宣传片拍摄、后期制作,宣传片制作

Disallow: 然后路径

崔～ · 高质量发布企业信息-网站锚文本链接发布-点右边自己发

比如：Disallow：

就是这么简单，你怕了么

路人 · seo小学生

Disallow: /xx/xx/

stone

Disallow: /

代表着禁止抓取网站的某些内容，如“/”后面没有任何参数代表禁止抓取网站所有内容。我们来学习一下参数后面分别代表的含义：

Disallow: /admin/ 禁止抓取admin目录下的所有内容；

Disallow: /cgi-bin/*.htm 禁止抓取/cgi-bin目录下的所有以.htm结尾的文件；

Disallow: /*?* 禁止抓取网站中所有包含问号 (?) 的网址；

Disallow:/ab/ 禁止抓取ab文件夹下面的文件；

在这里重点强调一点，Disallow指令有一个比较特殊的地方，Disallow: /代表着禁止抓取，但是Disallow: 代表着允许抓取

叮咚之声

Disallow: /

收录宝