搜外网>搜外问答>问答页面

网站robots禁止抓取某个链接怎么写?

追加问题
    5 人参与回答
新起点影视
新起点影视 · 深圳宣传片拍摄、后期制作,宣传片制作

Disallow: 然后路径

崔~
崔~ · 高质量发布企业信息-网站锚文本链接发布-点右边自己发

比如:Disallow:

就是这么简单,你怕了么

路人
路人 · seo小学生

Disallow:  /xx/xx/

Disallow: /

代表着禁止抓取网站的某些内容,如“/”后面没有任何参数代表禁止抓取网站所有内容。我们来学习一下参数后面分别代表的含义:

Disallow: /admin/ 禁止抓取admin目录下的所有内容;

Disallow: /cgi-bin/*.htm 禁止抓取/cgi-bin目录下的所有以.htm结尾的文件;

Disallow: /*?* 禁止抓取网站中所有包含问号 (?) 的网址;

Disallow:/ab/ 禁止抓取ab文件夹下面的文件;

在这里重点强调一点,Disallow指令有一个比较特殊的地方,Disallow: /代表着禁止抓取,但是Disallow: 代表着允许抓取

Disallow: /

SEO培训招生中
188