搜外网>搜外问答>问答页面

robot.txt只允许搜索引擎抓取指定目录怎么写? 悬赏1元 已结束

例如只允许搜索引擎访问一些三个目录,怎么写?除一下三个栏目以外所有目录都不允许抓取。目的是为了防止搜索引擎抓取网站根目录以外的虚假页面,所以我只想允许搜索引擎抓取网站跟目下的指定目录。

举例:

/123/ 

/abc/ 

/1a2b3c/

追加问题
    8 人参与回答
最佳回答
wisdom
wisdo · 加sw19950101进优化交流群,备注搜外来的,小白别来!

User-agent: * 

Allow:/123/

Allow:/abc/

Allow:/1a2b3c/

Disallow: /

(Allow必须在Disallow百度才能生效,另外你看看目录那个要不要被收录,如果希望目录也被收录,就把后面的反斜杠去掉,也就是:

User-agent: * 

Allow:/123

Allow:/abc

Allow:/1a2b3c

Disallow: /

PS:忘记说了,不要忘了首页,确定至抓这三个目录吗?或者你只是想禁掉动态页面,如果是只禁掉动态页面,按下面的写:

User-agent: * 

Disallow: *?*

那么直允许蜘蛛抓你设定的那几个页面就行,其他的/不给抓取

柠檬可乐
柠檬可乐 · 2021年祝搜外的-每一位大哥大嫂过年好▄█▀█●——帮小弟点一下—▄█▀█●——感激不尽——▄█▀█●☛☛☛☛☛☛

现在都是可以直接用工具去生成的

橡胶绉片机
橡胶绉片机 · 橡胶绉片机,碎胶机,打包机,橡胶加工设备,真空吸滤机,橡胶加工设备厂家,广东正和机械

搞错就不好了后果很严重

申虎包装-杨敏
申虎包装- · 上海厂家直供装盒机、灌装机、封口机、封尾机、旋盖机

不允许抓取的最好都以最详细的为准,把所有的层级都要写下来,不能只写最后一层

Sky
Sky · 河南律师网,专注法律服务行业。+友链QQ279900204

不明觉厉

请不要回答:只需要允许抓取指定目录就可以。因为我想防止搜索引擎抓取网站根目录下以外的虚假页面。

SEO培训招生中
155