robots禁止抓取整个变量的Disallow: /202/*/*/,还是把每个变量单独罗列出来?
Disallow: /202/*/*/
第一个*是变量;第二个*也是变量,我的目的第二个*下不管怎么变都不被抓,但第一个*不影响。这样写可以吗?
还是需要把每个变量项目单独列出来,像下面这样写?
Disallow: /202/*/l*/ |
Disallow: /202/*/*z*/ |
Disallow: /202/*/*p*/ |
Disallow: /202/*/*k*/ |
Disallow: /202/*/*/
第一个*是变量;第二个*也是变量,我的目的第二个*下不管怎么变都不被抓,但第一个*不影响。这样写可以吗?
还是需要把每个变量项目单独列出来,像下面这样写?
Disallow: /202/*/l*/ |
Disallow: /202/*/*z*/ |
Disallow: /202/*/*p*/ |
Disallow: /202/*/*k*/ |