想屏蔽抓取问号后面的网址，robots要这么写呢？ 悬赏8元 已结束
最近收录了很多 http://www.xxx.com/?mType=Group 这样的网址，问号后面的字符是随机的，如果想屏蔽要这么写呢？谢谢大佬
Disallow: /?* 这样写对吗
还是要 Disallow: /?*=*
14 人参与回答
Disallow: /?* 就是对的。
自己设置验证下吧
你这样写就对了啊，disallow:/*?*对你来说是错的，disallow:/？对你来说也是错的，你想要的效果是？后的一切动态而非一切动态url，也不需要多余的*?=*，因为*已经代表一切任意值。
Disallow: /cgi-bin/*.htm 试一试这个
没必要屏蔽，你网站也没这样的网址吧？网站的后面加上？xxx都可以访问，没有这样的网址搜索引擎也不会莫名其妙的乱抓，一般自己做站外统计时会用到
你最好是找技术处理一下路径
这个如果是网站自身带的话这么屏蔽肯定不行，最好是找技术处理一下路径
1、Disallow: /*?* 意思是禁止收录页面地址带有问号、问号前后有任意值的页面（*表示任意值）。【使用这个必须是你没有动态URL需要抓取收录】
2、Disallow：/?s*=*这种建议自己设置了以后，可以去百度站长哪里验证下，看看是否屏蔽成功，百度站长Robots哪里可以自行验证。
