想屏蔽抓取问号后面的网址,robots要这么写呢? 悬赏8元 已结束

最近收录了很多 http://www.xxx.com/?mType=Group 这样的网址,问号后面的字符是随机的,如果想屏蔽要这么写呢?谢谢大佬

Disallow: /?* 这样写对吗

还是要 Disallow: /?*=*

追加问题
    14 人参与回答

Disallow: /?*  就是对的。

爱你 · 个人擅长百度贴吧霸屏+百度文库外链+seo优化

自己设置验证下吧

磐石云天
磐石云天 · 磐石云天海外服务器 香港服务器租用 美国服务器租用 香港站群服务器租用

如果我禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,例如)

Robots.txt写法如下:

User-agent: *

Disallow: /*?*

路人
路人 · seo小学生

你这样写就对了啊,disallow:/*?*对你来说是错的,disallow:/?对你来说也是错的,你想要的效果是?后的一切动态而非一切动态url,也不需要多余的*?=*,因为*已经代表一切任意值。

小彩seo · 一个SEO新手

Disallow: /cgi-bin/*.htm  试一试这个

微爱
微爱 · 专致于多媒体展厅、文化展馆、营销中心、企事业单位的多媒体展厅设计

Robots  现在感觉都没啥用  我都没去设置  管他呢

搜客网
搜客网 · 搜客站长信息网,免费发锚文本外链论坛、站点目录提交、软文seo推广平台, seoerk.com 承接建站、设计

没必要屏蔽,你网站也没这样的网址吧?网站的后面加上?xxx都可以访问,没有这样的网址搜索引擎也不会莫名其妙的乱抓,一般自己做站外统计时会用到

你最好是找技术处理一下路径

河南振豫律 · 7年前端 seo、振豫律师事务所

1、Robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的。

2、在这个TXT中添加:

User-agent: Baiduspider

Disallow: /

这个如果是网站自身带的话这么屏蔽肯定不行,最好是找技术处理一下路径

推推蛙
推推蛙 · 推推蛙擅长SEO网站优化、竞价账户调整、网站建设、全网优化、新媒体营销、品牌策划

1、Disallow: /*?* 意思是禁止收录页面地址带有问号、问号前后有任意值的页面(*表示任意值)。【使用这个必须是你没有动态URL需要抓取收录】

2、Disallow:/?s*=*这种建议自己设置了以后,可以去百度站长哪里验证下,看看是否屏蔽成功,百度站长Robots哪里可以自行验证。

j
just · 银弹谷零代码开发

1. 禁止访问网站中所有的动态页面

User-agent: *

Disallow: /*?*

2. 使用”*”限制访问url

禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。

User-agent: *

Disallow: /cgi-bin/*.htm

你看看哪个合适,另外都不合适的话,你可以百度搜索一下Robots书写规则,写的很清楚

SEO培训招生中
147