大神帮忙看看robots写的对不对
页面url为:http://www.xinshouyou.com/attache/xiazai9652/[?]
我的robots写法为:Disallow: /*/xiazai*/
但是蜘蛛依然还在爬取收录此类型的URL,有大神帮忙看看么
页面url为:http://www.xinshouyou.com/attache/xiazai9652/[?]
我的robots写法为:Disallow: /*/xiazai*/
但是蜘蛛依然还在爬取收录此类型的URL,有大神帮忙看看么