大神帮忙看看robots写的对不对
页面url为:http://www.xinshouyou.com/attache/xiazai9652/[?]
我的robots写法为:Disallow: /*/xiazai*/
但是蜘蛛依然还在爬取收录此类型的URL,有大神帮忙看看么
8 人参与回答
Disallow: /attache/^xiazai
/attache/xiazai9652/
页面url为:http://www.xinshouyou.com/attache/xiazai9652/[?]
我的robots写法为:Disallow: /*/xiazai*/
但是蜘蛛依然还在爬取收录此类型的URL,有大神帮忙看看么
Disallow: /attache/^xiazai
/attache/xiazai9652/