robots通配符问题 推荐热议
因网站被挂马,BD抓取了一大批恶意页面,恶意页面链接地址如下:
www.xxx.com/snews.php/snews.php?9VQmi=282451
www.xxx.com/snews.php/snews.php?F7NEL=355704
www.xxx.com/snews.php/snews.php?vYwAF=490522
……
目前已把相关页面删除,为防止BD抓取,可不可以在robots加上:Disallow: /snews.php?*
请教各位专家,robots可以这样写吗?*通配符可以这样用吗?
31 人参与回答
建议这样:
Disallow: /*
可以,但是用表达式提交死链不是更好么
可以呀
应该是可以的
那就加油了撒
能屏蔽