robots通配符问题 推荐热议
因网站被挂马,BD抓取了一大批恶意页面,恶意页面链接地址如下:
www.xxx.com/snews.php/snews.php?9VQmi=282451
www.xxx.com/snews.php/snews.php?F7NEL=355704
www.xxx.com/snews.php/snews.php?vYwAF=490522
……
目前已把相关页面删除,为防止BD抓取,可不可以在robots加上:Disallow: /snews.php?*
请教各位专家,robots可以这样写吗?*通配符可以这样用吗?
31 人参与回答
建议这样:
Disallow: /*
可以的
感觉不太合适
没毛病 妥妥的
可以频闭的
可以的
路过留个点,学习学习《质检报告找我》
完全是就可以的啊
可以,但是用表达式提交死链不是更好么
可以加上的 我网站很多 死链 也是不知道怎么来的
可以呀
应该是可以的
那就加油了撒
能屏蔽
可以的
可以,能屏蔽
可以的
可以,但所有包含这个的都不收录了
有多少啊
可以这样写
提交下死链
可以的,但是建议提交一下死链。
可以的
有用的 但是已经收录的需要提交死链