为什么robots文件禁止抓取，日志中还是显示抓取？
禁止一个目录 比如Disallow： /aa/
日志中还是能看到抓取aa目录的记录
（设置好robots后很久查才发现的）
有没有可能只是显示抓取了，但是抓取失败
坚持就是胜利啊兄弟~
让更多人参与回答
