在robots中写了Disallow后，依旧被爬是什么原因呢？
<p>我半年前在robots中就写入了Disallow: /a</p><p>但是今天我看2019年7月24日 日志中，依旧有很多/a下的地址被爬了，而且还返回404，这是怎么回事？</p><p>如图：</p><p><br></p>
4 人参与回答
<p>我半年前在robots中就写入了Disallow: /a</p><p>但是今天我看2019年7月24日 日志中，依旧有很多/a下的地址被爬了，而且还返回404，这是怎么回事？</p><p>如图：</p><p><br></p>
