<p></p><p></p><p></p><p>屏蔽了谷歌，也禁止国外了，为何还出现谷歌蜘蛛？</p>
到底是怎么回事，咋还上赶着抓
同问同问，我的Robots里面也屏蔽了谷歌，结果后台看到蜘蛛访问的数据，谷歌来的最勤快最频繁，一天能跑几百条。百度一天就一个甚至两个，而且只爬首页，气人
拉看看来学习的啊
让更多人参与回答
