robots.txt文件中已经把许多文件禁止了，为什么百度蜘蛛的抓取日志中还有抓取记录
<p>网站的robots.txt:</p><p><br></p><p>网站的抓取日志;</p><p></p><p><br></p><p>这是什么原因呢?</p>
4 人参与回答
我的微信:sec_vip 等 1 人赞同该回答
用百度站长Robots检测一下是否正确，可不可以正确屏蔽，如果可以就不用管了
我的微信:sec_vip 等 1 人赞同该回答
是爬行了，估计不传递权重了
我的微信:sec_vip 等 1 人赞同该回答
百度蜘蛛反应最慢了，只能等吧，我的蜘蛛还在抓2年前的链接
我的微信:sec_vip 等 1 人赞同该回答
你得查清楚 到底是不是真的百度蜘蛛
