robots问题 悬赏3元 已结束
<p>大神们帮我看看 我这个robots文件规则写错了，怎么禁止了，网站日志显示百度蜘蛛还在抓取admintlhb这个目录？？</p><p>然后这个我是不是要禁止一下skin这个目录</p><p><br></p><p><br></p><p><br></p>
16 人参与回答
应该是假蜘蛛抓取的。有很多百度假蜘蛛。
蜘蛛还是会抓的，屏蔽也不一定管用
大家都说的很对
确实不用管。禁止只是一个命令而已，不保证蜘蛛还是不是还会抓取。
Robots生效是需要时间的，你是不是在百度抓取之后才禁止收录的admintlhb这个目录，如果是的话，很长一段时间百度还是会抓取这个目录的，生效时间一般一个月左右。
