搜外网>搜外问答>问答页面

百度对robots有适应期?为什么robots禁止了某文件夹,蜘蛛依然爬行。 推荐热议

<p><br></p><p>百度资源平台已经显示不允许。</p><p><br></p><p>网站日志里蜘蛛依然爬行。</p><p><br></p><p><br></p><p>网站:www.chenifan.cn</p><p><br></p>

追加问题
    6 人参与回答

应该会有缓冲时间吧!过几天再看看吧

没有吧,应该不是说禁了马上不爬,慢慢就不会爬了

正常,不是说禁止他立马就不爬了,要过一段时间他就不会爬了,需要一个缓冲时间,现在百度蜘蛛天天爬我后台

梦梦
梦梦 · 泰海科技12年服务经验,专注于服务器租用

是不是没有设置好呢

唯爱シ念流年
唯爱シ念流 · 买网店,上猫元素!买卖网店便捷、安全、交易放心的电商综合性服务平台

我也是禁止了还继续爬