百度蜘蛛抓取频次骤降?

前天抓取频次都是20w,昨天突然变成24 今天也没抓 这是什么情况?就大前天有几个404,前天多了些500 但是按比例都是 0% robots有两天出了问题,变成网站页面了,但是昨天已经修改过来了,昨天我看晚上的时候一直在抓取各个子域名的robots.txt,我也手动去站长平台更新了 

追加问题
分享到微信 收藏
    2 人参与回答

roots 不是即时生效的,过几天再看看

高飞
高飞 · 素材火

蜘蛛也放假过年了