7月2日robots文件禁止抓取,当天修改后到今天7月6日都是抓取错误.应该是百度的缓存,但是在这几天百度给我收录全部掉了！你们有没有这么个情况？
实在不行就反馈一下看
Robots文件限制后一半得几天才会反应过来，实在不行就反馈一下看
你这是整个站都禁止抓取吗？
重新修改Robots文件，在后台更新，百度会重新检测到的
如果没屏蔽整站，蜘蛛模拟抓取正常，返回状态码抓取正常，可去后台申诉下
如果Robots设置没问题，模拟抓取都是正常的话，后台反馈申诉下
看你这个Robots写的规则，也没有全站禁止抓取啊，你点击那个“抓取错误”进去看看错误原因，根据错误原因进行调整，再再资源平台更新一下robots，另外，再检查一下防火墙是否禁用了百度蜘蛛的IP
1、如果你没屏蔽整站，蜘蛛模拟抓取正常，页面返回码抓取正常，出现抓取失败，不是自身原因，可去申诉下；
2、抓取失败，看看失败的原因是什么，如原因是说封禁，如果不确定是否是Robots文件问题，可考虑先删除下，再抓取下；
3、我使用站长工具蜘蛛模拟抓取爬行，检测首页是可以正常抓取，如果你抓取一直失败，看看是否ip错误，可报错更新下，如ip没问题，建议申诉下。
ps：如果你曾经robots封禁整站，那么后期站点被k掉也是正常情况，如果并未屏蔽整站，可申诉反馈，看官方回复
让更多人参与回答
