搜外网>搜外问答>问答页面

robots文件限制百度抓取.会导致收录掉吗？悬赏1元已结束

微信

7月2日robots文件禁止抓取,当天修改后到今天7月6日都是抓取错误.应该是百度的缓存,但是在这几天百度给我收录全部掉了！你们有没有这么个情况？

Robots 举报 本帖由用户发布，如有侵权联系删除 2024-07-06 发布531 次浏览

8 人参与回答

天行健咨询 · 精益生产管理与六西格玛管理咨询，培训机构

实在不行就反馈一下看

三九问答 · 专业的有问必答平台

Robots文件限制后一半得几天才会反应过来，实在不行就反馈一下看

张汾汾

你这是整个站都禁止抓取吗？

Forwo

重新修改Robots文件，在后台更新，百度会重新检测到的

如果没屏蔽整站，蜘蛛模拟抓取正常，返回状态码抓取正常，可去后台申诉下

Winso · 专业的运动地板生产厂家

如果Robots设置没问题，模拟抓取都是正常的话，后台反馈申诉下

类智

看你这个Robots写的规则，也没有全站禁止抓取啊，你点击那个“抓取错误”进去看看错误原因，根据错误原因进行调整，再再资源平台更新一下robots，另外，再检查一下防火墙是否禁用了百度蜘蛛的IP

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、如果你没屏蔽整站，蜘蛛模拟抓取正常，页面返回码抓取正常，出现抓取失败，不是自身原因，可去申诉下；

2、抓取失败，看看失败的原因是什么，如原因是说封禁，如果不确定是否是Robots文件问题，可考虑先删除下，再抓取下；

3、我使用站长工具蜘蛛模拟抓取爬行，检测首页是可以正常抓取，如果你抓取一直失败，看看是否ip错误，可报错更新下，如ip没问题，建议申诉下。

ps：如果你曾经robots封禁整站，那么后期站点被k掉也是正常情况，如果并未屏蔽整站，可申诉反馈，看官方回复

收录宝