搜外网>搜外问答>问答页面

robots文件限制百度抓取.会导致收录掉吗? 推荐热议 悬赏1元 已结束

7月2日robots文件禁止抓取,当天修改后到今天7月6日都是抓取错误.应该是百度的缓存,但是在这几天百度给我收录全部掉了!你们有没有这么个情况?

追加问题
    7 人参与回答
三九问答
三九问答 · 专业的有问必答平台

Robots文件限制后一半得几天才会反应过来,实在不行就反馈一下看

你这是整个站都禁止抓取吗?

重新修改Robots文件,在后台更新,百度会重新检测到的

如果没屏蔽整站,蜘蛛模拟抓取正常,返回状态码抓取正常,可去后台申诉下

Winson
Winso · 专业的运动地板生产厂家

如果Robots设置没问题,模拟抓取都是正常的话,后台反馈申诉下

看你这个Robots写的规则,也没有全站禁止抓取啊,你点击那个“抓取错误”进去看看错误原因,根据错误原因进行调整,再再资源平台更新一下robots,另外,再检查一下防火墙是否禁用了百度蜘蛛的IP

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、如果你没屏蔽整站,蜘蛛模拟抓取正常,页面返回码抓取正常,出现抓取失败,不是自身原因,可去申诉下; 

2、抓取失败,看看失败的原因是什么,如原因是说封禁,如果不确定是否是Robots文件问题,可考虑先删除下,再抓取下;

3、我使用站长工具蜘蛛模拟抓取爬行,检测首页是可以正常抓取,如果你抓取一直失败,看看是否ip错误,可报错更新下,如ip没问题,建议申诉下。

ps:如果你曾经robots封禁整站,那么后期站点被k掉也是正常情况,如果并未屏蔽整站,可申诉反馈,看官方回复