搜外网>搜外问答>问答页面

每天大量百度蜘蛛来爬不存在的页面,造成很多404.跪求给大神出招!! 悬赏1元 已结束

每天都多七八百个百度蜘蛛,来爬不存在的页面,造成了大量的404,这些页面也统一整理提交到百度了。这样的情况已经持续了2个月了。也在反馈中心反馈过,但无果。

每天网站也在更新,但蜘蛛一个都不爬。

大家有没有遇到过这样的情况,请问是如何解决的,请大家提供下思路,谢谢。

追加问题
    16 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo
刘上仙 等 1 人赞同该回答

1、百度站长里面有无抓取异常,无异常就没事;
2、真的有蜘蛛抓取爬行异常,大多会在百度站长里面抓取异常里,404里面有波动;
3、这些404是否真的有收录,打开是404,这种可死链接提交删除处理。

死链提交一下

橘生淮南
橘生淮南 · 外链用户

能找到死链的路径规则,就写Robots批量屏蔽

死链提交一下

提交死链删除呢

ämliy จุ๊บ📍
ämliy · 酒店香薰机、扩香机、加香机、香薰精油补充液、藤条香薰工厂

死链可以提交一下

错误页面做删除然后提交看看

提交反馈需要时间恢复

还是多提交反馈

丫丫
丫丫 · 唵嘛咪叭咪吽

先检测一下网站的404页面,有的话及时删除并提交

王超
王超 · 负责公司的网站seo

Robots 屏蔽就完事了,屏蔽后到生效需要时间的。
然后排查下网站,看看网站否存在大量这种404链接,
如果没问题的话,剩下的完全不用管,等就好了....

Winson
Winso · 专业的运动地板生产厂家

robot.txt设置调整下抓取方向

可以屏蔽那个栏目试试

加载更多