每天大量百度蜘蛛来爬不存在的页面,造成很多404.跪求给大神出招!! 悬赏1元 已结束
每天都多七八百个百度蜘蛛,来爬不存在的页面,造成了大量的404,这些页面也统一整理提交到百度了。这样的情况已经持续了2个月了。也在反馈中心反馈过,但无果。
每天网站也在更新,但蜘蛛一个都不爬。
大家有没有遇到过这样的情况,请问是如何解决的,请大家提供下思路,谢谢。
16 人参与回答
死链提交一下
死链提交一下
提交死链删除呢
死链可以提交一下
错误页面做删除然后提交看看
提交反馈需要时间恢复
还是多提交反馈
robot.txt设置调整下抓取方向
可以屏蔽那个栏目试试