通过日志查看到百度渲染蜘蛛(Baiduspider-render)抓取到大量的的页面,全部是404,该怎么办呢
看看你的网站还能不能正常访问
看看抓取的页面是不是你存在的URL,你自己百度站长抓取诊断看下有没有问题
网站是否可以正常访问,百度站长抓取有无异常,无异常就没问题
1、检查是否是百度蜘蛛的ip,有可能是其他人伪装为百度蜘蛛进行网址抓取,测试网站漏洞等 2、如果是百度蜘蛛抓取的,且抓取的是自己删除不存在的地址,那么检查网站是否有错误死链等,予以改正,如果已收录的成为死链,则需要向百度蜘蛛提交死链,当然也可以不提交,久了自然而然就没了。 3、如果网站含有大量死链建议及时处理,放出正确的链接给蜘蛛抓取
1、分析网站日志,看到蜘蛛抓取到的页面全部返回码是404,那么网站是否可以正常访问,百度站长抓取有无异常,无异常就没问题; 2、看看是哪些页面返回码404,是否是真实存在的,不存在的返回码404没有错,蜘蛛一般只抓取存在的页面URL,不会自以为是想象抓取不存在的URL,有的是虚假蜘蛛忽略即可。
让更多人参与回答