搜外网>搜外问答>问答页面

百度蜘蛛老是抓取域名之前的目录并返回404是什么原因

域名是之前淘来的,没有黑历史,新站上线后很快百度就收录首页,但是一直没收录内页,一直也保持着更新,后台看了下蜘蛛日志,发现百度的蜘蛛除了首页200,其他也都是返回404,关键是蜘蛛抓取的目录根本不是现在站点的,完全不存在的目录啊,这种情况持续了2个多月了,崩溃了都。

追加问题
    10 人参与回答
只为等你
只为等你 · 盘搜网

时正常的,跟百度,这是蜘蛛自己去抓的

此后故乡只有冬
此后故乡只 · 爱云查

跟百度,链接,map没有呢

天降攻城狮
天降攻城狮 · 百度云搜索

有每天向百度提交你的网页吗,看看有没有中木马什么的,查一下IP

返回404说明没抓取成功你那个页面

爱吃者
爱吃者 · SEO优化诊断方案 VX:276029701

域名不放出来,怎么帮你看呢
蜘蛛抓取不存在的目录,反码是404,那就是没问题阿,这种你要先确认一下是不是真的蜘蛛,查一下IP,大概率是假蜘蛛,前提你的Robots设置没错的话
日志多用几个工具分析一下,新站沙盒期内收录波动时正常的

你网站上服务器上还挂了其他的 检查下 看看有没有中木马什么的

人生=π
人生=π · 建站小程序空间域名服务器百度爱采购

手动提交新url,提交Sitemap。

香港谷歌SEO
香港谷歌S · Shuke.→谷歌SEO服务咨询微信:15877060841

这是蜘蛛自己去抓的,你根本控制不了,只要你清完死链,应该就会好一些了

做了Sitemap没有呢?可不可用Robots禁用不存在的目录,有每天向百度提交你的网页吗?跟百度站长平台反馈过没有呢?没事也可以多检查下自己网站的样式,链接,前端,是不是阻碍了蜘蛛的爬行

我也遇到了,怎么回事了。观摩大神学习下