百度蜘蛛老是抓取域名之前的目录并返回404是什么原因
域名是之前淘来的,没有黑历史,新站上线后很快百度就收录首页,但是一直没收录内页,一直也保持着更新,后台看了下蜘蛛日志,发现百度的蜘蛛除了首页200,其他也都是返回404,关键是蜘蛛抓取的目录根本不是现在站点的,完全不存在的目录啊,这种情况持续了2个多月了,崩溃了都。
域名是之前淘来的,没有黑历史,新站上线后很快百度就收录首页,但是一直没收录内页,一直也保持着更新,后台看了下蜘蛛日志,发现百度的蜘蛛除了首页200,其他也都是返回404,关键是蜘蛛抓取的目录根本不是现在站点的,完全不存在的目录啊,这种情况持续了2个多月了,崩溃了都。