上线3个月的站点百度不爬行新内容

状况:网站上线了3个月,内容质量都很ok。
类型:女性站 目前爱占权重2 词条290条

收录在 5000篇左右(百度索引)

问题:百度蜘蛛15分钟来爬行一次首页 上午基本返回304状态,下午返回200,不管首页是否更新都这样,主要问题是新的内容百度不爬行,一般爬行一周以前的内容,上个月百度去爬行动态的内容,被我屏蔽动态了。求解决方法!!!

百度会爬行首页 但是就是不爬行新内容,目前我只能用百度站长推出的【抓取诊断工具】来代替蜘蛛爬行新内容

追加问题
    1 人参与回答
墨寒
墨寒 · 没啥说的......

返回304状态说明蜘蛛爬取的页面没有进行过更新。

这个可能是因为蜘蛛来的过于频繁,可以查看下从你更新后蜘蛛第一次来是返回的什么状态,如果还是304的话,那就要看看是不是服务器设置了缓存机制,或使用了其他的带缓存机制的加速器,导致蜘蛛来爬的时候看不到你更新的内容。

你说蜘蛛下午爬的时候返回200状态,哪蜘蛛爬完首页后又爬了哪些页面,还是不爬新更新的内容?

你在网站更新后用《抓取诊断工具》爬的话,能看到新更新的内容链接吗?如果可以的话那应该没多大的问题,或许还是因为网站较新的缘故(毕竟才3个月)。

可以使用动态首页并加入一些随机信息的调用,在蜘蛛每次爬取的时候都会出现一些不一样的内容,这样或许可以解决返回304的问题。

回复问答禁止带推广链接,了解合理带链接的方法