今天看了下日志 发现很多的蜘蛛返回状态吗是304 不知道是什么原因 请老师给分析下啊
1.服务器缓存缘故,当网站的缓存服务器出现故障的时候就会导致网站的内页访问时出现缓冲问题,当直接点击页面进行访问的时候会发现更新的网站页面没有得到更新或者变化,这就主要是...
2.网站结构问题,当网站结构出现问题,就会导致搜索引擎蜘蛛不能有效的爬行整个问题,虽然蜘蛛会...
3.网站更新频率低于蜘蛛访问频率,导致蜘蛛对首页发出请求时,服务器端返回未更新状态码。
题主自行分析下哈
让更多人参与回答
