明明是蜘蛛每天过来访问与抓取页面了,但是页面内容没有被百度收录,也没有抓取记录,难道都是假蜘蛛吗?一次次抓取页面没有任何记录,我们怎么做呢?如何吸引蜘蛛抓取页面更多,看看哪里问题导致抓取后没有记录?
网站的日志,可以看到
可以查看一下网站的日志
可能是日志功能不全,有些服务商为了减轻服务器压力,就对网站日志做了功能上的限制,比如说只保留最近的100条记录,那之前的数据就看不到了。原因之二是不会分析,比如没有发现或者漏掉等。
下载网站日志,确定是不是抓取了这个页面
蜘蛛日志可以详细看到抓取你那个页面的
让更多人参与回答