网站蜘蛛一次次爬取页面，但是没有被记录也没有痕迹爬取，怎么明明是爬取了，没有被收录呢？蜘蛛爬取页面是假的吗？怎么引导蜘蛛让蜘蛛爬取页面正常，有哪些方法可以获取蜘蛛真实的？多谢大家回答疑问！
可能是日志功能不全，有些服务商为了减轻服务器压力，就对网站日志做了功能上的限制，比如说只保留最近的100条记录，那之前的数据就看不到了。原因之二是不会分析，比如没有发现或者漏掉等。
可能工作不准确或者再提交一次抓取
让更多人参与回答
