3 人参与回答
莫湘兆 等 1 人赞同该回答
如何获得：网站日志文件可以向空间商索取。
为什么要分析：日志文件记录了搜索引擎和用户的详细访问情况（包括不仅限于百度），通过对日志文件的分析我们可以详细了解搜索引擎的爬虫程序如何抓取网页，抓取情况如何。通过对这些情况的分析有助于我们科学的把握SEO方向。
日志分析工具目前还是比较多，百度下你可以找到一堆。
比如百度网页爬虫（Baiduspider）在近一个月对 /seo/ 这个URL访问了200次，返回状态均为404，而这个页面本身是不存在的，那么我们就需要在Robots.txt文件中对这条URL进行屏蔽。
题外话：如果你是图片站，还可以单独分析百度图片爬虫对网页中图片的抓取情况，这些得到的数据才更科学。
空间控制面板一般都有日志下载功能
