如何看懂蜘蛛爬行日志代表的意思？

当你在日志看到这样的标识：(compatible; Baiduspider/ +)这就是百度蜘蛛。

　　状态码：服务器返回给蜘蛛爬行的状态码，如200表示成功，404表示文件未找到等等。

　　通过这些信息，可以了解到蜘蛛爬行对网站的访问情况，包括访问时间、访问频率、访问页面等等，这对于网站的SEO优化和性能调优都非常有帮助。

220。181。68：每天这个IP段只增不减很有大概进沙盒或K站。
220。181。7：代表百度蜘蛛IP拜访，预备抓取你工具。
220。181。108。，此ip段为权重蜘蛛，如果此蜘蛛频繁光顾，那么网站收录会有提高。如果频繁光顾网站却不收录，那么要注意是否网站质量不高，内容是否很差。
220。181。108。95：这个是百度抓取首页的公用IP,如是段的话，网站会每天隔夜快照。
220。181。108。92：同上98%抓取首页，大概还会抓取其他(不是指内页)段属于权重IP段此段爬过的文章或首页根本24小时放出来。
220。181。108。91：属于综合的，重要抓取首页和内页或其他，属于权重IP段，爬过的文章或首页根本24小时放出来。
220。181。108。75：重点抓取更新文章的内页到达90%，8%抓取首页，2%其他。权重IP段，爬过的文章或首页根本24小时放出来。

117。26。203。167--[02/May/2011:01:57:44 -0700]“GET/ HTTP/'500 19967"_""Mozilla/ (compatible; MSIE Windows NT AskTbCS-ST/，.NET CLR AlexaToolbar) 

分析: 

117。26。203。167 访问 ip 

02/May/2011:01:57:44 -0700 访问日期-时区 

GET/ HTTP/ 500 根据 HTTP/ 协议 抓取(域名下)/ 这个页面(GET 表示服务器动作)500 服务器响应状态码