4 人参与回答
海阔天空
海阔天空 · 315防伪标签办理中心-全国315产品防伪查询中心

当你在日志看到这样的标识:(compatible; Baiduspider/ +)这就是百度蜘蛛

武荣网络
武荣网络 · 网站建设/仿站、美团点评运营、云服务器、DIY小程序、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

  状态码:服务器返回给蜘蛛爬行的状态码,如200表示成功,404表示文件未找到等等。

  通过这些信息,可以了解到蜘蛛爬行对网站的访问情况,包括访问时间、访问频率、访问页面等等,这对于网站的SEO优化和性能调优都非常有帮助。

220。181。68:每天这个IP段只增不减很有大概进沙盒或K站。
220。181。7:代表百度蜘蛛IP拜访,预备抓取你工具。
220。181。108。,此ip段为权重蜘蛛,如果此蜘蛛频繁光顾,那么网站收录会有提高。如果频繁光顾网站却不收录,那么要注意是否网站质量不高,内容是否很差。
220。181。108。95:这个是百度抓取首页的公用IP,如是段的话,网站会每天隔夜快照。
220。181。108。92:同上98%抓取首页,大概还会抓取其他(不是指内页)段属于权重IP段此段爬过的文章或首页根本24小时放出来。
220。181。108。91:属于综合的,重要抓取首页和内页或其他,属于权重IP段,爬过的文章或首页根本24小时放出来。
220。181。108。75:重点抓取更新文章的内页到达90%,8%抓取首页,2%其他。权重IP段,爬过的文章或首页根本24小时放出来。

117。26。203。167--[02/May/2011:01:57:44 -0700]“GET/ HTTP/'500 19967"_""Mozilla/ (compatible; MSIE Windows NT AskTbCS-ST/,.NET CLR AlexaToolbar) 

分析: 

117。26。203。167 访问 ip 

02/May/2011:01:57:44 -0700 访问日期-时区 

GET/ HTTP/ 500 根据 HTTP/ 协议 抓取(域名下)/ 这个页面(GET 表示服务器动作)500 服务器响应状态码