Java程序员须知的七个日志管理工具
- - ImportNewSplunk>Storm
日志管理工具有Splunk、Sumo Logic、LogStash、GrayLog、Loggly和PaperTrails等等，数不胜数. 日志就像石油，二十多年了我们一直想摆脱它，却一直没有做到. 为了处理日益增长的数据，近年来出现了一大批分析和管理日志的工具，开发和管理人员能够借助这些工具来了解增长的数据.
Java程序员须知的七个日志管理工具
标签：
基础技术
日志工具
| 发表时间：2014-07-15 08:00 | 作者：赖 信涛
出处：http://www.importnew.com
Splunk vs. Sumo Logic vs. LogStash vs. GrayLog vs. Loggly vs. PaperTrails vs. Splunk>Storm
日志管理工具有Splunk、Sumo Logic、LogStash、GrayLog、Loggly和PaperTrails等等，数不胜数。日志就像石油，二十多年了我们一直想摆脱它，却一直没有做到。
为了处理日益增长的数据，近年来出现了一大批分析和管理日志的工具，开发和管理人员能够借助这些工具来了解增长的数据。在这篇文章中，我将站在开发者的角度，分析一下这些工具的特点。
Splunk
作为这个领域中最大的工具，我决定将 Splunk 做一个单独的分类。并不是说这个工具是最好的，而是对这个产品给予肯定，因为它从本质上创造了一个新的领域。
优点
在这个领域内功能最齐全的可能就是 Splunk 了。它有数百个来分析各种形式日志信息的程序（我计算的是 537个）——从安全领导到商业分析，再到底层监控。Splunk 的搜索和图表工具如此丰富，没有通过它（UI和API）得不到的数据。
缺点
Splunk 主要有两个缺点。第一，这个因素可能有些主观，我觉得这个解决方案太复杂了。如果要在一个高度复杂的环境中部署，就需要安装和配置一个专用集群。作为一个开发者，通常会因为这点而不把这个方案作为第一选择。
第二个缺点是它太昂贵了。要支持一个真实世界的软件，你可能会花费一万多美金，这很可能就意味着你需要从其他地方削减预算，这样开发进程就慢了。如果你刚上架了一款 app，但是要得到高质量的日志分析却又不影响开发进程——请继续阅读。
更多企业级日志分析工具请点击 这里。
SaaS日志分析工具
Sumo Logic
Sumo 是在 Splunk 的基础上建立的 SaaS 版本，它沿用了 Splunk 早期的一些特性和视觉效果。不得不说，SL 今天已经发展成了一个成熟的企业级日志管理工具。
优点
SL 具备对数据简化、查找、制表等功能。可能是 SaaS 型的日志分析工具中功能最多的了。同样，作为 SaaS 型，SL 还具有安装简单，操作简单等优点。最吸引人的地方是，你可以建立一个基线，当一个事件（像是一个新版本首次上线或者恶意的请求等）使一些重要的指标发生了变化时，你可以收到动态通知。
缺点
由于这是通过 SaaS 的方式进行日志分析的，所以你必须将大量的数据上传至服务器进行分析，这就可能产生一些问题：
- 作为一个开发者，如果要分析的日志涉及到敏感信息或者 PII 你要确保做好了屏蔽。
- 在日志生成的时间与日志上传至服务的时间之间可能存在一些冲突。
- 在你的机器上回多出来几个 GB 的开销用于上传日志，不过这取决于你日志的吞吐量。
Sumo 服务的购买价格 不是透明的，所以你要是想刷你团队的信用卡来购买的话会很麻烦。
更新——SL 团队刚刚告诉我们，你可以直接用信用卡从免费版本中购买服务，虽然不像网页版那样方便，但是也蛮不错的。
Loggly
Loggly 也是一个健壮的日志分析工具，强调简洁朴素让开发者用起来方便。
优点
SL 注重的是企业级别的应用和安全性，而 Loggly 却将重点放在了帮助开发者查找和修复操作性的问题上。因为操作界面非常友好，自定义性能和开发者仪表盘这种东西非常简单。并且它的价格透明，入门方便。
缺点
不要奢望 Loggly 具备成熟的架构、安全和分析解决方案。Loggly 不具备取证和监控基础架构，它仅仅是帮助开发者处理应用服务器数据的一个工具。除此之外的其他事情就需要你自己去做了。
PaperTrails
PaperTrails 擅长从多台机器上查找日志，并提供一个合并的窗口，使用起来很方便。鉴于你是从云端 追踪日志，所以你离他们不会太远。
优点
PT 就是这么一个工具。通过它你可以从一个窗口轻松的查找多台机器上的日志。用户操作本身就像你机器上的日志，搜索命令也一样。它致力于将日志管理变得简单、易用，可以优雅地处理。而且它还 不算很贵。
缺点
PT 是基于文本格式的。如果需要支持先进的集成、预测和报告功能，就显得力不从心了。
Splunk>Storm
这是 Splunk 的兄弟， Splunk 的服务器上提供托管。
优点
Storm 让你无需安装软件，就能体验 Splunk 的完整版的功能。
缺点
Storm 不是商业的，所以你的流量有限。你可以将其视作一个 Splunk 的限制版本，无需部署即可帮助新产品测试。最近有个叫 Splunk Cloud 的新服务，致力于提供 Splunk SaaS 的完整体验。
开源的分析软件
Logstash
Logstash 是一款收集和管理日志的开源工具。它用到了一些其他的开源的资源：使用 ElasticSearch 来索引和查找数据，使用 Kibana 制表和可视化处理。他们联合起来,组成一个强大的日志管理解决方案。
优点
作为一个开源的解决方案，Logstash 允许用户有更大的定制空间，而且很便宜。Logstash 用了三个成熟的开源部件——都受到了很好的维护——组成一个强大的 可扩展的软件包。由于开源，安装和使用和非常方便。
缺点
由于 Logstash 从本质上来说是三个部件的堆砌，所以你需要面对三个不同的产品。这就意味着扩展也变得很复杂。Logstash 的过滤器是用 Ruby 写的，Kibana 是用纯 Javascript 写的，而 ElasticSearch 也有自己的 REST 接口和 JSON 模板。
当你转向产品时，还需要将三个不同的工具部署到服务器上，无疑增加了复杂度。
Graylog2
最近出现的一颗新星——GL2，用 MongoDB 和 ElasticSearch 支持的用来存储与搜索日志错误的工具。它致力于帮助开发者找到并修复程序中的错误。
在这一方面，还有 fluentd 和 Kafka 也是专注于存储日志的。看！我们有这么多选择啊！
Takipi for Logs
虽然这篇文章不是关于 Takipi 的，但是它有一项特性，你也许会发现和日志有关。
对于日志分析工具来说，最大的缺点就是你必须要有日志可以分析。从集成开发环境的角度看，如果没有异常报告，或者没有错误信息的数据，你就没办法知道哪里出问题了，这样世界上任何工具都帮不了你了！Debug 就卡在这里了。:(
在 Takipi 的一项优势就是可以跳过日志文件，进入到调试信息中。这样你就能看到真实的源代码和错误范围的变量了。了解更多点击 这里。
Takipi 会报告所有的异常和错误，并且告诉你哪里出错了，即使是多线程或者是发生在多台机器上。1分钟之内就能安装，维护费用不足2%-部署 Taikipi。
可能感兴趣的文章
相关 [java 程序员 日志] 推荐：
Java程序员常用工具集
- - BlogJava-庄周梦蝶 我发现很多人没办法高效地解决问题的关键原因是不熟悉工具，不熟悉工具也还罢了，甚至还不知道怎么去找工具，这个问题就大条了. 我想列下我能想到的一个Java程序员会用到的常用工具. 1.IDE： Eclipse或者 IDEA，熟悉尽可能多的快捷键，《 Eclipse常见快捷键列表》. (1) Findbugs，在release之前进行一次静态代码检查是必须的.
Java系统程序员修炼之道
- - 博客 - 伯乐在线从2002开始接触Java学会HelloWorld这么经典的程序到如今不知不觉已经十年啦，十年中亲耳听到过不少大牛的演讲，见到过项目中的神人在键盘上运指如飞的编程速度，当时就被震撼了. 当编程越来越成体力活，我们还能有自己的思想，还能修炼为Java系统级别的 程序员嘛. 学习与修炼以下知识与技能，帮你早日达成愿望.
Java程序员的现代RPC指南
- - CSDN博客推荐文章Java程序员的现代RPC指南. 最早接触RPC还是初学Java时，直接用Socket API传东西好麻烦. 于是发现了JDK直接支持的RMI，然后就用得不亦乐乎，各种大作业里凡是涉及到分布式通信的都用RMI，真是方便. 后来用上了Spring，发现Spring提供了好多Exporter，可以无侵入地将一个POJO暴露为RPC服务.
Java GC日志查看
- - Java - 编程语言 - ITeye博客Java中的GC有哪几种类型. 虚拟机运行在Client模式的默认值，打开此开关参数后，. 使用Serial+Serial Old收集器组合进行垃圾收集. 打开此开关参数后，使用ParNew+Serial Old收集器组合进行垃圾收集. 打开此开关参数后，使用ParNew+CMS+Serial Old收集器组合进行垃圾收集.
Java面试题：多线程，作为Java程序员你不得不懂
- sun - IT程序员面试网线程：是指进程中的一个执行流程. 线程与进程的区别：每个进程都需要操作系统为其分配独立的内存地址空间，而同一进程中的所有线程在同一块地址空间中工作，这些线程可以共享同一块内存和系统资源. 创建线程有两种方式，如下：
1、 扩展java.lang.Thread类
2、 实现Runnable接口
Thread类代表线程类，它的两个最主要的方法是：
run()——包含线程运行时所执行的代码
Start()——用于启动线程.
Java程序员不该有的6种陋习
- - BlogJava-首页技术区只有在学会处理异常之后，我们才能说自己是一个合格的java程序员. 只有在摆脱了以下六种异常处理的陋习之后，才能威慑一下刚毕业的小菜鸟. 现在就来测试一下大家对异常的掌握程度. 不用担心，事实上，这些不合理的设计很容易看出来. 那么，以下六种不合理的代码，大家能看出每一种的问题出在哪儿吗. + "，姓名：" + rs.getString("name"));.
25个让Java程序员更高效的Eclipse插件
- - 博客 - 伯乐在线Eclipse提供了一个可扩展插件的开发系统. 这就使得Eclipse在运行系统之上可以实现各种功能. 这些插件也不同于其他的应用（插件的功能是最难用代码实现的）. 拥有合适的Eclipse插件是非常重要的，因为它们能让Java开发者们无缝的开发基于J2EE和服务的应用程序. Eclipse的插件也能帮助他们开发不同应用架构上的程序.
java程序员必知的8大排序
- - CSDN博客推荐文章 （1）基本思想：在要排序的一组数中，假设前面(n-1)[n>=2] 个数已经是排. 好顺序的，现在要把第n个数插到前面的有序数中，使得这n个数. 如此反复循环，直到全部排好顺序. //将大于temp的值整体后移一个单位. 2， 希尔排序（最小增量排序）. （1）基本思想：算法先将要排序的一组数按某个增量d（n/2,n为要排序数的个数）分成若干组，每组中记录的下标相差d.对每组中全部元素进行直接插入排序，然后再用一个较小的增量（d/2）对它进行分组，在每组中再进行直接插入排序.
【外刊IT评论网】Java程序员的堕落
- - 外刊IT评论网我曾在多个场合撰文说过，现在培训出来的企业Java开发兵团只知道使用某种框架，但完全不知道这些框架的底层原理. 今天早上，在依次对三个职位的应聘者面试中，我又再次见到了这种情形. 我们的顾问公司收到了一个客户的招聘需求，要一个经验丰富并通晓SQL的Java开发人员. 我们公司在这个客户那里享有非常好的声誉，于是我们从招聘代理公司要来了一批简历，开始搜寻合适的目标.