Hadoop Metrics体系分析之三:构建自己的Metrics
- - Taobao QA Team大型分布式系统中需要metrics来了解系统状态已成为系统必需的功能之一. 其实测试系统甚至测试用例中也同样需要metrics. 通过这些指标我们可以了解测试的进度、状况、以及一些过程情况,比如性能指标和一些无法用是否判断数据. 下面我们就用一个简单的例子来看看如何使用hadoop metrics.
1:概述
Hadoop Metrics用来统计集群运行数据,比如接口调用次数,响应时间,队列长度等等,现阶段(0.19版本)支持为数不多的几个层级的数据,分别是dfs,jvm,rpc,mepred等。这些数据收集之后可以sink(通过context)到不同的目的地,比如文件,ganglia,等,也可以自己实现一个context去sink这些数据到你指定的地方。
1、context,context是用来sink收集的数据的。而所有需要sink的数据存放在context内的一个map来保存所有put进来的metricsRecord中,然后startmonitor之后启动一个timer来定时将map中所有的record通过调用update函数来将调用context实现类的emitRecords发送出去。
MetricsUtil类负责上从ContextFactory实例中获取context实例,并且startmonitor。在startmonitor中启动一个timer,这个timer定时类里边,首先调用updater.doUpdates(),然后调用emitRecords();将context中的所有metricsRecord全部通过调用各个context的emitRecord->emitMetrics发送出去
2、metricsRecord可以看成一个map容器,内面存放了各种string:number的刻度值,作为一个信息的载体被context发送出去
3、Updater这个是重头戏,如果要实现自己的收据收集,这个是比不可少的。updater的本义就是为了将过程中收集的数据更新到update对应的Record中。然后在调用Record的update(内部调context的update,见前述)将数据更新到context的Recordmap中。
4、MetricsBase,基类,过程中收集数据的时候,依赖这个类来做数据收集,现阶段有三个类型的数据收集