hbase两个典型应用实例
- - CSDN博客推荐文章本文介绍hbase的两个典型应用实例OpenTSDB和地理信息系统. 学习一种技术最好的办法就是了解一个正在使用的应用系统是如何应用这种技术来解决问题的. 其中开源的OPenTSDB数据监控系统就是应用hbase解决数据存储的. 同时hbase还能很好的应对地理信息系统（GIS）中的两个挑战：大规模数据处理的延迟和空间位置建模.
hbase两个典型应用实例
标签：
hbase
典型
应用
| 发表时间：2014-04-21 00:42 | 作者：u010282707
出处：http://blog.csdn.net
本文介绍hbase的两个典型应用实例OpenTSDB和地理信息系统
学习一种技术最好的办法就是了解一个正在使用的应用系统是如何应用这种技术来解决问题的。其中开源的OPenTSDB数据监控系统就是应用hbase解决数据存储的。同时hbase还能很好的应对地理信息系统（GIS）中的两个挑战：大规模数据处理的延迟和空间位置建模。
1 hbase上查询地理信息系统
地理信息系统常作为在线交互用户体验的基础使用，如基于位置的服务。
对应GIS系统的两大挑战，hbase是一个在线系统可以很好地解决大数据延迟，对应空间位置建模以下重点介绍。
地球数据最简单的形式就是地球上的一个点，由经度和纬度组成。当我们查询数据是我们必须返回同一地点附近的信息，并且返回的数据越少越好，这样可以减少传输数据。GIS使用专门的空间索引来应对数据组织问题。并且我们将使用这种索引作为以下两种查询的基础，第一种查询，k个最近邻，第二种多边形区域内查询。
下面使用一个例子慢慢讲解如何建立索引：
假如你在纽约市，需要接入互联网，哪里有最近的wifi热点呢？
为了完成这个问题我们需要快速访问到数据的相关子集，我们可以从如下两个目标开始。
1 我们希望在空间里彼此接近的点在硬盘上的存储位置点也彼此相近。
2我们希望响应查询时返回尽可能少的点。
下面给出如下的位置数据：
geohash（地理散列）算法是一种把几个值转换为一个值的算法。下面介绍这个算法
下面以(39.92324, 116.3906)为例，介绍一下geohash的编码算法。首先将纬度范围(-90, 90)平分成两个区间(-90, 0)、(0, 90)，如果目标纬度位于前一个区间，则编码为0，否则编码为1。由于39.92324属于(0, 90)，所以取编码为1。然后再将(0,
90)分成 (0, 45), (45, 90)两个区间，而39.92324位于(0, 45)，所以编码为0。以此类推，直到精度符合要求为止，得到纬度编码为1011 1000 1100 0111 1001。
因此根据geohash计算的到的值作为行健是最佳的选择。如果使用一个库计算出每个节点的geohash，并且添加到数据中，则原来的数据变化成如下
| 纬度范围 | 划分区间0 | 划分区间1 | 39.92324所属区间 |
| (-90, 90) | (-90, 0.0) | (0.0, 90) | 1 |
| (0.0, 90) | (0.0, 45.0) | (45.0, 90) | 0 |
| (0.0, 45.0) | (0.0, 22.5) | (22.5, 45.0) | 1 |
| (22.5, 45.0) | (22.5, 33.75) | (33.75, 45.0) | 1 |
| (33.75, 45.0) | (33.75, 39.375) | (39.375, 45.0) | 1 |
| (39.375, 45.0) | (39.375, 42.1875) | (42.1875, 45.0) | 0 |
| (39.375, 42.1875) | (39.375, 40.7812) | (40.7812, 42.1875) | 0 |
| (39.375, 40.7812) | (39.375, 40.0781) | (40.0781, 40.7812) | 0 |
| (39.375, 40.0781) | (39.375, 39.7265) | (39.7265, 40.0781) | 1 |
| (39.7265, 40.0781) | (39.7265, 39.9023) | (39.9023, 40.0781) | 1 |
| (39.9023, 40.0781) | (39.9023, 39.9902) | (39.9902, 40.0781) | 0 |
| (39.9023, 39.9902) | (39.9023, 39.9462) | (39.9462, 39.9902) | 0 |
| (39.9023, 39.9462) | (39.9023, 39.9243) | (39.9243, 39.9462) | 0 |
| (39.9023, 39.9243) | (39.9023, 39.9133) | (39.9133, 39.9243) | 1 |
| (39.9133, 39.9243) | (39.9133, 39.9188) | (39.9188, 39.9243) | 1 |
| (39.9188, 39.9243) | (39.9188, 39.9215) | (39.9215, 39.9243) | 1 |
经度也用同样的算法，对(-180, 180)依次细分，得到116.3906的编码为1101 0010 1100 0100 0100。
| 经度范围 | 划分区间0 | 划分区间1 | 116.3906所属区间 |
| (-180, 180) | (-180, 0.0) | (0.0, 180) | 1 |
| (0.0, 180) | (0.0, 90.0) | (90.0, 180) | 1 |
| (90.0, 180) | (90.0, 135.0) | (135.0, 180) | 0 |
| (90.0, 135.0) | (90.0, 112.5) | (112.5, 135.0) | 1 |
| (112.5, 135.0) | (112.5, 123.75) | (123.75, 135.0) | 0 |
| (112.5, 123.75) | (112.5, 118.125) | (118.125, 123.75) | 0 |
| (112.5, 118.125) | (112.5, 115.312) | (115.312, 118.125) | 1 |
| (115.312, 118.125) | (115.312, 116.718) | (116.718, 118.125) | 0 |
| (115.312, 116.718) | (115.312, 116.015) | (116.015, 116.718) | 1 |
| (116.015, 116.718) | (116.015, 116.367) | (116.367, 116.718) | 1 |
| (116.367, 116.718) | (116.367, 116.542) | (116.542, 116.718) | 0 |
| (116.367, 116.542) | (116.367, 116.455) | (116.455, 116.542) | 0 |
| (116.367, 116.455) | (116.367, 116.411) | (116.411, 116.455) | 0 |
| (116.367, 116.411) | (116.367, 116.389) | (116.389, 116.411) | 1 |
| (116.389, 116.411) | (116.389, 116.400) | (116.400, 116.411) | 0 |
| (116.389, 116.400) | (116.389, 116.394) | (116.394, 116.400) | 0 |
接下来将经度和纬度的编码合并，奇数位是纬度，偶数位是经度，得到编码 11100 11101 00100 01111 00000 01101 01011 00001。
最后，用0-9、b-z（去掉a, i, l, o）这32个字母进行base32编码，得到(39.92324, 116.3906)的编码为wx4g0ec1。
| 十进制 | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| base32 | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | b | c | d | e | f | g |
| 十进制 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 |
| base32 | h | j | k | m | n | p | q | r | s | t | u | v | w | x | y | z |
解码算法与编码算法相反，先进行base32解码，然后分离出经纬度，最后根据二进制编码对经纬度范围进行细分即可，这里不再赘述。不过由于geohash表示的是区间，编码越长越精确，但不可能解码出完全一致的地址。
用途 & 缺点：
geohash的最大用途就是附近地址搜索了。不过，从geohash的编码算法中可以看出它的一个缺点：位于格子边界两侧的两点，虽然十分接近，但编码会完全不同。实际应用中，可以同时搜索当前格子周围的8个格子，即可解决这个问题。
有计算出的数据可看地点越是相近，前边相同的数字个数就多，因此我们使用geohash算法计算的结果作为行健存储在hbase中，就可以把地点相近的点存储在物理相近处。具体实现k近邻的查询，和如何使用过滤器（filter）和协处理器（coprocessor）把计算工作推往RegionServer不做介绍。
2 OpenTSDB
OpenTSDB是一种基于Hbase来构建的分布式的，可拓展的时间序列数据库，OpenTSDB可以用来处理一种通用需求：存储、索引和服务于从大规模计算机系统（网络设备、操作系统、应用程序）采集来的监控指标数据并且使这些数据易于访问和可视化。从根本上OpenTSDB是一种在线数据可视化工具。
基础设施监控，需要监控的项目很多，包括，每秒服务的请求数、并发活跃用户数、数据库读写、平均响应延迟、进程占用内存等。每一个数据都是一个特定监控指标的时间序列检查结果，只提供了整个系统运行视图的一小部分快照，在一段时间窗口里把这些检测结果收集起来，就拥有了一个系统运行的视图。
OpenTSDB必须能够从大量系统里收集各种监控指标，还必须支持对监控指标的在线查询。hbase具有可拓展的数据存储能力和支持低延迟的查询，同时hbase是一种通用的具有灵活数据模型的数据存储，它支持OpenTSDB设计一种高效的、相对可定制的模式来存储数据，因此OpenTSDB采用了hbase数据库存储数据。
一下一系列的内容展示的是OpenTSDB中hbase设计模式和OpenTSDB的架构设计（住：拍自hbase一书）
作者：u010282707 发表于2014-4-20 16:42:38 原文链接
阅读：1 评论：0 查看评论
相关 [hbase 典型 应用] 推荐：
HBASE高级应用
- - 数据库 - ITeye博客基本原则是尽量把查询的维度或信息存入行健中，因为这样筛选数据的效率最高. 从表的形式看，主要有列少行多的高表和行多列少的宽表，一般情况下高表更有优势，因为hbase只能按行拆分. 防止数据过热：当时间序列类型的数据（行健为时间戳）写入时，数据集中在一个region中，很容易产生读写热点. 解决办法有:1)添加hash前缀，2）字段交换或提升权重：即在行键中添加另外一个字段或交换杭建中多个字段的位置，3）随机化，比如对整个行健取MD5，作为新的行健.
Hypertable应用实践：比肩HBase
- - 技术改变世界 创新驱动中国 - 《程序员》官网Hypertable是一个开源、高性能、可伸缩的数据库，采用与Google的BigTable相似的模型. BigTable让用户可以通过一些主键来组织海量数据，并实现高效的查询. Hypertable和HBase分别是BigTable的两个开源实现：HBase主要使用Java语言开发，而Hypertable使用Boost C++，另外在一些细节的设计理念上也有所不同.
HBase的一些应用设计tip
- - BlogJava_首页1，对于HBase的存储设计，要考虑它的存储结构是：rowkey+columnFamily:columnQualifier+timestamp(version)+value = KeyValue in HBase，一个KeyValue依次按照rowkey，columnkey和timestamp有序.
HBASE在QIHOO 360搜索中的应用
- - 开源软件 - ITeye博客【CSDN现场报道】中国IT界技术盛会——Hadoop与大数据技术大会（Hadoop&BigData Technology Conference 2012，HBTC 2012）于2012年11月30日-12月1日在北京新云南皇冠假日酒店隆重召开. 本次大会以“大数据共享与开放技术”为主题，聚焦于Hadoop与大 数据，力邀数十位国内外Hadoop及大数据技术应用的产学界人士和实践企业，探讨大数据技术生态系统的现状和发展趋势，并围绕Hadoop与大数据热点 技术和应用实践进行深入解析.
HBase 核心原理与应用场景
- -HBase是大数据NoSQL领域里非常重要的分布式KV数据库，是一个高可靠、高性能、高伸缩的分布式存储系统，目前国内知名公司都有在大规模使用，社区也非常活跃. 本文就是学习HBase的敲门砖，主要从以下几个方面解读HBase. HBase是Google的BigTable的开源实现，底层存储引擎是基于LSM-Tree数据结构设计的.
HBase在淘宝的应用和优化小结
- - NoSQLFan本文来自于NoSQLFan联合作者@ koven2049，他在淘宝从事Hadoop及HBase相关的应用和 优化. 对Hadoop、HBase都有深入的了解，本文就是其在工作中对HBase的应用优化小结，分享给大家. 原文地址： http://walkoven.com/?p=57. 文章PDF下载： http://walkoven.com/hbase:optimization and apply summary in taobao.pdf.
使用常用工具测试HBase应用
- - CSDN博客云计算推荐文章虽然业界采用Apache HBase来构建终端用户应用的范围越来越多，但是许多这种应用并没有经过良好的测试. 通过这篇文章，你可以了解到有关这方面的一些容易实现的测试方法. 我们首先以 JUnit为例, 然后是 Mockito 和 Apache
MRUnit, 接着会使用HBase的一个微型集群来做集成测试.
Pora2应用中HBase高并发读写性能优化
- - 搜索技术博客－淘宝淘宝搜索的个性化离线实时分析系统Pora已升级至Pora2，Pora2是在基于Yarn的流式计算框架IStream基础上开发的，同时为保证数据和消息的实时处理系统中较多地使用了HBase，是一个典型的高并发读写HBase的分布式应用. 系统在发布之初遇到了比较严重的性能问题，表现为处理速度跟不上实时日志，并且整个Hadoop/HBase集群压力大，连带其它应用受影响.
理解Hadoop-Hbase原理与应用小结
- - 数据库 - ITeye博客首先Hbase中的一个“元素”是由行键、列族名、限定符、时间戳唯一标识的并且行键作为数据行在表里的唯一标识，我们只有通过行键来访问列族别无他法. 修改数据：我们先找到要修改的行键把新的数据记录追加到对应的列族中并打上一个新时间戳代表最新版本. 删除数据：插入带有删除标记的行进入，相当于把整个行键所在的行删了.