HBase表设计原则整理

因为每个列簇是存在一个独立的HFile里的，flush和compaction操作都是针对一个Region进行的，当一个列簇的数据很多需要flush的时候，其它列簇即使数据很少也需要flush，这样就产生的大量不必要的io操作. 在多列簇的情况下，注意各列簇数据的数量级要一致. 如果两个列簇的数量级相差太大，会使数量级少的列簇的数据扫描效率低下.

默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据， 直到这 个region足够大了才进行切分. 一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按 照 region分区情况，在集群内做数据的负载均衡.

HBase 与传统关系数据库（例如MySQL，PostgreSQL，Oracle等）在架构的设计以及为应用程序提供的功能方面有很大的不同. HBase 权衡了其中一些功能，以实现更好的可扩展性以及更灵活的模式. 与关系数据库相比，HBase 表的设计有很大的不同. 下面将通过解释数据模型向您介绍 HBase 表设计的基础知识，并通过一个例子深入探讨 HBase 表的设计.

1.1 RowKey对查询的影响. HBase中 RowKey 用来唯一标识一行记录. 在 HBase 中检索数据有以下三种方式：. 通过 get 方式，指定 RowKey 获取唯一一条记录. 通过 scan 方式，设置 startRow 和 endRow 参数进行范围匹配. 全表扫描，即直接扫描整张表中所有行记录.

为什么Rowkey这么重要. RowKey 到底是什么. 如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号： iteblog_hadoop. 我们常说看一张 HBase 表设计的好不好，就看它的 RowKey 设计的好不好. 可见 RowKey 在 HBase 中的地位.

此文原创，转载请说明出处：http://ronxin999.blog.163.com/blog/static/4221792020130109202973/. 看这篇文章，你首先要了解hbase的基本存储模型，不懂的可以看我的文章，有做特别的说明. 今天难得有时间，写博文，特地总结下一直想写hbase的实践经验，在用hbase的过程中，我们都知道，rowkey设计的好坏，是我们能最大发挥hbase的架构优势，也是我们是否正确理解hbase的一个关键点.

1，对于HBase的存储设计，要考虑它的存储结构是：rowkey+columnFamily:columnQualifier+timestamp(version)+value = KeyValue in HBase，一个KeyValue依次按照rowkey，columnkey和timestamp有序.

摘要：本篇是本人在做一个大数据项目. ，对于系统架构总结的一点想法，如何在保证存储量的情况下，又能保证数据的检索速度. 前提：      Solr、SolrCloud提供了一整套的数据检索方案，HBase提供了完善的大数据存储机制. 需求：      1、对于添加到HBase中的结构化数据，能够检索出来.

HBase —— Hadoop Database的简称，Google BigTable的另一种开源实现方式，从问世之初，就为了解决用大量廉价的机器高速存取海量数据、实现数据分布式存储提供可靠的方案. 从功能上来讲，HBase不折不扣是一个数据库，与我们熟悉的Oracle、MySQL、MSSQL等一样，对外提供数据的存储和读取服务.

随着大数据的越来越普及，HBase也变得越来越流行. 会用HBase现在已经变的并不困难，然而，怎么把它用的更好却并不简单. 很简单，在保证系统稳定性、可用性的基础上能够用最少的系统资源（CPU,IO等）获得最好的性能（吞吐量，读写延迟）就是’用的好’. HBase是一个庞大的体系，涉及到很多方面，很多因素都会影响到系统性能和系统资源使用率，根据场景对这些配置进行优化会很大程度上提升系统的性能.