hbase介绍
- AreYouOK? - 淘宝数据平台与产品部官方博客 tbdata.orghbase是bigtable的开源山寨版本. 是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统. 它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作). 主要用来存储非结构化和半结构化的松散数据.
HBase使用教程
标签：
hbase
| 发表时间：2014-06-01 14:54 | 作者：小码哥BASE64
出处：http://www.iteye.com
1 基本介绍
1.1 前言
HBase – Hadoop Database，是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的 分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。
HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。
HBase是一个高 可靠性、高性能、面向列、可伸缩的 分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模 结构化 存储集群。
2 安装和使用
2.1 下载
HBase的官方网站http://www.apache.org/dyn/closer.cgi/hbase/上面可以下载到各种版本。目前用最新版本是0.98.2，建议下载stable目录下的稳定版本。
2.2 安装
安装依赖基础要求
1. Linux操作系统
根据HBase的官方介绍，HBase没有在windows下测试过，因而，我们都是将HBase安装在Linux操作系统上。我本机安装的Ubuntu 12.04的虚拟机。
2. Jdk
HBase需要jdk支持其运行，jdk版本要求是1.6及其以上。
这里暂且把Linux虚拟机的安装和虚拟机上jdk的安装过程跳过，可以参照网上其他相关资料执行。
HBase的安装方法比较简单，将我们下载的HBase的安装包hbase-0.94.20.tar.gz拷贝到Linux的根目录下。
接着执行以下命令和配置，之后启动HBase：
1. 解压缩安装包
root@ubuntu:/# tar xfz hbase-0.94.20.tar.gz
root@ubuntu:/# cd hbase-0.94.20
2. 配置数据存储目录
正如官方文档描述的那样，这时我们可以直接启动HBase，这样的话，使用的数据存储目录为 /tmp/hbase-${user.name}，也就意味着，我们一旦重启Linux，我们先前存储的数据就将丢失。
Linux下执行以下命令：
root@ubuntu:/# cd /hbase-0.94.20/conf/
root@ubuntu:/hbase-0.94.20/conf# vi hbase-site.xml
之后，修改配置文件内容为：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>
<configuration>
<property>
<name>hbase.rootdir</name>
<value>file:///hbase_data/hbase</value>
</property>
</configuration>
3. 启动HBase
root@ubuntu:/hbase-0.94.20/conf# ../bin/start-hbase.sh
starting master, logging to/hbase-0.94.20/bin/../logs/hbase-root-master-ubuntu.out
至此，单机模式启动HBase已经完成了。HBase的停止脚本是相同目录下的stop-hbase.sh。
2.3 HBase安装模式
在上一节中我们提到，我们安装的是单机模式。单机模式表示，我们所有的服务都运行在一个JVM上，包括HBase和Zookeeper。
另外，HBase还有两种安装模式：伪分布式模式和分布式模式。
伪分布式模式是把进程运行在一台机器上，但不是一个JVM。
完全分布式模式就是把整个服务被分布在各个节点上了 。
伪分布式模式和分布式模式依赖安装较多其他组件和服务，安装过程较为复杂，将会在另一篇文章中专门介绍。
3 开始一个例子
大多数技术人员happy的时候开始了。我们开始一个简单的Helloworld。
3.1 使用HBase shell连接HBase
使用HBase自带的客户端连接工具，连接到HBase：
3.2 创建User表
输入以下命令并执行：
3.3 对User表简单地增删改查
往User表中插入一条信息：
查询刚才插入的信息：
3.4 检查数据存储目录
我们看一下之前我们配置的数据存储目录的变化：
我们可以看到，在之前配置的数据存储目录下，已经新添加了一些用于存储我们刚才存入的数据的文件了。
4 HBase基础定义和概念
4.1 表
HBase是一个数据库，数据以表的形式存储在Hbase中。
正如我们在hello world中定义中的User表类似，HBase的表的结构如下所示：
|
Row Key |
Time Stamp |
ColumnFamily contents |
ColumnFamily anchor |
|
"com.cnn.www" |
t9 |
|
anchor:cnnsi.com = "CNN" |
|
"com.cnn.www" |
t8 |
|
anchor:my.look.ca = "CNN.com" |
|
"com.cnn.www" |
t6 |
contents:html = "<html>..." |
|
|
"com.cnn.www" |
t5 |
contents:html = "<html>..." |
|
|
"com.cnn.www" |
t3 |
contents:html = "<html>..." |
|
4.2 行、列族、列
行以rowkey作为唯一标示。Rowkey是一段字节数组，这意味着，任何东西都可以保存进去，例如字符串、或者数字。行是按字典的排序由低到高存储在表中。
列族是列的集合。要准确表示一个列，需要“列族：列名”的方式。例如Hello world中的name列，应该被表示为“personalinfo:name”。
值得注意的是，列族被要求在创建表时指定，但列不需要，可以随时使用的时候创建。另外，一个列族的成员在文件系统上都存储在一起，因而列族中的所有列的存取方式都是一致的。HBase的存储优化就都针对列族级别，例如，我们可以考虑将经常需要一起取出来分析的信息，都存储在一个列族上。
5 HBase常用的操作
为了方便大家开发过程中快速查询，这里分类介绍最常见的HBase命令。HBase shell中支持的所有命令，可以通过help命令来列举出来。如下所示：
这里只是截取了前部分命令，尚有部分命令不能再上图中显示。
5.1 一般命令
5.1.1 status
功能：查询服务器状态
使用：
5.1.2 version
功能：查询HBase版本信息
使用：
5.1.3 whoami
功能：查看连接的用户
使用：
5.2 DDL命令
5.2.1 Create创建表
功能：创建一个表。正如之前提到的，创建一个表时，不指定具体的列名，但要指定列族名。
使用：create ‘表名’,’列族名1’,’列族名2’
5.2.2 disable失效表
功能：失效一个表。当需要修改表结构、删除表时，需要先执行此命令。
使用：
5.2.3 enable使失效表有效
功能：使表有效。在失效表以后，需要执行此命令，以使得表可用。
使用：
5.2.4 alter修改表结构
功能：修改表结构，包括新增列族、删除列族等
使用：
新增列族（记得在执行alter之前，要先disable表）
删除列族
重命名列族
列族不能被重命名。重命名一个列族的通常途径是使用API创建一个有着期望名称的新的列族，然后将数据复制过去，最后再删除旧的列族。
5.2.5 describe查看表结构
功能：查看表结构
使用：
5.2.6 list列举数据库中的所有表
功能：查看数据库中所有的表
使用：
5.2.7 drop删除表
功能：删除指定的表
使用：
5.3 DML命令
5.3.1 put插入数据
功能：插入一条数据到指定的表中。对于同一个rowkey，如果执行两次put，则第二次被认为是更新操作。
使用：put ‘表名’,’列族名1:列名1’,’值’
5.3.2 get获取数据
功能：获取数据
使用：
获取指定rowkey的指定列族指定列的数据
获取指定rowkey的指定列族所有的数据
获取指定rowkey的所有数据
获取指定时间戳的数据
5.3.3 Count计算表的行数
功能：计算表的行数
使用：
5.3.4 put更新数据
详见5.3.1
5.3.5 scan全表扫描数据
功能：扫描全表所有数据
使用：
5.3.6 delete删除数据
功能：删除表中的数据
使用：
删除指定rowkey的指定列族的列名的数据
删除指定rowkey的指定列族的数据
5.3.7 deleteall删除整行数据
功能：删除整行数据
使用：
5.3.8 truncate删除全表数据
功能：删除表中所有的数据。正如你看到的，在HBase的help命令里并没有
使用：
已有 0 人发表留言，猛击->> 这里<<-参与讨论
ITeye推荐
相关 [hbase] 推荐：
Riak对比HBase
- - NoSQLFan文章来自 Riak官方wiki，是一篇Riak与HBase的对比文章. Riak官方的对比通常都做得很中肯，并不刻意偏向自家产品. 对比的Riak版本是1.1.x，HBase是0.94.x. Riak 与 HBase 都是基于 Apache 2.0 licensed 发布. Riak 的实现是基于 Amazon 的 Dynamo 论文，HBase 是基于 Google 的 BigTable.
[转]HBase简介
- - 小鸥的博客 Hbase是一个分布式开源数据库，基于Hadoop分布式文件系统，模仿并提供了基于Google文件系统的Bigtable数据库的所有功能. 其目标是处理非常庞大的表，可以用普通的计算机处理超过10亿行数据，并且有数百万列元素组成的数据表. Hbase可以直接使用本地文件系统或者Hadoop作为数据存储方式，不过为了提高数据可靠性和系统的健壮性，发挥Hbase处理大数据量等功能，需要使用Hadoop作为文件系统.
HBase表设计
- - 互联网 - ITeye博客默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据， 直到这 个region足够大了才进行切分. 一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按 照 region分区情况，在集群内做数据的负载均衡.
HBase Memstore配置
- - 行业应用 - ITeye博客HBase Memstore配置. 本文为翻译，原英文地址：http://blog.sematext.com/2012/07/16/hbase-memstore-what-you-should-know/. 当regionserver（以下简称RS）收到一个写请求，会将这个请求定位到某个特定的region.
hbase原理
- - CSDN博客云计算推荐文章1.hbase利用hdfs作为其文件存储系统，利用mapreduce来处理数据，利用zookeeper作为协调工具. 2.行键（row key），类似于主键，但row key是表自带的. 3.列族（column family） ,列（也称作标签/修饰符）的集合，定义表的时候指定的，列是在插入记录的时候动态增加的.
hbase锁机制
- - 数据库 - ITeye博客博文说明：1、研究版本hbase0.94.12；2、贴出的源代码可能会有删减，只保留关键的代码. hbase的锁是采用jdk的ReentrantReadWriteLock类实现. 一、HRegion有两种锁：lock、updatesLock，这两种锁均是ReentrantReadWriteLock类的实例，基本上所有的region操作均需要获取lock的read共享锁，在获取了lock的read锁后，如果是增加或者删除等影响数据内容的操作则还需要获取updatesLock的read锁.
Hbase入门
- - CSDN博客云计算推荐文章Hbase 全称是Hadoop DataBase ，是一种开源的，可伸缩的，高可靠，高性能，面向列的分布式存储系统. 类似于Google的BigTable，其分布式计算采用MapReduce，通过MapReduce完成大块数据加载和全表扫描操作. 文件存储系统是HDFS，通过Zookeeper来完成状态管理协同服务.
[原]HBase StoreFile Compaction
- - 芒果先生Mango的专栏Store File的合并策略比较复杂，涉及多个参数，合并策略的好坏，直接影响HBase的读写性能. 发现这篇博文:http://blog.csdn.net/azhao_dn/article/details/8867036 对Compaction描述的言简意赅:. hbase为了防止小文件（被刷到磁盘的menstore）过多，以保证保证查询效率，hbase需要在必要的时候将这些小的store file合并成相对较大的store file，这个过程就称之为compaction.
hbase的调优
- - CSDN博客推荐文章1.1 Pre-Creating Regions 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分. 一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡.