hbase原理

标签： hbase 原理 | 发表时间：2014-11-30 07:29 | 作者：u010414066
出处：http://blog.csdn.net

1.hbase利用hdfs作为其文件存储系统，利用mapreduce来处理数据，利用zookeeper作为协调工具

2.行键（row key），类似于主键，但row key是表自带的

3.列族（column family） ,列（也称作标签/修饰符）的集合，定义表的时候指定的，列是在插入记录的时候动态增加的

hbase表中的数据，每个列族单独一个文件

4.timestamp 是列的一个属性，行和列确定的元素，含有多个数据，每个数据含有时间戳

5.存储的数据都是字节数组型的，

6.数据是按照row key的asc码值进行物理存储，不同于，mysql按照插入的顺序物理存储


物理

1.habase表中的记录，是按照row key拆分成一个个的region

许多region存放在各个region server中，实现并行查询

2.region大小的设置：在源代码中hbase-default.xml，修改hbase.hregion.max.filesize，默认10G


体系结构

1.hbase是主从式结构，HMaster / HRegionServer,允许有多个hmaster存在，但同一时间只有一个hmaster在运作，其他都是备胎

2.启动了HMaster之后，通过zookeeper的master election机制保证总有一个master运行

3.hmaster的作用：为region server 分配region; 负责region server的负载均衡 ；发现失效的region server并重新分配其上的region

4.hRegionServer的作用：维护region,处理这些region的请求； 切分在运行中变得过大的region


其他：

通过row key的开始和结束就可以确定一个region(数据是按照row key 的吗码值大小存的)

..META.表：记录了表的region信息

-ROOT-表：记录了-ROOT-表的region信息

-ROOT-只有一个region


作者：u010414066 发表于2014-11-29 23:29:15 原文链接
阅读：38 评论：0 查看评论

相关 [hbase 原理] 推荐：

hbase原理

- - CSDN博客云计算推荐文章
1.hbase利用hdfs作为其文件存储系统，利用mapreduce来处理数据，利用zookeeper作为协调工具. 2.行键（row key），类似于主键，但row key是表自带的. 3.列族（column family） ,列（也称作标签/修饰符）的集合，定义表的时候指定的，列是在插入记录的时候动态增加的.

HBase 原理、设计与优化实践

- - leejun_2005的个人页面
HBase —— Hadoop Database的简称，Google BigTable的另一种开源实现方式，从问世之初，就为了解决用大量廉价的机器高速存取海量数据、实现数据分布式存储提供可靠的方案. 从功能上来讲，HBase不折不扣是一个数据库，与我们熟悉的Oracle、MySQL、MSSQL等一样，对外提供数据的存储和读取服务.

HBase 核心原理与应用场景

- -
HBase是大数据NoSQL领域里非常重要的分布式KV数据库，是一个高可靠、高性能、高伸缩的分布式存储系统，目前国内知名公司都有在大规模使用，社区也非常活跃. 本文就是学习HBase的敲门砖，主要从以下几个方面解读HBase. HBase是Google的BigTable的开源实现，底层存储引擎是基于LSM-Tree数据结构设计的.

[Binospace] 深入分析HBase-Phoenix执行机制与原理

- - SQL - 编程语言 - ITeye博客
针对HBase上SQL解决方案，目前社区内比较热门的有Cloudera的Impala，Horntworks的Drill，以及Hive. 根据与HBase的操作方式，可以分为三种：. 以MapReduce为核心，单个任务使用hbase-client原始接口访问；. 以Google Dremel为核心，单个任务使用hbase-client原始接口访问；.

理解Hadoop-Hbase原理与应用小结

- - 数据库 - ITeye博客
首先Hbase中的一个“元素”是由行键、列族名、限定符、时间戳唯一标识的并且行键作为数据行在表里的唯一标识，我们只有通过行键来访问列族别无他法. 修改数据：我们先找到要修改的行键把新的数据记录追加到对应的列族中并打上一个新时间戳代表最新版本. 删除数据：插入带有删除标记的行进入，相当于把整个行键所在的行删了.

你想要的 HBase 原理都在这了

- -
前面的文章里，介绍过 HBase 的入门操作知识，但对于正考虑将 HBase 用于生产系统的项目来说还是远远不够. 一般在对 HBase 做选型之前，还需要学习一些它的架构原理、弹性扩展及可靠性方面的知识. 本文来自笔者此前对 HBase 做的学习概括，可方便于对 HBase 的技术全景进行快速的掌握.

如何正确管理HBase的连接，从原理到实战 - 阿丸 - 博客园

- -
本文将介绍HBase的客户端连接实现，并说明如何正确管理HBase的连接. 最近在搭建一个HBase的可视化管理平台，搭建完成后发现不管什么查询都很慢，甚至于使用api去listTable都要好几秒. 经过一番排查发现，是每次请求的时候，都去临时创建了一个connection，而创建connection非常耗时导致整体的rt上升.

hbase介绍

- AreYouOK? - 淘宝数据平台与产品部官方博客 tbdata.org
hbase是bigtable的开源山寨版本. 是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统. 它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作). 主要用来存储非结构化和半结构化的松散数据.

Riak对比HBase

- - NoSQLFan
文章来自 Riak官方wiki，是一篇Riak与HBase的对比文章. Riak官方的对比通常都做得很中肯，并不刻意偏向自家产品. 对比的Riak版本是1.1.x，HBase是0.94.x. Riak 与 HBase 都是基于 Apache 2.0 licensed 发布. Riak 的实现是基于 Amazon 的 Dynamo 论文，HBase 是基于 Google 的 BigTable.

[转]HBase简介

- - 小鸥的博客
   Hbase是一个分布式开源数据库，基于Hadoop分布式文件系统，模仿并提供了基于Google文件系统的Bigtable数据库的所有功能. 其目标是处理非常庞大的表，可以用普通的计算机处理超过10亿行数据，并且有数百万列元素组成的数据表. Hbase可以直接使用本地文件系统或者Hadoop作为数据存储方式，不过为了提高数据可靠性和系统的健壮性，发挥Hbase处理大数据量等功能，需要使用Hadoop作为文件系统.