HBase-Data-Block-Encoding-Types介绍 - AlstonWilliams's Blog

标签: | 发表时间:2020-04-22 16:33 | 作者:
出处:https://alstonwilliams.github.io

本文翻译自 Cloudera HBase官方文档

阅读本文前,请了解一下HFile的格式,对阅读本文会大有裨益.

简单介绍HFile

我们这里简单介绍一下HFile的组成,让读者知道什么是Data Block Encoding.

HFile中,包含了好几个部分,具体的请查看 HFile Format.我们这里只关心HFile里的Data Block.

HFile在存储每一个Row时,不是把这一条Row的全部Family/Column整合成在一起,保存起来的,如下:

          RowKey | Family:Column1 -> value | Family:Column2 -> value

它是把这条Row,根据Column拆分成好几个KeyValue,保存起来的,如下:

          RowKey/Family:Column1 -> value
RowKey/Family:Column2 -> value

我们可以看到,RowKey需要重复保存很多次,而且Family:Column这个往往都是非常相似的,它也需要保存很多次.这对磁盘非常不友好.当Family:Column越多时,就需要占用越多不必要的磁盘空间.

如果仅仅是磁盘空间,也没什么关系,毕竟我们可以通过Snappy/GZ等压缩方式,对HFile进行Compression.而且磁盘又便宜,对吧?

可是,对HBase熟悉的读者,都知道,当读取数据时,是需要先读MemStore,然后再读BlockCache的.那我们的Block越小,能放到BlockCache中的数据就越多,命中率就越高,对Scan就越友好.

Block Encoding就是做这件事情的,它就是通过某种算法,对Data Block中的数据进行压缩,这样Block的Size小了,放到Block Cache中的就多了.

这儿提出两个问题:

  • 压缩以后,占的Disk/Memory是少了,但是解压的时候,需要更多的CPU时间.如何均衡呢?
  • 如果我们的业务,偏重的是随机Get,那放到Block Cache中不一定好吧?不仅放到Block Cache中的Block很容易读不到,对性能并没有什么提升,还会产生额外的开销,比如将其它偏重Scan的业务的Block排挤出Block Cache,导致其它业务变慢.

下面正儿八经地翻译原文.

Data Block Encoding Types

HBase中提供了五种Data Block Encoding Types,具体有:

  • NONE
  • PREFIX
  • DIFF
  • FAST_DIFF
  • PREFIX_TREE

我们一个一个来介绍. NONE这种就不介绍了,这个很容易理解.

PREFIX

一般来说,同一个Block中的Key(KeyValue中的Key,不仅包含RowKey,还包含Family:Column),都很相似.它们往往只是最后的几个字符不同.例如,KeyA是 RowKey:Family:Qualifier0,跟它相邻的下一个KeyB可能是 RowKey:Family:Qualifier1

在PREFIX中,相对于NONE,会额外添加一列,表示当前key(KeyB)和它前一个key(KeyA),相同的前缀的长度(记为PrefixLength).在上面的例子中,如果KeyA是这个Block中的第一个key,那它的PrefixLength就是0.而KeyB的PrefixLength是23.

很明显,如果相邻Key之间,完全没有共同点,那PREFIX显然毫无用处,还增加了额外的开销.

我们有一些Row,当使用NONE这种Block Encoding时,如下图所示:

而如果采用PREFIX这种Block Encoding,那就是这样子了:

DIFF

DIFF是对PREFIX的一种改良.它把key看成很多个部分,对每部分进行压缩,提高效率.它添加了两个新的字段, timestamptype.如果KeyB的ColumnFamily/key length/value length/type和KeyA相同,那么它就会在KeyB中被省略.

另外,timestamp,存储的是相对于前一个Row的偏移量.

默认情况下,DIFF是不启用的.因为它会导致写数据,以及Scan数据更慢.但是,相对于PREFIX/NONE,它会在Block Cache中缓存更多数据.

用DIFF压缩的block如下图所示:

FAST_DIFF

FAST_DIFF跟DIFF非常相似,所不同的是,它额外增加了一个字段,表示RowB是否跟RowA完全一样,如果是的话,那数据就不需要重复保存了.

如果在你的场景下,Key很长,或者有很多Column,那么推荐使用FAST_DIFF.

PREFIX_TREE

PREFIX_TREE是0.96中引入的.它大致跟PREFIX,DIFF,FAST_DIFF相同,但是它可以让随机读操作,比其它的几种更快.当然,代价是,MemStore写入到HFile时,需要进行更加复杂的Encoding操作,所以会更慢(译者疑问:那Decoding的时候也会更慢啊,而且随机读的话,Block很可能不存在于Block Cache中,那开销主要都在Decoding的时候,所以随机读操作不应该是更慢么?).

PREFIX_TREE适合于那种Block Cache命中率非常高的场景(译者注:-.-!).它增加了一个叫做 tree的字段.这个字段会保存指向这一Row中,全部Cell的索引.这对压缩更加友好.

详情请查看 HBASE-4676以及 Trie

译者注:我们的HBase用的就是这种Block Encoding,在实际使用的过程中,发现了一个Bug.我们调了好长时间才搞清楚是PREFIX_TREE的问题.详情请查看 HBase PrefixTree以及64KB的BLOCKSIZE导致Get阻塞的问题这篇文章.

如何选择压缩算法以及Block Encoding Type?

  • 如果Key很长,或者有很多Column,那么推荐使用FAST_DIFF
  • 如果数据是冷数据,不经常被访问,那么使用GZIP压缩格式.因为虽然它比Snappy/LZO需要占用更多而CPU,但是它的压缩比率更高,更节省磁盘.
  • 如果是热点数据,那么使用Snappy/LZO压缩格式.它们相比GZIP,占用的CPU更少.
  • 在大多数情况下,Snappy/LZO的选择都更好.
  • Snappy比LZO更好.

推荐文章

这里推荐两篇关于不同Block Encoding Type以及压缩算法对磁盘以及性能有什么影响的文章.


相关 [hbase data block] 推荐:

HBase-Data-Block-Encoding-Types介绍 - AlstonWilliams's Blog

- -
Cloudera HBase官方文档. 阅读本文前,请了解一下HFile的格式,对阅读本文会大有裨益.. 我们这里简单介绍一下HFile的组成,让读者知道什么是Data Block Encoding.. HFile中,包含了好几个部分,具体的请查看. HFile Format.我们这里只关心HFile里的Data Block..

详解inline-block

- - Web前端 - ITeye博客
转自:http://ued.taobao.com/blog/2012/08/inline-block/. 曾几何时,display:inline-block 已经深入「大街小巷」,随处可见 「display:inline-block; *display:inline; *zoom:1; 」这样的代码.

display属性的block,inline和inline-block

- - CSDN博客推荐文章
  none  此元素不会被显示. block 此元素将显示为块级元素,此元素前后会带有换行符. 此元素会被显示为内联元素,元素前后没有换行符. inline-block 行内块元素. (CSS2.1 新增的值) . 在css中,inline-block:将对象呈递为内联对象,但是对象的内容作为块对象呈递.

白话Block Formatting Context

- MArCoRQ - UED TEAM,用户体验设计,web前端开发
一,啥是Block Formatting Context. 当涉及到可视化布局的时候,Block Formatting Context提供了一个环境,HTML元素在这个环境中按照一定规则进行布局. 一个环境中的元素不会影响到其它环境中的布局. 为了让我们有个感性的认识,举个不太合适的例子. 你可以把一个页面想象成大的集装箱,这个集装箱里装的货物就是HTML元素.

短文: Block Chain 与 Paxos

- comain - fcicq's blog-beta
作为 P2P 系统, Bitcoin 的一致性实现方法是值得专门写出来的.. 下面一一列举 Paxos 的专有名词, 并指出 Bitcoin 中的对应方法/实现.. –最长链中所有的 Block 均为决议. (但链末尾并不稳定, 所以最近 120 个 Block 里产生的钱不能花.. 经历 120 block 之后, block 是彻底不可逆转的, 严格意义上最近 120 block 不能算通过的决议).

Loading Data into Hive - Pentaho Big Data - Pentaho Wiki

- -
Using the external option, you could define a Hive table that simply uses the HDFS directory that contains the parsed file. For this how-to, we chose not to use the external option so that you can see the ease with which files can be added to non-external Hive tables..

Big Data技术综述

- Ben - 《程序员》杂志官网
Big Data是近来的一个技术热点,但从名字就能判断它并不是什么新词. 历史上,数据库、数据仓库、数据集市等信息管理领域的技术,很大程度上也是为了解决大规模数据的问题. 被誉为数据仓库之父的Bill Inmon早在20世纪90年代就经常将Big Data挂在嘴边了. 然而,Big Data作为一个专有名词成为热点,主要应归功于近年来互联网、云计算、移动和物联网的迅猛发展.

是否该用 Core Data?

- kezhuw - jjgod / blog
Core Data 是 Cocoa 里面一套非常受欢迎的框架,从 Mac OS X 10.4 提供以来,在 10.5 中引入了完善的 schema 迁移机制,再到 iPhone OS 3.0 时被引入 Cocoa Touch,这套完善的框架都被认为是管理大量结构化数据所首选的 Cocoa 框架,尤其是因为使用 Core Data 能大大减少需要手工编写的代码量,就使它更受开发者欢迎了.

Spring Data JPA 简单介绍

- tangfl - BlogJava-首页技术区
考虑到公司应用中数据库访问的多样性和复杂性,目前正在开发UDSL(统一数据访问层),开发到一半的时候,偶遇SpringData工程. 于是就花了点时间了解SpringData,可能UDSL II期会基于SpringData做扩展. 介绍:针对关系型数据库,KV数据库,Document数据库,Graph数据库,Map-Reduce等一些主流数据库,采用统一技术进行访问,并且尽可能简化访问手段.

SpringSource发布Spring Data Redis 1.0.0

- - InfoQ cn
近日, SpringSource 发布了用于将Redis轻松集成到Java应用中的开源 库的首个稳定版. Redis是个由VMWare/SpringSource资助的键值存储,为一些高性能网站如GitHub与StackOverflow等所用. Redis是新近涌现的NoSQL数据存储之一,它关注于简单性与性能(整个数据集放在内存中).