hive 0.10 0.11新增特性综述

标签： hive 综述 | 发表时间：2013-09-16 22:02 | 作者：lalaguozhe
出处：http://blog.csdn.net

我们的hive版本升迁经历了0.7.1 -> 0.8.1 -> 0.9.0，并且线上shark所依赖的hive版本也停留在0.9.0上，在这些版本上有我们自己的bug fix patch和feature enhancement。但是Hive的版本升级很快，新版本中修复了大量bug，新增了很多功能，非常令人兴奋，其中包括对未来hadoop升级为YARN的支持。所以我们准备将hive版本升级为0.11(最近看到mailist上0.12版本也快呼之欲出了，但是保险起见，还是先升级为0.11),  另外shark的github上也已经拉出了hive 0.11分支来支持新版本。


因为是从0.9一下跳过0.10跨越到0.11，所以调研和测试会cover掉hive 0.10和0.11

从hive的release note上，0.10新加的feature和bug fix如下：
1. 支持Cube, Grouping and Rollup语法，可以进行多级group by
https://cwiki.apache.org/confluence/display/Hive/Enhanced+Aggregation,+Cube,+Grouping+and+Rollup


2. 对于简单的不需要聚合的类似SELECT <col> from <table> LIMIT 20语句，不需要起MapReduce job，直接通过Fetch task获取数据
https://issues.apache.org/jira/browse/HIVE-887


3. 新增"Explain dependency"语法，以json格式输出执行语句会读取的input table和input partition信息，这样debug语句会读取那些表就很方便了
https://issues.apache.org/jira/browse/HIVE-3610

hive (default)> explain dependency select count(1) from abc;
OK
Explain
{"input_partitions":[],"input_tables":[{"tablename":"default@abc","tabletype":"MANAGED_TABLE"}]}
Time taken: 0.095 seconds, Fetched: 1 row(s)

4. 新增"show create table"语法，这样能知道是如何创建表的。之前我们很暴力，直接读取metastore dababase信息来重建表结构信息，如果一旦metastore schema升级，就很容易出问题，这次hive应该是通过metastore client api实现了这个功能，非常靠谱。

https://issues.apache.org/jira/browse/HIVE-967


5. HWI用bootstrap前端框架重写了一边，这个对我们帮助不大，因为我们已经有Hive web了


6. Hadoop 2 - YARN的兼容性支持


7. List Bucketing Table，优化处理有数据倾斜的表
https://cwiki.apache.org/confluence/display/Hive/ListBucketing


8. Union优化，如果Union语句的parent是mapreduce job，那么它会先将结果写入临时文件中，Union再读取这些临时文件写入最终目录，上层语句再读取最终目录，这样导致结果文件读了两遍。优化策略就是结果数据直接往最终目录上写
https://cwiki.apache.org/confluence/display/Hive/Union+Optimization


9. skew join 优化
https://cwiki.apache.org/confluence/display/Hive/Skewed+Join+Optimization


10. metastore支持在server side做authorization验证
https://issues.apache.org/jira/browse/HIVE-3705


11. metastore thrift reconnect支持，当metastore client链接一台metastore thrift server抛出异常，如果用户在conf之指定了多个metastore uris，hive会重新对另外一个建立链接，这个对用户端是透明的
https://issues.apache.org/jira/browse/HIVE-3400

12. 记录column统计信息, analyze语句会统计hive table partitions column信息到metastore里面（比如记录long类型column的low value, high value, num nulls, numDVs），同时提供了metastore api接口来访问这些信息，目前的hive优化策略都是基于rule-based的，而有了这些统计信息有助于未来建立cost-based 执行计划策略
语法如下：
analyze table t [partition p] compute statistics for [columns c,...];
https://cwiki.apache.org/confluence/display/Hive/Column+Statistics+in+Hive

13. 支持cross join语法
https://issues.apache.org/jira/browse/HIVE-2549

14. 支持SHOW TBLPROPERTIES语法
https://issues.apache.org/jira/browse/HIVE-2530


----------------------------------------------------不是那么华丽的分割线--------------------------------------------------


Hortonworks发布了一个叫stinger的项目计划，分阶段逐步改善Hive的性能，包括优化器的改进，ORCFile支持，基于DAG的Tez，向量执行引擎，0.11其实就是stinger phase one的产物

0.11 新增的Feature:
1. 把Hcatalog整合到hive里面了，而不是独立的项目

2. 支持ORCFile文件格式，基于列存储，文件内置有inline index，可以基于文件做predicate pushdown，根据stripe的元数据来选择是否跳过stripe，大大降低input size
https://cwiki.apache.org/Hive/languagemanual-orc.html

3. 支持windowing和analytics方法，比如lead/lag, row_number, rank, first, last函数
https://cwiki.apache.org/Hive/languagemanual-windowingandanalytics.html

4. Join优化，包括broadcast join和SMB join，对于在多个相同列上做join的表(star join)已经不依赖于用户指定的hint token了，可以自动转化多个MapReduce job为一个MapReduce job
https://issues.apache.org/jira/browse/HIVE-3403


5. unset TBLPROPERTY
ALTER TABLE tableName UNSET TBLPROPERTIES IF EXISTS (key1, key2, ...)

6. group by 语法增强，group by除了可以跟column alias，也可以跟column position
比如：select f1(col1), f2(col2), f3(col3), count(1) group by f1(col1), f2(col2), f3(col3);可以写成select f1(col1), f2(col2), f3(col3), count(1) group by 1, 2, 3;
https://issues.apache.org/jira/browse/HIVE-581

7. 增加decimal data格式
https://issues.apache.org/jira/browse/HIVE-2693

8. 支持truncate语法，truncate会删除表和分区下的所有数据，但是metadata信息会保留

9. 新增Hive Server 2，解决之前存在的security和concurrency问题。同时新增加了Beeline CLI（基于SQLLine），可以在command-line中以交互式的访问Hive Server 2
https://issues.apache.org/jira/browse/HIVE-2935

10. 增强Query Plan优化策略，会删除冗余的operator
https://issues.apache.org/jira/browse/HIVE-948


接下来会重点对几个新增特性，比如Hive Server 2, ORCFile, SMB join等做更深入的调研和测试


本文链接 http://blog.csdn.net/lalaguozhe/article/details/11730817，转载请注明

作者：lalaguozhe 发表于2013-9-16 14:02:13 原文链接
阅读：126 评论：2 查看评论

相关 [hive 综述] 推荐：

hive 0.10 0.11新增特性综述

- - CSDN博客云计算推荐文章
我们的hive版本升迁经历了0.7.1 -> 0.8.1 -> 0.9.0，并且线上shark所依赖的hive版本也停留在0.9.0上，在这些版本上有我们自己的bug fix patch和feature enhancement. 但是Hive的版本升级很快，新版本中修复了大量bug，新增了很多功能，非常令人兴奋，其中包括对未来hadoop升级为YARN的支持.

hive调优

- - 互联网 - ITeye博客
一、    控制hive任务中的map数: . 1.    通常情况下，作业会通过input的目录产生一个或者多个map任务. 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；.

hive 优化 tips

- - CSDN博客推荐文章
一、     Hive join优化. 也可以显示声明进行map join：特别适用于小表join大表的时候，SELECT /*+ MAPJOIN(b) */ a.key, a.value FROM a join b on a.key = b.key. 2.     注意带表分区的join， 如：.

Hive中的join

- - CSDN博客云计算推荐文章
select a.* from a join b on a.id = b.id select a.* from a join b on (a.id = b.id and a.department = b.department). 在使用join写查询的时候有一个原则：应该将条目少的表或者子查询放在join操作符的左边.

hive优化（2）

- - 开源软件 - ITeye博客
Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具. 使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，. 所以需要去掉原有关系型数据库下开发的一些固有思维. 1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段.

hive优化

- - 开源软件 - ITeye博客
hive.optimize.cp=true：列裁剪. hive.optimize.prunner：分区裁剪. hive.limit.optimize.enable=true：优化LIMIT n语句. hive.limit.optimize.limit.file=10：最大文件数. 　　1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB).

Hive优化

- - 互联网 - ITeye博客
     使用Hive有一段时间了，目前发现需要进行优化的较多出现在出现join、distinct的情况下，而且一般都是reduce过程较慢.      Reduce过程比较慢的现象又可以分为两类：. 情形一：map已经达到100%,而reduce阶段一直是99%,属于数据倾斜. 情形二：使用了count(distinct)或者group by的操作，现象是reduce有进度但是进度缓慢，31%-32%-34%...一个附带的提示是使用reduce个数很可能是1.

hive bucket 桶

- - CSDN博客推荐文章
对于每一个表（table）或者分区，Hive可以进一步组织成桶. Hive也是针对某一列进行桶的组织. Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中. 采用桶能够带来一些好处，比如JOIN操作. 对于JOIN操作两个表有一个相同的列，如果对这两个表都进行了桶操作. 那么将保存相同列值的桶进行JOIN操作就可以，可以大大较少JOIN的数据量.

hive mapjoin使用

- - 淘剑笑的博客
今天遇到一个hive的问题，如下hive sql：. 该语句中B表有30亿行记录，A表只有100行记录，而且B表中数据倾斜特别严重，有一个key上有15亿行记录，在运行过程中特别的慢，而且在reduece的过程中遇有内存不够而报错. 为了解决用户的这个问题，考虑使用mapjoin,mapjoin的原理：.

hive优化

- - 互联网 - ITeye博客
1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段. 2：尽量原子化操作，尽量避免一个SQL包含复杂逻辑. 可以使用中间表来完成复杂的逻辑. 3：单个SQL所起的JOB个数尽量控制在5个以下. 4：慎重使用mapjoin,一般行数小于2000行，大小小于1M(扩容后可以适当放大)的表才能使用,小表要注意放在join的左边（目前TCL里面很多都小表放在join的右边）.