hive join 优化 --小表join大表

在小表和大表进行join时，将 小表放在前边，效率会高，hive会将小表进行缓存. 使用mapjoin将小表放入内存，在map端和大表逐一匹配，从而省去reduce. 在0.7版本后，也可以用配置来自动优化. 作者：smile0198 发表于2014-10-25 21:49:25 原文链接. 阅读：62 评论：0 查看评论.

翻译自  https://cwiki.apache.org/confluence/display/Hive/LanguageManual+JoinOptimization#LanguageManualJoinOptimization-AutoConversiontoSMBMapJoin. Join Optimization ----Join 调优.

select a.* from a join b on a.id = b.id select a.* from a join b on (a.id = b.id and a.department = b.department). 在使用join写查询的时候有一个原则：应该将条目少的表或者子查询放在join操作符的左边.

Hive是基于Hadoop平台的，它提供了类似SQL一样的查询语言HQL. 有了Hive，如果使用过SQL语言，并且不理解Hadoop MapReduce运行原理，也就无法通过编程来实现MR，但是你仍然可以很容易地编写出特定查询分析的HQL语句，通过使用类似SQL的语法，将HQL查询语句提交Hive系统执行查询分析，最终Hive会帮你转换成底层Hadoop能够理解的MR Job.

与hbase外部表（wizad_mdm_main）进行join出现问题：. 最后在进行到0.83时，内存溢出失败. 默认情况下，Hive会自动将小表加到DistributeCache中，然后在Map扫描大表的时候，去和DistributeCache中的小表做join，这称为Mapjoin. 这里wizad_mdm_main是基于HBase的外部表，而这张表在HDFS上的源路径为 /hivedata/warehouse/wizad.db/wizad_mdm_main，实际这个目录为空，.

所有值不全为NULL时，加1操作 count(1). 不管有没有值，只要有这条记录，值就加1 count(col) col列里面的值为null，值不会加1，这个列里面的值不为NULL，才加1. sum(可转成数字的值） 返回bigint. avg（可转成数字的值）返回double. distinct不同值个数.

Hive中Join的原理和机制. 笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）. 本文简单介绍一下两种join的原理和机制. 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join,即：在Reduce阶段完成join.

一、     Hive join优化. 也可以显示声明进行map join：特别适用于小表join大表的时候，SELECT /*+ MAPJOIN(b) */ a.key, a.value FROM a join b on a.key = b.key. 2.     注意带表分区的join， 如：.

Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具. 使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，. 所以需要去掉原有关系型数据库下开发的一些固有思维. 1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段.

hive.optimize.cp=true：列裁剪. hive.optimize.prunner：分区裁剪. hive.limit.optimize.enable=true：优化LIMIT n语句. hive.limit.optimize.limit.file=10：最大文件数. 　　1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB).