Hive运行架构及配置部署

Hive 运行架构

由Facebook开源，最初用于解决海量结构化的日志数据统计问题：ETL工具；

   构建于Hadoop的HDFS和MapReduce智商，用于管理和查询结构化/非结构化数据的数据仓库；

   设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据：

           使用HQL作为查询接口；

           使用HDFS作为存储底层；

           使用MapReduce作为执行层；

   2008年facebook把Hive项目贡献给Apache；

1、Hive的缺点

       Hive的HQL表达能力有限：有些复杂运算用HQL不易表达；

       Hive效率低：Hive自动生成MR作业，通常不够智能；HQL调优困难，粒度较粗；可控性差；

2、Hive系统架构

      1） 元数据存储（Metastore）：Hive的数据由两部分组成：数据文件和元数据；

               元数据存储，Derby只能用于一个Hive连接，一般存储在MySQL。

       2）驱动（Driver）：编译器、优化器、执行器；

               用户通过下面的接口提交Hive给Driver，由Driver进行HQL语句解析，此时从Metastore中获取表的信息，先生成逻辑计划，再生成物理计划，再由Executor生成Job交给Hadoop运行，然后由Driver将结果返回给用户。

               编译器（Hive的核心）：1，语义解析器（ParseDriver），将查询字符串转换成解析树表达式；2，语法解析器（SemanticAnalyzer），将解析树转换成基于语句块的内部查询表达式；3，逻辑计划生成器（Logical Plan Generator），将内部查询表达式转换为逻辑计划，这些计划由逻辑操作树组成，操作符是Hive的最小处理单元，每个操作符处理代表一道HDFS操作或者是MR作业；4，查询计划生成器（QueryPlan Generator），将逻辑计划转化成物理计划（MR Job）。

               优化器：优化器是一个演化组件，当前它的规则是：列修剪，谓词下压。

               执行器：编译器将操作树切分成一个Job链（DAG），执行器会顺序执行其中所有的Job；如果Task链不存在依赖关系，可以采用并发执行的方式进行Job的执行。

       3）接口：CLI（Common LineInterface）、HWI（Hive WebInterface）、ThriftServer；

               CLI：为命令行工具，默认服务。bin/hive或bin/hive--service cli；

               HWI：为Web接口，可以用过浏览器访问Hive，默认端口9999，启动方式为bin/hive --service hwi;

               ThriftServer：通过Thrift对外提供服务，默认端口是10000，启动方式为bin/hive --service hiveserver;

       4）其他服务（bin/hive --service -help）：metastore(bin/hive --service metastore)、hiveserver2（bin/hive --service hiveserver2），HiveServer2是HieServer改进版本，它提供给新的ThriftAPI来处理JDBC或者ODBC客户端，进行Kerberos身份验证，多个客户端并发，HS2还提供了新的CLI：BeeLine，是Hive 0.11引入的新的交互式CLI，基于SQLLine，可以作为Hive JDBC Client 端访问HievServer2，启动一个beeline就是维护了一个session.

       5）Hadoop：用HDFS进行存储，用MapReduce进行计算；

               表中的一个Partition对应表下的一个子目录，每一个Bucket对应一个文件；Hive的默认数据仓库目录是/user/hive/warehouse，在hive-site.xml中由hive.metastore.warehouse.dir项定义；

3、Hive的运行过程

       由客户端提供查询语句，提交给Hive，Hive再交给Driver处理（1，Compiler先编译，编译时要从Metastore中获取元数据信息，生成逻辑计划；2，生成物理计划；3，由Driver进行优化；4，Executor执行时对物理计划再进行分解成Job，并将这些Job提交给MR的JobTracker运行，提交Job的同时，还需要提取元数据信息关联具体的数据，这些元数据信息送到NN），JT拆分成各个Task进行计算，并将结果返回或写入HDFS。

4、Hive的数据模型

       Database

       Table

       Partition

       Bucket

       File（文件格式：TextFile，RCFile，），

       数据类型，Numeric（Tinyint，Smallint，Bigint，Float，Double，Decimal（Hive 0.13.0可以自定义精度进行扩展）），Date/Time（TIMESTAMP，DATE（0.12.0支持）），String（STRING，VARCHAR（0.12），CHAR（0.13）），Misc（BOLLEAN，BINARY），Complex（ARRAY、MAP、STRUCT、UNIONTYPE）

 Hive 0.13的配置与部署

使用版本：Hive 0.13.1

1、Metastore（MySQL作为元数据存储，安装于Master1节点，前提是MySQL的访问权限需要设置好。）

1）解压

       tar zxf apache-hive-0.13.1-bin.tar.gz

       mv apache-hive-0.13.1-bin /usr/hive013

       vim /etc/profile加入

         export HIVE_HOME=/usr/hive013

         PATH=$HIVE_HOME/bin:$PATH

         source /etc/profile

2）配置hive-env.sh文件（启动时用到的环境文件）

       HADOOP_HOME=/usr/hadoop-2.2.0   

3）复制hive-default.xml -> hive-site.xml文件（配置文件）

<property>

  <name>javax.jdo.option.ConnectionURL</name>

 <!--<value>jdbc:derby:;databaseName=metastore_db;create=true</value>-->

 <value>jdbc:mysql://master1:3306/metastore?=createDatabaseIfNotExist=true</value>

  <description>JDBC connect string for a JDBCmetastore</description>

</property> 

<property>

  <name>javax.jdo.option.ConnectionDriverName</name>

 <!--<value>org.apache.derby.jdbc.EmbeddedDriver</value>-->

  <value>com.mysql.jdbc.Driver</value>

  <description>Driver class name for a JDBCmetastore</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionUserName</name>

  <value>hive</value>

  <description>username to use against metastoredatabase</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionPassword</name>

  <value>hive</value>

  <description>password to use against metastoredatabase</description>

</property>

4）拷贝jdbc文件到hive的lib中

     下载jdbc的jar文件http://pan.baidu.com/s/1zYi5o

      cp mysql-connector-java-5.1.26-bin.jar$HIVE_HOME/lib/

2、HiveClient，在Slave1上安装Hive客户端，同样设置好HIVE_HOME的环境变量

1）将Hive013从Master1拷贝到Slave1

     scp -r /usr/hive013  root@slave1:/usr/

2）配置Metastore的连接信息

 <property>

  <name>hive.metastore.uris</name>

  <value>thrift://master1:9083</value>

  <description>Thrift URI for the remote metastore.Used by metastore client to connect to remote metastore.</description>

</property>

3）启动metastore服务

     前台服务：hive--service metastore  CTRL+C关闭

     后台服务：nohup hive--service metastore > metastore.log 2>&1 &    jobs查看后台任务    kill %id关闭后台任务

4）测试链接Metastore

      由于设置好HIVE_HOME环境变量，直接在Shell中输入hive即可打开HiveCLI

5）拷贝至OPC节点，可以达到多个客户端访问metastore