hive部署手册

标签： hive | 发表时间：2012-04-26 14:10 | 作者：ggjucheng
出处：http://www.cnblogs.com/

安装环境:

机器 只需要安装一台机器
操作系统:Ubuntu 11.04 64操作系统
hadoop:版本是1.0.2,安装在/usr/local/hadoop
sun jdk:版本是1.6.0_31 64bit,安装在/usr/local/jdk
hive:版本是0.8.1,安装在/usr/local/hive

安装步骤:

1.下载

下载hive:http://labs.mop.com/apache-mirror/hive/hive-0.8.1/hive-0.8.1.tar.gz


2.安装

(1)上传hive安装包到机器上,使用root用户登陆: 

 tar -xvf hive-0.8.1.tar.gz

(2)将解压的hive分别移动并改名为/usr/local/hive 

rm -rf /usr/local/hive
mv hive-0.8.1  /usr/local/hive

3.配置hive

(1)修改/usr/local/hive/bin/hive-config.sh

在文件末尾加入

export JAVA_HOME=/usr/local/jdk  
export HIVE_HOME=/usr/local/hive  
export HADOOP_HOME=/usr/local/hadoop

(2) 根据hive-default.xml复制hive-site.xml 

cp /usr/local/hive/conf/hive-default.xml /usr/local/hive/conf/hive-site.xml

(3)配置hive-site.xml,主要配置项如下:
hive.metastore.warehouse.dir：（HDFS上的）数据目录
hive.exec.scratchdir：（HDFS上的）临时文件目录
hive.metastore.warehouse.dir默认值是/user/hive/warehouse
hive.exec.scratchdir默认值是/tmp/hive-${user.name}
以上是默认值，暂时不改。
(4)改变 /usr/local/hive的目录所有者为hadoop 

chown -R hadoop:hadoop /usr/local/hive

(5)配置hive的log4j:
cp /usr/loca/hive/conf/hive-log4j.properties.template /usr/loca/hive/conf/hive-log4j.properties
修改/usr/loca/hive/conf/hive-log4j.properties将org.apache.hadoop.metrics.jvm.EventCounter改为org.apache.hadoop.log.metrics.EventCounter
(6)启动hive

使用hadoop用户登陆,执行/usr/local/hive/bin/hive
(7)测试hive

hive> create TABLE pokes( id INT, name string);  
hive> SHOW TABLES; 
hive> select * from pokes; 
hive> drop table pokes;

4.优化hive

默认meta数据库为derby ，为了避免使用默认的Derby数据库（有并发访问和性能的问题），通常还需要配置元数据库为MySQL

修改配置文件conf/hive-site.xml 

<property>
  <name>hive.metastore.local</name>
  <value>false</value>
  <description>controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://mysql_server_host:3306/hivedb?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=latin1</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>mysql_username</value>
  <description>username to use against metastore database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>mysql_password</value>
  <description>password to use against metastore database</description>
</property>

<property>
  <name>hive.stats.dbconnectionstring</name>
  <value>jdbc:mysql://mysql_server_host:3306/hive_stats?useUnicode=true&characterEncoding=latin1&user=mysql_username&password=mysql_password&createDatabaseIfNotExist=true</value>
  <description>The default connection string for the database that stores temporary hive statistics.</description>
</property>

<property>
  <name>hive.stats.dbconnectionstring</name>
  <value>jdbc:mysql://mysql_server_host:3306/hive_stats?useUnicode=true&characterEncoding=utf8&user=mysql_username&password=mysql_password&createDatabaseIfNotExist=true</value>
  <description>The default connection string for the database that stores temporary hive statistics.</description>
</property>

<property>
  <name>hive.stats.dbclass</name>
  <value>jdbc:mysql</value>
  <description>The default database that stores temporary hive statistics.</description>
</property>

<property>
  <name>hive.stats.jdbcdriver</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>The JDBC driver for the database that stores temporary hive statistics.</description>
</property>

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://127.0.0.1:9083</value>
</property>

添加metastore启动脚本bin/hive-metastore.sh

#!/bin/sh
nohup ./hive --service metastore >> metastore.log 2>&1 &
echo $! > hive-metastore.pid

添加hive server启动脚本bin/hive-server.sh

nohup ./hive --service hiveserver >> hiveserver.log 2>&1 &
echo $! > hive-server.pid

启动metastore和hive server

./hive-metastore.sh
./hive-server.sh

使用客户端连接和测试

参考之前的hive测试步骤一一执行。

如果出现
FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while auto-creating/validating the datastore for classes. The errors are printed in the log, and are attached to this exception.
NestedThrowables:
com.mysql.jdbc.exceptions.MySQLSyntaxErrorException: Specified key was too long; max key length is 1000 bytes
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

或者是
FAILED: Error in metadata: MetaException(message:Got exception: org.apache.thrift.transport.TTransportException null)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

以上错误，主要是在select操作、drop操作时，就会出错。

这样的错误，可以修改hivedb数据库编码:

mysql> alter database hivedb character set latin1;

然后重启hive metastore和hive server就可以了

mysql数据库的编码目前最好设置为latin1,否则使用hive会出现莫名其妙的问题

本文链接

相关 [hive] 推荐：

hive调优

- - 互联网 - ITeye博客
一、    控制hive任务中的map数: . 1.    通常情况下，作业会通过input的目录产生一个或者多个map任务. 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；.

hive 优化 tips

- - CSDN博客推荐文章
一、     Hive join优化. 也可以显示声明进行map join：特别适用于小表join大表的时候，SELECT /*+ MAPJOIN(b) */ a.key, a.value FROM a join b on a.key = b.key. 2.     注意带表分区的join， 如：.

Hive中的join

- - CSDN博客云计算推荐文章
select a.* from a join b on a.id = b.id select a.* from a join b on (a.id = b.id and a.department = b.department). 在使用join写查询的时候有一个原则：应该将条目少的表或者子查询放在join操作符的左边.

hive优化（2）

- - 开源软件 - ITeye博客
Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具. 使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，. 所以需要去掉原有关系型数据库下开发的一些固有思维. 1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段.

hive优化

- - 开源软件 - ITeye博客
hive.optimize.cp=true：列裁剪. hive.optimize.prunner：分区裁剪. hive.limit.optimize.enable=true：优化LIMIT n语句. hive.limit.optimize.limit.file=10：最大文件数. 　　1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB).

Hive优化

- - 互联网 - ITeye博客
     使用Hive有一段时间了，目前发现需要进行优化的较多出现在出现join、distinct的情况下，而且一般都是reduce过程较慢.      Reduce过程比较慢的现象又可以分为两类：. 情形一：map已经达到100%,而reduce阶段一直是99%,属于数据倾斜. 情形二：使用了count(distinct)或者group by的操作，现象是reduce有进度但是进度缓慢，31%-32%-34%...一个附带的提示是使用reduce个数很可能是1.

hive bucket 桶

- - CSDN博客推荐文章
对于每一个表（table）或者分区，Hive可以进一步组织成桶. Hive也是针对某一列进行桶的组织. Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中. 采用桶能够带来一些好处，比如JOIN操作. 对于JOIN操作两个表有一个相同的列，如果对这两个表都进行了桶操作. 那么将保存相同列值的桶进行JOIN操作就可以，可以大大较少JOIN的数据量.

hive mapjoin使用

- - 淘剑笑的博客
今天遇到一个hive的问题，如下hive sql：. 该语句中B表有30亿行记录，A表只有100行记录，而且B表中数据倾斜特别严重，有一个key上有15亿行记录，在运行过程中特别的慢，而且在reduece的过程中遇有内存不够而报错. 为了解决用户的这个问题，考虑使用mapjoin,mapjoin的原理：.

hive优化

- - 互联网 - ITeye博客
1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段. 2：尽量原子化操作，尽量避免一个SQL包含复杂逻辑. 可以使用中间表来完成复杂的逻辑. 3：单个SQL所起的JOB个数尽量控制在5个以下. 4：慎重使用mapjoin,一般行数小于2000行，大小小于1M(扩容后可以适当放大)的表才能使用,小表要注意放在join的左边（目前TCL里面很多都小表放在join的右边）.

Java HIVE 使用Jdbc连接Hive

- - CSDN博客云计算推荐文章
1，使用Jdbc方式链接hive,首先需要启动hive的Thrift Server，否则会导致错误. hive --service hiveserver   是两”-“，. ----通过Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");加载hive驱动.