Hive 元数据表结构详解_豪猪的博客-CSDN博客_hive元数据表结构
- -元数据是基础，这篇文章值得一读. 本文介绍Hive元数据库中一些重要的表结构及用途，方便Impala、SparkSQL、Hive等组件访问元数据库的理解. 1、存储Hive版本的元数据表(VERSION). 如果该表出现问题，根本进入不了Hive-Cli. 比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”.
Hive 元数据表结构详解_豪猪的博客-CSDN博客_hive元数据表结构
标签：
| 发表时间：2021-06-01 17:14 | 作者：
出处：https://blog.csdn.net
元数据是基础，这篇文章值得一读。
本文介绍Hive元数据库中一些重要的表结构及用途，方便Impala、SparkSQL、Hive等组件访问元数据库的理解。
1、存储Hive版本的元数据表(VERSION)
该表比较简单，但很重要。
| VER_ID | SCHEMA_VERSION | VERSION_COMMENT |
| ID主键 | Hive版本 | 版本说明 |
| 1 | 1.1.0 | Set by MetaStore |
如果该表出现问题，根本进入不了Hive-Cli。比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”。
2、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS)
DBS：该表存储Hive中所有数据库的基本信息，字段如下:
| 表字段 | 说明 | 示例数据 |
| DB_ID | 数据库ID | 1 |
| DESC | 数据库描述 | Default Hive database |
| DB_LOCATION_URI | 数据HDFS路径 | hdfs://193.168.1.75:9000/test-warehouse |
| NAME | 数据库名 | default |
| OWNER_NAME | 数据库所有者用户名 | public |
| OWNER_TYPE | 所有者角色 | ROLE |
DATABASE_PARAMS：该表存储数据库的相关参数，在CREATE DATABASE时候用WITH DBPROPERTIES(property_name=property_value, …)指定的参数。
| 表字段 | 说明 | 示例数据 |
| DB_ID | 数据库ID | 1 |
| PARAM_KEY | 参数名 | createdby |
| PARAM_VALUE | 参数值 | root |
DBS和DATABASE_PARAMS这两张表通过DB_ID字段关联。
3、Hive表和视图相关的元数据表
主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。
TBLS:该表中存储Hive表，视图，索引表的基本信息
| 表字段 | 说明 | 示例数据 |
| TBL_ID | 表ID | 21 |
| CREATE_TIME | 创建时间 | 1447675704 |
| DB_ID | 数据库ID | 1 |
| LAST_ACCESS_TIME | 上次访问时间 | 1447675704 |
| OWNER | 所有者 | root |
| RETENTION | 保留字段 | 0 |
| SD_ID | 序列化配置信息 | 41，对应SDS表中的SD_ID |
| TBL_NAME | 表名 | ex_detail_ufdr_30streaming |
| TBL_TYPE | 表类型 | EXTERNAL_TABLE |
| VIEW_EXPANDED_TEXT | 视图的详细HQL语句 | |
| VIEW_ORIGINAL_TEXT | 视图的原始HQL语句 | |
TABLE_PARAMS:该表存储表/视图的属性信息
| 表字段 | 说明 | 示例数据 |
| TBL_ID | 表ID | 1 |
| PARAM_KEY | 属性名 | totalSize，numRows，EXTERNAL |
| PARAM_VALUE | 属性值 | 970107336、21231028、TRUE |
TBL_PRIVS：该表存储表/视图的授权信息
| 表字段 | 说明 | 示例数据 |
| TBL_GRANT_ID | 授权ID | 1 |
| CREATE_TIME | 授权时间 | 1436320455 |
| GRANT_OPTION | | 0 |
| GRANTOR | 授权执行用户 | root |
| GRANTOR_TYPE | 授权者类型 | USER |
| PRINCIPAL_NAME | 被授权用户 | username |
| PRINCIPAL_TYPE | 被授权用户类型 | USER |
| TBL_PRIV | 权限 | Select、Alter |
| TBL_ID | 表ID | 21，对应TBLS表的TBL_ID |
4、Hive文件存储信息相关的元数据表
主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS，由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。
SDS:
该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。
| 表字段 | 说明 | 示例数据 |
| SD_ID | 存储信息ID | 41 |
| CD_ID | 字段信息ID | 21，对应CDS表 |
| INPUT_FORMAT | 文件输入格式 | org.apache.hadoop.mapred.TextInputFormat |
| IS_COMPRESSED | 是否压缩 | 0 |
| IS_STOREDASSUBDIRECTORIES | 是否以子目录存储 | 0 |
| LOCATION | HDFS路径 | hdfs://193.168.1.75:9000/detail_ufdr_streaming_test |
| NUM_BUCKETS | 分桶数量 | 0 |
| OUTPUT_FORMAT | 文件输出格式 | org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat |
| SERDE_ID | 序列化类ID | 41，对应SERDES表 |
SD_PARAMS: 该表存储Hive存储的属性信息，在创建表时候使用STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。
| 表字段 | 说明 | 示例数据 |
| SD_ID | 存储配置ID | 41 |
| PARAM_KEY | 存储属性名 | |
| PARAM_VALUE | 存储属性值 | |
SERDES:该表存储序列化使用的类信息
| 表字段 | 说明 | 示例数据 |
| SERDE_ID | 序列化类配置ID | 41 |
| NAME | 序列化类别名 | NULL |
| SLIB | 序列化类 | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe |
SERDE_PARAMS:该表存储序列化的一些属性、格式信息，比如:行、列分隔符
| 表字段 | 说明 | 示例数据 |
| SERDE_ID | 序列化类配置ID | 41 |
| PARAM_KEY | 属性名 | field.delim |
| PARAM_VALUE | 属性值 | | |
5、Hive表字段相关的元数据表
主要涉及COLUMNS_V2
COLUMNS_V2：该表存储表对应的字段信息
| 表字段 | 说明 | 示例数据 |
| CD_ID | 字段信息ID | 21 |
| COMMENT | 字段注释 | NULL |
| COLUMN_NAME | 字段名 | air_port_duration |
| TYPE_NAME | 字段类型 | bigint |
| INTEGER_IDX | 字段顺序 | 119 |
6、Hive表分分区相关的元数据表
主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS
PARTITIONS:该表存储表分区的基本信息
| 表字段 | 说明 | 示例数据 |
| PART_ID | 分区ID | 21 |
| CREATE_TIME | 分区创建时间 | 1450861405 |
| LAST_ACCESS_TIME | 最后一次访问时间 | 0 |
| PART_NAME | 分区名 | hour=15/last_msisdn=0 |
| SD_ID | 分区存储ID | 43 |
| TBL_ID | 表ID | 22 |
| LINK_TARGET_ID | | NULL |
PARTITION_KEYS:该表存储分区的字段信息
| 表字段 | 说明 | 示例数据 |
| TBL_ID | 表ID | 22 |
| PKEY_COMMENT | 分区字段说明 | NULL |
| PKEY_NAME | 分区字段名 | hour |
| PKEY_TYPE | 分区字段类型 | int |
| INTEGER_IDX | 分区字段顺序 | 0 |
PARTITION_KEY_VALS:该表存储分区字段值
| 表字段 | 说明 | 示例数据 |
| PART_ID | 分区ID | 21 |
| PART_KEY_VAL | 分区字段值 | 0 |
| INTEGER_IDX | 分区字段值顺序 | 1 |
PARTITION_PARAMS:该表存储分区的属性信息
| 表字段 | 说明 | 示例数据 |
| PART_ID | 分区ID | 21 |
| PARAM_KEY | 分区属性名 | numFiles，numRows |
| PARAM_VALUE | 分区属性值 | 1，502195 |
6、其他不常用的元数据表
DB_PRIVS
数据库权限信息表。通过GRANT语句对数据库授权后，将会在这里存储。
IDXS
索引表，存储Hive索引相关的元数据
INDEX_PARAMS
索引相关的属性信息
TBL_COL_STATS
表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里
TBL_COL_PRIVS
表字段的授权信息
PART_PRIVS
分区的授权信息
PART_COL_PRIVS
分区字段的权限信息
PART_COL_STATS
分区字段的统计信息
FUNCS
用户注册的函数信息
FUNC_RU
用户注册函数的资源信息
相关 [hive 元数据 结构] 推荐：
hive调优
- - 互联网 - ITeye博客一、 控制hive任务中的map数: . 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务. 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；.
hive 优化 tips
- - CSDN博客推荐文章一、 Hive join优化. 也可以显示声明进行map join：特别适用于小表join大表的时候，SELECT /*+ MAPJOIN(b) */ a.key, a.value FROM a join b on a.key = b.key. 2. 注意带表分区的join， 如：.
Hive中的join
- - CSDN博客云计算推荐文章select a.* from a join b on a.id = b.id
select a.* from a join b on (a.id = b.id and a.department = b.department). 在使用join写查询的时候有一个原则：应该将条目少的表或者子查询放在join操作符的左边.
hive优化（2）
- - 开源软件 - ITeye博客Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具. 使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，. 所以需要去掉原有关系型数据库下开发的一些固有思维. 1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段.
hive优化
- - 开源软件 - ITeye博客hive.optimize.cp=true：列裁剪. hive.optimize.prunner：分区裁剪. hive.limit.optimize.enable=true：优化LIMIT n语句. hive.limit.optimize.limit.file=10：最大文件数. 1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB).
Hive优化
- - 互联网 - ITeye博客 使用Hive有一段时间了，目前发现需要进行优化的较多出现在出现join、distinct的情况下，而且一般都是reduce过程较慢. Reduce过程比较慢的现象又可以分为两类：. 情形一：map已经达到100%,而reduce阶段一直是99%,属于数据倾斜. 情形二：使用了count(distinct)或者group by的操作，现象是reduce有进度但是进度缓慢，31%-32%-34%...一个附带的提示是使用reduce个数很可能是1.
hive bucket 桶
- - CSDN博客推荐文章对于每一个表（table）或者分区，Hive可以进一步组织成桶. Hive也是针对某一列进行桶的组织. Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中. 采用桶能够带来一些好处，比如JOIN操作. 对于JOIN操作两个表有一个相同的列，如果对这两个表都进行了桶操作. 那么将保存相同列值的桶进行JOIN操作就可以，可以大大较少JOIN的数据量.
hive mapjoin使用
- - 淘剑笑的博客今天遇到一个hive的问题，如下hive
sql：. 该语句中B表有30亿行记录，A表只有100行记录，而且B表中数据倾斜特别严重，有一个key上有15亿行记录，在运行过程中特别的慢，而且在reduece的过程中遇有内存不够而报错. 为了解决用户的这个问题，考虑使用mapjoin,mapjoin的原理：.
hive优化
- - 互联网 - ITeye博客1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段. 2：尽量原子化操作，尽量避免一个SQL包含复杂逻辑. 可以使用中间表来完成复杂的逻辑. 3：单个SQL所起的JOB个数尽量控制在5个以下. 4：慎重使用mapjoin,一般行数小于2000行，大小小于1M(扩容后可以适当放大)的表才能使用,小表要注意放在join的左边（目前TCL里面很多都小表放在join的右边）.