Sqoop实现关系型数据库到hive的数据传输

标签: sqoop 关系 数据库 | 发表时间:2013-08-09 17:21 | 作者:zyuc_wangxw
出处:http://blog.csdn.net

Sqoop实现关系型数据库到hive的数据传输

sh脚本

#!/bin/sh
v_columns=NOTE_ID_1,NOTE_NAME_1,NOTE_ID_2,NOTE_NAME_2,NOTE_ID_3,NOTE_NAME_3,NOTE_ID_4,NOTE_NAME_4,NOTE_ID_5,NOTE_NAME_5,NOTE_ID_6,NOTE_NAME_6,
  TYPE_VALUES,NOTE_NAME

sqoop import --append --connect jdbc:oracle:thin:@132.232.19.119:2527:szdw --username ******* --password ******* 
--target-dir '/home/hadoop/data/etl_bss/view_loc_note_ydyw_hdgb' --m 1 --split-by NOTE_ID_1 --table ETL_BSS.VIEW_LOC_NOTE_YDYW_HDGB 
--columns ${v_columns} --fields-terminated-by '\t';


hive 建表

 CREATE TABLE 
 VIEW_LOC_NOTE_YDYW_HDGB(
		NOTE_ID_1        INT,
		NOTE_NAME_1      STRING,
		NOTE_ID_2        INT,
		NOTE_NAME_2      STRING,
		NOTE_ID_3        INT,
		NOTE_NAME_3      STRING,
		NOTE_ID_4    		 INT,
		NOTE_NAME_4      STRING,
		NOTE_ID_5        INT,
		NOTE_NAME_5      STRING,
		NOTE_ID_6        INT,
		NOTE_NAME_6      STRING,
		TYPE_VALUES      INT,
		NOTE_NAME        STRING
 )
 COMMENT "THIS IS A VIEW_LOC_NOTE_YDYW_HDGB"
 ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
 STORED AS TEXTFILE;


加载数据

load data inpath '/home/hadoop/data/etl_bss/view_loc_note_ydyw_hdgb' into table VIEW_LOC_NOTE_YDYW_HDGB;


 

作者:zyuc_wangxw 发表于2013-8-9 17:21:20 原文链接
阅读:118 评论:0 查看评论

相关 [sqoop 关系 数据库] 推荐:

Sqoop导入关系数据库到Hive

- - 开源软件 - ITeye博客
文章来自:http://blog.javachen.com/2014/08/04/import-data-to-hive-with-sqoop/. Sqoop 是 apache 下用于 RDBMS 和 HDFS 互相导数据的工具. 本文以 mysql 数据库为例,实现关系数据库导入到 hdfs 和 hive.

Sqoop实现关系型数据库到hive的数据传输

- - CSDN博客互联网推荐文章
Sqoop实现关系型数据库到hive的数据传输. 作者:zyuc_wangxw 发表于2013-8-9 17:21:20 原文链接. 阅读:118 评论:0 查看评论.

sqoop 使用心得

- - 经验沉淀 知识结晶
本文原创,转载请说明出处:http://ronxin999.blog.163.com/blog/static/42217920201348103424245/. sqoop是干吗的,就不在这里浪费笔墨了,这里主要讲下一个新手接触到sqoop碰到的问题. 一  业务场景 Hive 查询Hql的结果进入MySql,目前本人是通过两步来实现的,.

sqoop 常用写法

- - 开源软件 - ITeye博客
2 查看具体数据库内的表. 3  将关系型数据表结构users复制到Hive默认库的表users中:. 参数说明:  这两个参数可以不加. --fields-terminated-by "\0001"  是设置每列之间的分隔符,"\0001"是ASCII码中的1,. 它也是hive的默认行内分隔符, 而sqoop的默认行内分隔符为"," .

NoSQL数据库探讨 -- 非关系型数据库

- - ITeye博客
随着互联网web2.0网站的兴起,非关系型的数据库现在成了一个极其热门的新领域, 非关系数据库产品的发展非常迅速. 而传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不 从心,暴露了很多难以克服的问题,例如:. 1、High performance - 对数据库高并发读写的需求.

Sqoop介绍及使用

- - CSDN博客云计算推荐文章
Apache Sqoop是用来实现结构型数据(如关系数据库)和Hadoop之间进行数据迁移的工具. 它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输,同时也借助MapReduce实现了容错. 项目地址: http://sqoop.apache.org/. 目前为止,已经演化出了2个版本:sqoop1和sqoop2.

Clustrix Sierra关系数据库集群

- 2sin18 - 风轻扬
Clustrix的Sierra数据库集群引擎是一个share-nothing架构的可伸缩关系数据库集群. 官方宣传的非常诱人,说是功能像集中式关系数据库一样强大,可伸缩性超强,不需要规划什么数据分区,可用性也非常高. 简直是集SQL和NoSQL的优点于一身. 据说最近阿里云的RDS服务很可能是基于这个,因此仔细去了解了一下,发现架构上属于软硬一体化的路子,感觉架构上还是有些问题,对硬件的要求也不低.

Sqoop成为Apache顶级项目

- - NoSQLFan
Sqoop是一个Hadoop的周边工具,它的主要作用是在结构化数据存储与Hadoop之间进行数据交换,通过 Sqoop,你可以批量将你关系型数据库中的数据导入到Hadoop中,也可以将Hadoop中的数据导出到其它结构化存储中. Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目.

Hive部署(包括集成Hbase和Sqoop)

- - ITeye博客
Hive部署(包括集成Hbase和Sqoop) .     主要是选择软件版本. 将解压后的hive-0.8.1文件放在系统的/home/hadoop/hive/中. 4.1 设置HADOOP_HOME. 修改hive-0.8.1目录下/conf/hive-env.sh.template中的HADOOP_HOME为实际的Hadoop安装目录.

Apache Sqoop 1.4.3 发布,Hadoop 数据迁移

- - 开源中国社区最新新闻
Sqoop是一个用来将 Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中. Sqoop 1.4.3 完整的改进记录请看 这里. 下载地址: http://www.apache.org/dyn/closer.cgi/sqoop/.