Apache Sqoop 1.4.3 发布，Hadoop 数据迁移

Sqoop是一个用来将 Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中. Sqoop 1.4.3 完整的改进记录请看 这里. 下载地址： http://www.apache.org/dyn/closer.cgi/sqoop/.

Sqoop是一个Hadoop的周边工具，它的主要作用是在结构化数据存储与Hadoop之间进行数据交换，通过 Sqoop，你可以批量将你关系型数据库中的数据导入到Hadoop中，也可以将Hadoop中的数据导出到其它结构化存储中. Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目.

Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及 版权声明. 网址: http://dongxicheng.org/mapreduce-nextgen/apache-hadoop-2-0-3-published/. Apache Hadoop 2.0.3发布了，在这次版本更新中，主要增加了以下几个特性：.

Apache Hadoop 2.2.0 稳定版发布了，建议用户升级. 该版本更加稳定，同时在 API 和协议上兼容老的版本. 与 Hadoop 1.x 比较，该版本显著的改进包括：. YARN - A general purpose resource management system for Hadoop to allow MapReduce and other other data processing frameworks and services.

海量数据框架Apache Hadoop怀胎六年终于瓜熟蒂落发布1.0.0版本. 本次发布的核心特性包括支持Kerberos身份验证，支持Apache HBase，以及针对HDFS的RESTful API. InfoQ就此次发布请Apache Hadoop项目的VP——Arun Murthy回答了几个问题.

NodeManager节点健康监控. hadoop提供一个检测一个节点健康状态的机制，那就是管理员可以配置NodeManager去周期性执行一个脚本. 管理员可以在这个脚本中做任何的状态监控从而决定此节点是否健康. 如果某节点不健康了，那么他们会有一个标准的错误输出，NodeManager的脚本周期性检测输出，如果节点输出中包含了ERROR字符串，那么此节点会被上报为 unhealthy ，并且此节点会被ResourceManager放入黑名单.

此文档描述了如何安装、配置和维护一个重大集群从几个节点到上千节点. 初次接触hadoop建议先从 单节点集群开始. 从Apache 上下载了稳定的版本. 安装hadoop集群通常需要在所有的节点上解压软件或者prm安装. 通常集群中的某一个节点被当做NameNode,其他节点作为ResourceManager，这些是主控节点.

本文原创，转载请说明出处：http://ronxin999.blog.163.com/blog/static/42217920201348103424245/. sqoop是干吗的，就不在这里浪费笔墨了，这里主要讲下一个新手接触到sqoop碰到的问题. 一  业务场景 Hive 查询Hql的结果进入MySql，目前本人是通过两步来实现的，.

2 查看具体数据库内的表. 3  将关系型数据表结构users复制到Hive默认库的表users中：. 参数说明：  这两个参数可以不加. --fields-terminated-by "\0001"  是设置每列之间的分隔符，"\0001"是ASCII码中的1，. 它也是hive的默认行内分隔符， 而sqoop的默认行内分隔符为"，" .

Apache Sqoop是用来实现结构型数据（如关系数据库）和Hadoop之间进行数据迁移的工具. 它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输，同时也借助MapReduce实现了容错. 项目地址： http://sqoop.apache.org/. 目前为止，已经演化出了2个版本：sqoop1和sqoop2.