Sqoop成为Apache顶级项目

Sqoop是一个Hadoop的周边工具，它的主要作用是在结构化数据存储与Hadoop之间进行数据交换，通过 Sqoop，你可以批量将你关系型数据库中的数据导入到Hadoop中，也可以将Hadoop中的数据导出到其它结构化存储中. Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目.

Sqoop是一个用来将 Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中. Sqoop 1.4.3 完整的改进记录请看 这里. 下载地址： http://www.apache.org/dyn/closer.cgi/sqoop/.

2017年1月10日, 由超过350个开源项目及创新计划，全部由开发志愿者，治理志愿者及孵化志愿者组成的Apache软件基金会（ASF），宣布Apache Eagle已经从Apache孵化器项目毕业，正式升级成为顶级项目（TLP），这标志着该项目的社区和产品依照ASF精英管理的流程和原则顺利运作. Apache Eagle是一个开源监视和警报解决方案，用于智能实时地识别大数据平台上的安全和性能问题，例如Apache Hadoop，Apache Spark等.

Apache 软件基金会宣布， Apache Airflow 已经成功地从孵化毕业，成为基金会的一个新的顶级项目. Apache Airflow 是一个灵活、可扩展的工作流自动化和调度系统，可编集和管理数百 PB 的数据流. 项目可轻松编排复杂的计算工作流，通过智能调度、数据库和依赖关系管理、错误处理和日志记录，Airflow 可以自动化从单个服务器到大规模集群的资源管理.

Apache Shiro 是功能强大并且容易集成的开源权限框架，它能够完成认证、授权、加密、会话管理等功能. 认证和授权为权限控制的核心，简单来说，“认证”就是证明你是谁. Web 应用程序一般做法通过表单提交用户名及密码达到认证目的. “授权”即是否允许已认证用户访问受保护资源. 关于 Shiro 的一系列特征及优点，很多文章已有列举，这里不再逐一赘述，本文重点介绍 Shiro 在 Web Application 中如何实现验证码认证以及如何实现单点登录.

本文原创，转载请说明出处：http://ronxin999.blog.163.com/blog/static/42217920201348103424245/. sqoop是干吗的，就不在这里浪费笔墨了，这里主要讲下一个新手接触到sqoop碰到的问题. 一  业务场景 Hive 查询Hql的结果进入MySql，目前本人是通过两步来实现的，.

2 查看具体数据库内的表. 3  将关系型数据表结构users复制到Hive默认库的表users中：. 参数说明：  这两个参数可以不加. --fields-terminated-by "\0001"  是设置每列之间的分隔符，"\0001"是ASCII码中的1，. 它也是hive的默认行内分隔符， 而sqoop的默认行内分隔符为"，" .

Apache 软件基金会今天宣布，Spark 项目已从孵化器毕业，成为 Apache 软件基金会的一个顶级项目. Spark 是一个高效的分布式计算系统，发源于美国加州大学伯克利分校 AMPLab 的集群计算平台. Spark 被称为“Hadoop 的瑞士军刀”，拥有非凡的速度和易用性. Spark 立足于内存计算，相比 Hadoop MapReduce，Spark 在性能上要高 100 倍，而且 Spark 提供了比 Hadoop 更上层的 API，同样的算法在 Spark 中实现往往只有 Hadoop 的1/10 或者1/100 的长度.

Apache Sqoop是用来实现结构型数据（如关系数据库）和Hadoop之间进行数据迁移的工具. 它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输，同时也借助MapReduce实现了容错. 项目地址： http://sqoop.apache.org/. 目前为止，已经演化出了2个版本：sqoop1和sqoop2.

Hive部署（包括集成Hbase和Sqoop） .     主要是选择软件版本. 将解压后的hive-0.8.1文件放在系统的/home/hadoop/hive/中. 4.1 设置HADOOP_HOME. 修改hive-0.8.1目录下/conf/hive-env.sh.template中的HADOOP_HOME为实际的Hadoop安装目录.