MySQL添加Hadoop数据实时复制功能

标签： MySQL数据库性能诊断与调优 | 发表时间：2013-05-07 08:00 | 作者：
出处：http://pipes.yahoo.com/pipes/pipe.info?_id=3cc4794c339ceeddc915a3c3360ef524

　　MySQL复制操作可以将数据从一个MySQL服务器(主)复制到其他的一个或多个MySQL服务器(从)。试想一下，如果从服务器不再局限为一个MySQL服务器，而是其他任何数据库服务器或平台，并且复制事件要求实时进行，是否可以实现呢?

　　MySQL团队最新推出的 MySQL Applier for Hadoop(以下简称Hadoop Applier)旨在解决这一问题。

　　用途

　　例如，复制事件中的从服务器可能是一个数据仓库系统，如Apache Hive，它使用Hadoop分布式文件系统(HDFS)作为数据存储区。如果你有一个与HDFS相关的Hive元存储，Hadoop Applier就可以实时填充Hive数据表。数据是从MySQL中以文本文件形式导出到HDFS，然后再填充到Hive。

　　操作很简单，只需在Hive运行HiveQL语句'CREATE TABLE'，定义表的结构与MySQL相似，然后运行Hadoop Applier即可开始实时复制数据。

　　优势

　　在Hadoop Applier之前，还没有任何工具可以执行实时传输。之前的解决方案是通过Apache Sqoop导出数据到HDFS，尽管可以批量传输，但是需要经常将结果重复导入以保持数据更新。在进行大量数据传输时，其他查询会变得很慢。且在数据库较大的情况下，如果只进行了一点更改，Sqoop可能也需要较长时间来加载。

　　而Hadoop Applier则会读取二进制日志，只应用MySQL服务器上发生的事件，并插入数据，不需要批量传输，操作更快，因此并不影响其他查询的执行速度。

　　实现

　　Applier使用一个由libhdfs(用于操作HDFS中文件的C库)提供的API。实时导入的过程如下图所示：

　　数据库被映射作为一个单独的目录，它们的表被映射作为子目录和一个Hive数据仓库目录。插入到每个表中的数据被写入文本文件(命名如datafile1.txt)，数据以逗号或其他符号分割(可通过命令行进行配置)。

　　详细信息： MySQL Applier for Hadoop

　　下载地址： mysql-hadoop-applier-0.1.0-alpha.tar.gz(alpha版本，不可用于生产环境)

原文出处：http://www.iteye.com/news/27625

相关 [mysql hadoop 数据] 推荐：

MySQL添加Hadoop数据实时复制功能

- - searchdatabase
　　MySQL复制操作可以将数据从一个MySQL服务器(主)复制到其他的一个或多个MySQL服务器(从). 试想一下，如果从服务器不再局限为一个MySQL服务器，而是其他任何数据库服务器或平台，并且复制事件要求实时进行，是否可以实现呢?. 　　MySQL团队最新推出的 MySQL Applier for Hadoop(以下简称Hadoop Applier)旨在解决这一问题.

Hadoop的数据管理

- - 技术改变世界 创新驱动中国 - 《程序员》官网
本文主要介绍Hadoop的数据管理，主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive. HDFS是分布式计算的存储基石，Hadoop分布式文件系统和其他分布式文件系统有很多类似的特性：. 对于整个集群有单一的命名空间；. 具有数据一致性，都适合一次写入多次读取的模型，客户端在文件没有被成功创建之前是无法看到文件存在的；.

大数据架构hadoop

- - CSDN博客云计算推荐文章
摘要：Admaster数据挖掘总监 随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求. 随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求.

mysql 数据分离

- - 数据库 - ITeye博客
网上看到一个读写分离的帖子，感觉不错. 构建高性能web之路------mysql读写分离实战（转）. 一个完整的mysql读写分离环境包括以下几个部分：. 在本次实战中，应用程序client基于c3p0连接后端的database proxy. database proxy负责管理client实际访问database的路由策略，采用开源框架amoeba.

微软数据库拥抱Hadoop

- Adam - Solidot
在西雅图举行的PASS峰会上，微软副总裁Ted Kumert宣布，Hadoop分布式计算平台将整合到下一个版本的关系数据库SQL Server 2012、Windows Server 和Azure中. Hadoop是一个顶级Apache开源项目，雅虎是最主要的贡献者，主要被应用于分析大容量数据集. 整合Hadoop将让微软的客户能分析和处理大数量的非结构化数据.

Apache Sqoop 1.4.3 发布，Hadoop 数据迁移

- - 开源中国社区最新新闻
Sqoop是一个用来将 Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中. Sqoop 1.4.3 完整的改进记录请看 这里. 下载地址： http://www.apache.org/dyn/closer.cgi/sqoop/.

Hadoop 添加数据节点（datanode）

- - CSDN博客云计算推荐文章
在hadoop集群中添加一个新增数据节点. 同样在其它各节点都添加新的server123服务器. ->在新节点上生成自己的密钥. ->把原集群中的密钥复制添加到新节点的密钥当中. ->再把新节点上的新密钥复制（覆盖）到原集群中的新节点. --首先，为了避免误操作，操作之前要先备份原集群的密钥文件. 2014年 02月 12日 星期三 11:31:08 CST.

利用hadoop mapreduce 做数据排序

- - zzm
我们的需求是想统计一个文件中用IK分词后每个词出现的次数，然后按照出现的次数降序排列. 由于hadoop在reduce之后就不能对结果做什么了，所以只能分为两个job完成，第一个job统计次数，第二个job对第一个job的结果排序. 第一个job的就是hadoop最简单的例子countwords，我要说的是用hadoop对结果排序.

MySQL数据库的修复

- Xin - 博客园-首页原创精华区
找到mysql的安装目录的bin/myisamchk工具，在命令行中输入：. 然后myisamchk 工具会帮助你恢复数据表的索引. 好象也不用重新启动mysql，问题就解决了. 当你试图修复一个被破坏的表的问题时，有三种修复类型. 如果你得到一个错误信息指出一个临时文件不能建立，删除信息所指出的文件并再试一次--这通常是上一次修复操作遗留下来的.

同步mysql数据到hive

- - ITeye博客
地址为：http://archive.cloudera.com/cdh/3/下载相应版本，如sqoop-1.2.0-CDH3B4.tar.gz. 地址为：http://archive.cloudera.com/cdh/3/，版本可以为hadoop-0.20.2-CDH3B4.tar.gz. 3.解压 sqoop-1.2.0-CDH3B4.tar.gz ，hadoop-0.20.2-CDH3B4.tar.gz 到某目录如/home/hadoop/,解压后的目录为.