基于OGG的Oracle与Hadoop集群准实时同步介绍 - 偶素浅小浅 - 博客园

配置：源数据库100.100.100.21         实例名dbsid2.             目标数据库100.100.100.41       实例名db1. 实验目标：源数据库中的 scott用户 emp表同步到目标数据库 scott中的test表. 安装包为文件ogg112101_fbo_ggs_Linux_x64_ora10g_64bit.zip.

Oracle GoldenGate supports an active-active bi-directional configuration, where there are two systems with identical sets of data that can be changed by application users on either system.

我简单的简绍一下goldengate的一些实用的、常用的参数. 一、双向复制避免数据循环复制的参数. 首先说明一下循环复制，官网上的描述：. 意译：主端对数据的修改，被应用到了备端. 但是备端在执行这个主端传递过来的数据改变时，又被备端的extract 进程.       扑获到，并且又反给主端. 然后主端又给备端，这样形成了循环复制，会一直循环下去.

ogg即Oracle GoldenGate是Oracle的同步工具，本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kafka中，其中同步消息格式为json. 下面是我的源端和目标端的一些配置信息：. 注意：源端和目标端的文件不一样，目标端需要下载Oracle GoldenGate for Big Data,源端需要下载Oracle GoldenGate for Oracle具体下载方法见最后的附录截图.

Oracle大数据机和大数据连接器软件支持与Hadoop、Cloudera Manager以及Oracle NoSQL数据库的集成. 上月Oracle 宣布携手Cloudera进军大数据机和连接器软件领域. 大数据机融合了Cloudera公司的 Apache Hadoop（CDH）和 Cloudera Manager管理应用，以及一个开源统计性编程语言 R.

发布时间：2020-08-07 04:46:09来源：ITPUB博客阅读：122作者：白盲丶栏目：. 一.GoldenGate介绍. OGG 是一种基于日志的结构化数据复制软件. OGG 能够实现大量交易数据的实时捕捉，变换和投递，实现源数据库与目标数据库的数据同步，保持最少10ms的数据延迟. (1).Trail文件的生成和删除.

Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如：. 采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer）. 本文安排如下，第二节介绍Hadoop Streaming的原理，第三节介绍Hadoop Streaming的使用方法，第四节介绍Hadoop Streaming的程序编写方法，在这一节中，用C++、C、shell脚本 和python实现了WordCount作业，第五节总结了常见的问题.

Hadoop使用主/从（Master/Slave）架构，主要角色有NameNode，DataNode，secondary NameNode，JobTracker，TaskTracker组成. 其中NameNode，secondary NameNode，JobTracker运行在Master节点上，DataNode和TaskTracker运行在Slave节点上.

我在使用Hadoop编写MapReduce程序时，遇到了一些问题，通过在Google上查询资料，并结合自己对Hadoop的理解，逐一解决了这些问题. Hadoop对MapReduce中Key与Value的类型是有要求的，简单说来，这些类型必须支持Hadoop的序列化. 为了提高序列化的性能，Hadoop还为Java中常见的基本类型提供了相应地支持序列化的类型，如IntWritable，LongWritable，并为String类型提供了Text类型.