阿里巴巴开源项目: 阿里巴巴去Oracle数据迁移同步工具
- - agapple 08年左右，阿里巴巴开始尝试MySQL的相关研究，并开发了基于MySQL分库分表技术的相关产品，Cobar/TDDL(目前为阿里云DRDS产品)，解决了单机Oracle无法满足的扩展性问题，当时也掀起一股去IOE项目的浪潮，愚公这项目因此而诞生，其要解决的目标就是帮助用户完成从Oracle数据迁移到MySQL上，完成去IOE的第一步. .
阿里巴巴开源项目：分布式数据库同步系统otter(解决中美异地机房)
标签：
阿里巴巴
开源
项目
| 发表时间：2013-08-22 16:48 | 作者：
出处：http://agapple.iteye.com
项目背景
阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。
otter第一版本可追溯到04~05年，此次外部开源的版本为第4版，开发时间从2011年7月份一直持续到现在，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4。
目前同步规模：
- 同步数据量6亿
- 文件同步1.5TB(2000w张图片)
- 涉及200+个数据库实例之间的同步
- 80+台机器的集群规模
项目介绍
名称：otter ['ɒtə(r)]
译意： 水獭，数据搬运工
语言： 纯java开发
定位： 基于数据库增量日志解析，准实时同步到本机房或跨机房的mysql/oracle数据库.
工作原理
原理描述：
1. 基于Canal开源产品，获取数据库增量日志数据。 什么是Canal, 请 点击
2. 典型管理系统架构，manager(web管理)+node(工作节点)
a. manager运行时推送同步配置到node节点
b. node节点将同步状态反馈到manager上
3. 基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作.
什么是canal?
otter之前开源的一个子项目，开源链接地址： http://github.com/alibaba/canal
otter能解决什么？
1. 异构库同步
a. mysql -> mysql/oracle. (目前开源版本只支持mysql增量，目标库可以是mysql或者oracle，取决于canal的功能)
2. 单机房同步 (数据库之间RTT < 1ms)
a. 数据库版本升级
b. 数据表迁移
c. 异步二级索引
3. 跨机房同步 (比如阿里巴巴国际站就是杭州和美国机房的数据库同不，RTT > 200ms， 亮点)
a. 机房容灾
4. 双向同步
a. 避免回环算法 (通用的解决方案，支持大部分关系型数据库)
b. 数据一致性算法 (保证双A机房模式下，数据保证最终一致性， 亮点)
5. 文件同步
a. 站点镜像 (进行数据复制的同时，复制关联的图片，比如复制产品数据，同时复制产品图片).
单机房复制示意图：
说明：
a. 数据on-Fly，尽可能不落地，更快的进行数据同步. (开启node loadBalancer算法，如果Node节点S+ETL落在不同的Node上，数据会有个网络传输过程)
b. node节点可以有failover / loadBalancer.
跨机房复制示意图：
说明：
a. 数据涉及网络传输，S/E/T/L几个阶段会分散在2个或者更多Node节点上，多个Node之间通过zookeeper进行协同工作 (一般是Select和Extract在一个机房的Node，Transform/Load落在另一个机房的Node)
b. node节点可以有failover / loadBalancer. (每个机房的Node节点，都可以是集群，一台或者多台机器)
相关名词解释
otter核心model关系图
名词解释
- Pipeline：从源端到目标端的整个过程描述，主要由一些同步映射过程组成
- Channel：同步通道，单向同步中一个Pipeline组成，在双向同步中有两个Pipeline组成
- DateMediaPair：根据业务表定义映射关系，比如源表和目标表，字段映射，字段组等
- DateMedia : 抽象的数据介质概念，可以理解为数据表/mq队列定义
- DateMediaSource : 抽象的数据介质源信息，补充描述DateMedia
- ColumnPair : 定义字段映射关系
- ColumnGroup : 定义字段映射组
- Node : 处理同步过程的工作节点，对应一个jvm
otter的S/E/T/L stage阶段模型
说明：为了更好的支持系统的扩展性和灵活性，将整个同步流程抽象为Select/Extract/Transform/Load，这么4个阶段.
Select阶段: 为解决数据来源的差异性，比如接入canal获取增量数据，也可以接入其他系统获取其他数据等。
Extract/Transform/Load 阶段：类似于数据仓库的ETL模型，具体可为数据join，数据转化，数据Load的
相关实现介绍
QuickStart
See the page for quick start: QuickStart.
AdminGuide
See the page for admin deploy guide : AdminGuide
已有 0 人发表留言，猛击->> 这里<<-参与讨论
ITeye推荐
相关 [阿里巴巴 开源 项目] 推荐：
重磅！阿里巴巴正式开源全球化OpenMessaging和ApsaraCache项目
- -10月14日，在2017杭州·云栖大会之开源技术峰会上，阿里巴巴正式发布了全球化OpenMessaging和ApsaraCache两个开源项目，并宣布与GitHub、Hashicorp两家公司成为技术合作伙伴. 此前，阿里巴巴捐赠开源的RocketMQ已被Apache基金会接纳为全球顶级项目，此番动作体现阿里巴巴在全球开源业界的引领地位.
阿里巴巴开源项目：分布式数据库同步系统otter(解决中美异地机房)
- - agapple 阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品. otter第一版本可追溯到04~05年，此次外部开源的版本为第4版，开发时间从2011年7月份一直持续到现在，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4.
阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费
- - zzm 早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求. 不过早期的数据库同步业务，主要是基于trigger的方式获取增 量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此 开启了一段新纪元.
阿里巴巴Dubbo分布式服务框架已开源
- tangfl - ITeye论坛最新精华讨论帖Serving services with invocations everyday, Dubbo becomes the key part of Alibaba's SOA solution and has been deployed to the whole alibaba.com family:.
专访阿里巴巴毕玄：异地多活数据中心项目的来龙去脉
- -大数据时代，数据中心的异地容灾变得非常重要. 在去年双十一之前，阿里巴巴上线了数据中心异地双活项目. InfoQ就该项目采访了阿里巴巴的林昊（花名毕玄）. 毕玄是阿里巴巴技术保障部的研究员，负责性能容量架构. 数据中心异地多活项目就是他主导的. InfoQ：首先请介绍一下数据中心异地多活这个项目. 毕玄：这个项目在我们内部的另外一个名字叫做单元化，双活是它的第二个阶段，多活是第三个阶段.
阿里巴巴的零知识证明
- 见涛 - 科学松鼠会战争中你被俘了，敌人拷问你情报. 你是这么想的：如果我把情报都告诉他们，他们就会认为我没有价值了，就会杀了我省粮食，但如果我死活不说，他们也会认为我没有价值而杀了我. 怎样才能做到既让他们确信我知道情报，但又一丁点情报也不泄露呢. 这的确是一个令人纠结的问题，但阿里巴巴想了一个好办法，当强盗向他拷问打开山洞石门的咒语时，他对强盗说：“你们离我一箭之地，用弓箭指着我，你们举起右手我就念咒语打开石门，举起左手我就念咒语关上石门，如果我做不到或逃跑，你们就用弓箭射死我.
[原]阿里巴巴B2B搜索学习
- - 文武天下主搜索：商品搜索、商家搜索、采购搜索、app搜索. 行业搜索：淘货源、淘工厂、聚好货、主题市场、品牌馆等. 由于用户多，需求强烈，收益大，所以功能、场景、架构做到极致高效. 代码复用性强：基础通用功能进行组件抽象化. 组件通用性好：一些组件或者组件进行组合的服务，适用更多场景，支持更多功能. 转化效果好：算法做的比较深入、细致.
来阿里巴巴一年有感（中）
- - Shining Ray阿里巴巴现有有3万名员工，工号已经排到了12万. 如此庞大的组织，如此多的部门、单元，能朝着同样的愿景去一致行动，仿佛一个有机的整体，可见其管理体系的完备. 当我加入这样一个庞然大物，心情颇像《海上钢琴师》中的主角 1900 要踏足陆地进入城市，担心自己能不能适应好这个组织，发挥出自己的能力. 而经过一年的学习，跟随着其他同事做事，耳濡目染也学到了不少技巧.