阿里巴巴开源项目:分布式数据库同步系统otter(解决中美异地机房)

标签: 阿里巴巴 开源 项目 | 发表时间:2013-08-22 08:48 | 作者:
出处:http://agapple.iteye.com

 

项目背景

   阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,同时为了提升用户体验,整个机房的架构为双A,两边均可写,由此诞生了otter这样一个产品。

   otter第一版本可追溯到04~05年,此次外部开源的版本为第4版,开发时间从2011年7月份一直持续到现在,目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4。

目前同步规模:

  1. 同步数据量6亿
  2. 文件同步1.5TB(2000w张图片)
  3. 涉及200+个数据库实例之间的同步
  4. 80+台机器的集群规模

 

项目介绍

名称:otter ['ɒtə(r)]

译意: 水獭,数据搬运工

语言: 纯java开发

定位: 基于数据库增量日志解析,准实时同步到本机房或跨机房的mysql/oracle数据库. 

 

工作原理

原理描述:

1.   基于Canal开源产品,获取数据库增量日志数据。 什么是Canal,  请 点击

2.   典型管理系统架构,manager(web管理)+node(工作节点)

     a.  manager运行时推送同步配置到node节点

     b.  node节点将同步状态反馈到manager上

3.  基于zookeeper,解决分布式状态调度的,允许多node节点之间协同工作. 

 

什么是canal?

otter之前开源的一个子项目,开源链接地址: http://github.com/alibaba/canal

 

 

otter能解决什么?

1.  异构库同步

   a.  mysql ->  mysql/oracle.  (目前开源版本只支持mysql增量,目标库可以是mysql或者oracle,取决于canal的功能)

2.  单机房同步 (数据库之间RTT < 1ms)

   a. 数据库版本升级

   b. 数据表迁移

   c. 异步二级索引

3.  跨机房同步 (比如阿里巴巴国际站就是杭州和美国机房的数据库同不,RTT > 200ms, 亮点)

   a. 机房容灾

4.  双向同步

    a.  避免回环算法  (通用的解决方案,支持大部分关系型数据库)

    b.  数据一致性算法   (保证双A机房模式下,数据保证最终一致性, 亮点)

5.  文件同步

    a.  站点镜像  (进行数据复制的同时,复制关联的图片,比如复制产品数据,同时复制产品图片).

 

单机房复制示意图:

说明: 

   a.  数据on-Fly,尽可能不落地,更快的进行数据同步.  (开启node loadBalancer算法,如果Node节点S+ETL落在不同的Node上,数据会有个网络传输过程)

   b.  node节点可以有failover /  loadBalancer.  

 

跨机房复制示意图:

说明: 

   a.  数据涉及网络传输,S/E/T/L几个阶段会分散在2个或者更多Node节点上,多个Node之间通过zookeeper进行协同工作  (一般是Select和Extract在一个机房的Node,Transform/Load落在另一个机房的Node)

   b.  node节点可以有failover /  loadBalancer.  (每个机房的Node节点,都可以是集群,一台或者多台机器)

 

 

相关名词解释

 

otter核心model关系图

 

名词解释

  • Pipeline:从源端到目标端的整个过程描述,主要由一些同步映射过程组成
  • Channel:同步通道,单向同步中一个Pipeline组成,在双向同步中有两个Pipeline组成
  • DateMediaPair:根据业务表定义映射关系,比如源表和目标表,字段映射,字段组等
  • DateMedia : 抽象的数据介质概念,可以理解为数据表/mq队列定义
  • DateMediaSource : 抽象的数据介质源信息,补充描述DateMedia
  • ColumnPair : 定义字段映射关系
  • ColumnGroup : 定义字段映射组
  • Node : 处理同步过程的工作节点,对应一个jvm

otter的S/E/T/L stage阶段模型

说明:为了更好的支持系统的扩展性和灵活性,将整个同步流程抽象为Select/Extract/Transform/Load,这么4个阶段.

Select阶段: 为解决数据来源的差异性,比如接入canal获取增量数据,也可以接入其他系统获取其他数据等。

Extract/Transform/Load 阶段:类似于数据仓库的ETL模型,具体可为数据join,数据转化,数据Load的

 

相关实现介绍

QuickStart

See the page for quick start:  QuickStart.

AdminGuide

See the page for admin deploy guide :  AdminGuide

 

 



已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [阿里巴巴 开源 项目] 推荐:

阿里巴巴开源项目: 阿里巴巴去Oracle数据迁移同步工具

- - agapple
   08年左右,阿里巴巴开始尝试MySQL的相关研究,并开发了基于MySQL分库分表技术的相关产品,Cobar/TDDL(目前为阿里云DRDS产品),解决了单机Oracle无法满足的扩展性问题,当时也掀起一股去IOE项目的浪潮,愚公这项目因此而诞生,其要解决的目标就是帮助用户完成从Oracle数据迁移到MySQL上,完成去IOE的第一步. .

重磅!阿里巴巴正式开源全球化OpenMessaging和ApsaraCache项目

- -
10月14日,在2017杭州·云栖大会之开源技术峰会上,阿里巴巴正式发布了全球化OpenMessaging和ApsaraCache两个开源项目,并宣布与GitHub、Hashicorp两家公司成为技术合作伙伴. 此前,阿里巴巴捐赠开源的RocketMQ已被Apache基金会接纳为全球顶级项目,此番动作体现阿里巴巴在全球开源业界的引领地位.

阿里巴巴开源项目:分布式数据库同步系统otter(解决中美异地机房)

- - agapple
   阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,同时为了提升用户体验,整个机房的架构为双A,两边均可写,由此诞生了otter这样一个产品.    otter第一版本可追溯到04~05年,此次外部开源的版本为第4版,开发时间从2011年7月份一直持续到现在,目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4.

阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费

- - zzm
   早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求. 不过早期的数据库同步业务,主要是基于trigger的方式获取增 量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此 开启了一段新纪元.

阿里巴巴Dubbo分布式服务框架已开源

- tangfl - ITeye论坛最新精华讨论帖
Serving services with invocations everyday, Dubbo becomes the key part of Alibaba's SOA solution and has been deployed to the whole alibaba.com family:.

阿里巴巴的零知识证明

- 见涛 - 科学松鼠会
战争中你被俘了,敌人拷问你情报. 你是这么想的:如果我把情报都告诉他们,他们就会认为我没有价值了,就会杀了我省粮食,但如果我死活不说,他们也会认为我没有价值而杀了我. 怎样才能做到既让他们确信我知道情报,但又一丁点情报也不泄露呢. 这的确是一个令人纠结的问题,但阿里巴巴想了一个好办法,当强盗向他拷问打开山洞石门的咒语时,他对强盗说:“你们离我一箭之地,用弓箭指着我,你们举起右手我就念咒语打开石门,举起左手我就念咒语关上石门,如果我做不到或逃跑,你们就用弓箭射死我.

[原]阿里巴巴B2B搜索学习

- - 文武天下
主搜索:商品搜索、商家搜索、采购搜索、app搜索. 行业搜索:淘货源、淘工厂、聚好货、主题市场、品牌馆等. 由于用户多,需求强烈,收益大,所以功能、场景、架构做到极致高效. 代码复用性强:基础通用功能进行组件抽象化. 组件通用性好:一些组件或者组件进行组合的服务,适用更多场景,支持更多功能. 转化效果好:算法做的比较深入、细致.

专访阿里巴巴研究员赵海平:从Facebook到阿里巴巴

- - 博客园_新闻
赵海平,2007 年加入只有不到 50 个软件工程师的 Facebook,致力于软件性能和架构分析,在此期间创建了 HipHop 项目,重新编写和实现 PHP 语言,使其速度提高 5 到 6 倍,为公司节约数十亿美元. HipHop 项目之后,致力于“用异步处理来优化分布式系统”的设计理念中,并为此做了多项分布式数据库的优化研究,在 PHP 语言中加入了 yield 和 generator 的新功能,来帮助日趋复杂的 Facebook 网页设计.

阿里巴巴高层震动的扯淡

- chenqj - It Talks--上海魏武挥的博客
这是真扯淡了,完全就是写博客,没有什么中心思想,想扯哪里扯哪里. 国内外有两家公司,遥相呼应地都非常强调所谓“价值观”,外有谷歌,内有阿里. 谷歌上市时,可以挑战华尔街的规矩,阿里上市时,则创下当时一批IPO的新高. 故而,这两家公司都是一时的翘楚,属于“从优秀到卓越”的公司. 公司是非常象一个宗教组织的——或者这么说,“好”公司都得象宗教组织.

阿里巴巴集团股权结构图

- telefan - Finacial Planet China 中国投资专家博客集
雅虎SEC文件原文是:“为了尽快获得一个重要牌照,阿里巴巴集团旗下在线支付公司支付宝已经被重组,其100%流通股现由阿里巴巴集团CEO马云控股的一家中国公司持有. 阿里巴巴集团管理层、主要股东雅虎和软银参与了有关支付宝重组条款的详细讨论. 收起 | 查看大图 | 向左转 向右转.