MySQL云数据库服务的架构探索

标签: mysql 数据库 服务 | 发表时间:2013-09-03 22:31 | 作者:
出处:http://kb.cnblogs.com/

  MySQL作为一种低成本、高性能、可靠性良好而且开源的数据库产品,在互联网企业中应用非常广泛。例如,淘宝网就有数千台MySQL服务器。虽然近两年来NoSQL的发展很快,新产品层出不穷,但在业务中应用NoSQL对开发者来说要求比较高,而MySQL拥有成熟的中间件、运维工具, 已经形成一个良性的生态圈。因此,在现阶段的应用中仍然以MySQL为主,NoSQL为辅。

  在过去一年里,我们在MySQL托管平台方向做了大量工作,设计和实现了一套UMP(Unified MySQL Platform)系统,提供低成本和高性能的MySQL云数据库服务。开发者从平台上申请MySQL实例资源,通过平台提供的单一入口来访问数据。UMP系统内部维护和管理资源池,以透明的形式提供主从热备、数据备份、迁移、容灾、读写分离和分库分表等一系列服务。平台通过在一台物理机上运行多个MySQL实例的方式来降低成本,并且实现了资源隔离,按需分配和限制CPU、内存和I/O资源,同时在不影响提供数据服务的前提下,支持根据用户业务的发展来动态扩容和缩容。

   架构的演变

  UMP系统第一版基于MySQL Proxy 0.8版修复了若干Bug,并对Proxy插件中管理用户连接和数据库连接的状态机流程进行了修改;编写了Lua脚本实现到中心数据库获取用户认证信息和后台数据库地址,来对用户进行验证;建立了到后台数据库的连接和转发数据包等逻辑(如图1所示)。

图1 UMP系统的第一版(当时称作RDS系统)采用MySQL Proxy

  在开发和部署第一版的过程中,我们逐渐认识到几个问题。

  首先,MySQL Proxy 0.8版对多线程的支持比较简单粗暴,多个工作线程共享同一个消息队列,同时监听着同一个socketpair通道。当有新事件进入消息队列后,socketpair会被写入一个字节,所有休眠中的线程都会被唤醒,去竞争一个互斥锁从消息队列中取任务。这种实现有几个问题:一是造成“惊群”现 象,多个线程被唤醒但只有一个线程需要去完成任务;二是任务的CPU亲缘性比较差,在同一个状态机上触发的事件会在多个处理器上来回切换执行。此外,MySQL Proxy中还使用了全局Lua锁,同时仅允许一个工作线程执行Lua脚本(计划在0.9版本中改进)。因此,在多线程模式下,MySQL Proxy的性能远不能同CPU核数保持线性增长,甚至在16核上的性能还不如4核。而使用单进程模式时,一台物理机上需要部署多个进程才能有效利用机器的处理能力,但给部署、监控和服务的升级带来麻烦。

  其次,由于MySQL Proxy的框架在功能上不容易扩展,所以实现用户的连接数限制、QPS限制及主从切换、读写分离、分库分表等功能比较困难。

  最后,MySQL Proxy的社区近些年并不活跃,且C语言对开发者功底的要求比较高,很难要求团队所有成员协同开发出兼顾优雅和正确性的代码。

  因此,我们决定用Erlang语言重新编写Proxy服务器,替换了原有的MySQL Proxy模块。目前,整个项目拥有5万行Erlang源码,3万行C/C++源码,2万行其他语言源码。

   为什么选择Erlang语言

  Erlang是一个结构化的、动态的、函数式的编程语言。常见的一种说法是Erlang是面向并发的(Concurrent-Oriented),这主要指Erlang在语言中定义了Erlang进程的概念和行为(本文中提到的“Erlang进程”都是指Erlang语言中定义的进程,以区分于大家熟悉的操作系统进程)。与操作系统的进程/线程相比,Erlang进程同样是并发执行的单位,但特别轻量级,它是在Erlang虚拟机内管理和调度的“绿进程”, 即用户态进程(如图2所示)。举个例子,在关闭了HiPE和SMP支持的Erlang虚拟机中,一个新创建的进程占用的内存仅为309个字 (Word,64位服务器上为8个字节)。其中233个字为堆空间(包含栈),创建和结束一个进程约耗时1~3微秒,而一个Erlang虚拟机中可以同时支持几十万甚至更多个进程。

图2 Erlang的轻量级进程

  说到Erlang语言,就必须提及OTP(Open Telecom Platform,开放电信平台)。OTP是用于开发分布式的、高容错性的Erlang应用程序的框架与平台。例如,一个Erlang节点连接并注册到Erlang集群上,发现集群中的其他节点,并与它们进行RPC通信,这些都在OTP里的Kernel服务中实现。OTP和Erlang语言关系如此紧密,以至于两者通常合称为Erlang/OTP,因此从严格的意义上来讲,应该说我们选择了Erlang/OTP来构造UMP系统。Erlang/OTP很好地抽象了开发一个分布式的、高容错性的应用程序所需的要素,包括网络编程框架、序列化和反序列化、容错、热部署。

  为了支持并发,服务器端多采用多进程/多线程模型,即每个进程/线程处理一个客户端连接。但受限于操作系统资源,每台服务器可以处理的并发连接数并不高,且由于进程/线程上下文切换开销,系统性能会受到影响。而开发高并发、高性能服务器一般采用事件驱动的状态机模型,底层采用非阻塞I/O(Linux中的epoll,BSD系统中的kqueue,Java中的nio)或者异步I/O,或者采用异步的事件通知的I/O框架,例如C/C++下的ACE、boost::asio、 libevent,Java下的MINA等。在业务层则使用状态机来表示每个客户端连接,通过I/O事件、超时事件驱动状态机进行跳转,每个进程/线程可处理成千上万个客户端连接。与多进程/多线程模型相比,虽然事件驱动的状态机模型并发量更大、性能更好,但把业务逻辑表达成状态机是一件困难的事情。相比之下,多进程/多线程模型中的业务逻辑可以实现为顺序执行的代码,开发起来要简单得多。

  Erlang/OTP中的网络编程模型则结合了两者的优点,每个Erlang进程处理一个客户端连接,业务逻辑是顺序执行的。Erlang进程是极轻量级的,可以认为每个Erlang进程是一个状态机,堆和栈上的数据是这个状态机的状态。Erlang进程收到数据包或者其他进程发来的消息后执行处理例程,相当于状态机的跳转,因此也具有高并发和高性能的优势。

  Erlang/OTP定义了“External Term Format”协议将Erlang数据结构与二进制字符串相互转化,并用C实现在Erlang虚拟机中,在进行跨节点通信时遵从这个协议。因此,开发者无须额外考虑序列化和反序列化问题。

  在容错方面,Erlang进程的数据空间是相互隔离的,没有共享内存,因此一个Erlang进程崩溃不会影响其他Erlang进程运行,更不会造成Erlang虚拟机崩溃。OTP提供了监督树机制和heart模块,前者在监控到Erlang进程崩溃时进行故障恢复,后者在发现Erlang虚拟机失去响应时重启程序。

  Erlang/OTP提供热部署方式,可以避免服务升级时造成不可用时间。此外,OTP还提供了一些在系统运行时观察系统状态的工具。例如lcnt工具,可以统计虚拟机内部的锁使用次数和冲突次数,指导系统的优化。

   当前系统架构

  在设计UMP系统时,我们遵循了以下几条原则:

  • 系统对外保持单一入口,对内维护单一资源池。
  • 保证服务的高可用性,消除单点故障。
  • 保证系统是弹性可伸缩的,可以动态地增加、删减计算与存储节点。
  • 保证分配给用户的资源也是弹性可伸缩的,资源之间相互隔离。

  UMP系统中的角色包括:Controller服务器、Proxy服务器、Agent服务器、API/Web服务器、日志分析服务器和信息统计服务器。图3是当前UMP系统的架构图。UMP系统依赖Mnesia、LVS、RabbitMQ、ZooKeeper等开源组件。

图3 当前UMP系统架构图

  Mnesia是OTP提供的分布式数据库,与MySQL NDB出自同门,都是20世纪90年代中期Ericsson为电信业务研发的数据产品。Mnesia支持事务、支持透明的数据分片,利用两阶段锁实现分布式事务,可以线性扩展到至少50个节点。

  从CAP理论的角度来说,Mnesia更倾向于牺牲可用性来换取强一致性,属于CP阵营。但它也提供了脏读、脏写操作,可以绕过事务管理去操作数据,这时不保证一致性,有点类似于AP的系统。在工程实践中,我们用事务去修改关键数据(例如路由表),而用脏写接口去写非关键数据(例如用户的状态信息),读取数据用脏读接口。

  Controller服务器向UMP集群提供各种管理服务,实现元数据存储、集群成员管理、MySQL实例管理、故障恢复、 备份、迁移和扩容等功能。Controller服务器上运行了一组Mnesia分布式数据库服务,系统的元数据如集群成员、用户的配置和状态信息,以及用户名到后端MySQL实例地址的映射关系(路由表)等都存储在Mnesia里,其他服务器组件通过发送请求到Controller服务器获取用户数据。

  为了达到高可用性,系统中会部署多台Controller服务器,它们通过ZooKeeper提供的分布式锁算法选举出一个leader,这个leader负责调度和监控各种系统任务,例如创建和删除数据库实例、备份和迁移等。这些系统任务可以分成多个步骤,而且会涉及系统中的多个组件,例如主库、从库和 Proxy服务器等,还需要提供失败时回滚的方法。因此,我们采用类似工作流的方式来实现。每个系统任务都分成多个阶段的Erlang进程,每执行完一个 步骤跳进下个步骤之前会把中间状态持久化到Mnesia中。如果任务因为节点故障停止的话,leader能检测到并重新发起该任务,任务重启后会从上一次失败的“断点”继续向下执行。

  API/Web服务器向用户提供了系统管理界面。它们是基于开源项目Mochiweb和Chicago Boss开发的,Mochiweb提供HTTP/HTTPS服务,而Chicago Boss是由Nginx的作者之一Evan Miller开发的,提供类似Rails的MVC框架。与Rails比,Erlang开发的框架天生就对并发有很好的支持,每个请求占用一个轻量级的Erlang进程,而Rails虽然在最近引入了多线程安全,但处理每条请求时仍然是独占整个进程的,因此需要使用多进程模型处理并发请求,通过 Phusion Passenger等应用服务器进行派发。

  Proxy服务器向用户提供访问MySQL数据库的服务,它完全实现了MySQL协议,用户可以使用已有的MySQL客户端连接到Proxy服务器,Proxy服务器通过用户名获取到用户的认证信息、资源配额的限制(例如最大连接数、QPS和IOPS等),以及后台MySQL实例的地址(列表),再将用户的SQL查询请求转发到正确的MySQL实例上。

  除了数据路由的基本功能外,Proxy服务器中还实现了资源限制、屏蔽MySQL实例故障、读写分离、分库分表、记录用户访问日志等功能。Proxy服务器是无状态的,服务器宕机不会对系统中其他服务器造成影响,只会造成连接到该Proxy的用户连接断开。多台Proxy服务器采用LVS HA方案实现负载均衡,用户应用重连后会被LVS定向到其他的Proxy上。

  Agent服务器部署在运行MySQL进程的机器上,用来管理每台物理机上的MySQL实例,执行创建、删除、备份、迁移和主从切换等操作,收集和分析MySQL进程的统计信息、bin log和slow query log。

  日志分析服务器会存储和分析Proxy服务器传入的用户访问日志,并实现了实时索引供用户查询一段时间内的慢日志和统计报表。信息统计服务器定期将采集到的用户连接数、QPS数值,以及MySQL实例的进程状态用RRDtool进行统计,可画图展示到Web界面上,也可为今后实现弹性的资源分配和自动化的 MySQL实例迁移提供依据。

  UMP系统中各节点间的通信(不包括SQL查询、日志等大数据流的传输,这些还是直接走TCP的)都通过RabbitMQ,作为消息通信的中间件来使用,以保证消息发送的可靠性。ZooKeeper则主要发挥配置服务器、分布式锁,以及监控所有MySQL实例的作用。

  在多个组件的协同作业下,整个系统实现了对用户透明的容灾、读写分离、分库分表功能。系统内部还通过多个小规模用户共享同一个MySQL实例,中等规模用户独占一个MySQL实例,多个MySQL实例共享同一个物理机的方式实现资源的虚拟化,降低整体成本。在资源隔离方面,通过Cgroup限制MySQL进程资源,以及在Proxy服务器端限制QPS相结合的方法,UMP系统能在实现资源虚拟化的同时保障用户的服务质量。此外,UMP系统综合运用SSL数据库连接、数据访问IP白名单、记录用户操作日志、SQL拦截等技术保护用户的数据安全。

   结束语

  UMP系统的一些组件,例如Proxy服务器和日志分析服务器,目前已经运用在天猫的聚石塔平台中,为电商和ISV提供安全的数据云服务。此外,UMP系统还运用在淘宝的店铺装修平台中,为开发者提供数据服务。下一阶段,我们希望UMP系统能进一步为企业降低数据存储的成本。

  作者曹伟,花名鸣嵩,淘宝核心系统数据库组技术专家,目前从事高性能服务器、IM、P2P、微博等各类型分布式系统、海量存储产品的开发。

相关 [mysql 数据库 服务] 推荐:

mysql数据库性能优化的关键参数及mysql服务器优化

- - CSDN博客数据库推荐文章
MySQL数据库性能优化的关键参数. 关键参数一: back_log. 要求 MySQL 能有的连接数量. 当主要MySQL线程在一个很短时间内得到非常多的连接请求,这就起作用,然后主线程花些时间(尽管很短)检查连接并且启动一个新线程. back_log 值指出在MySQL暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中.

检查MySQL数据库服务器的shell脚本

- 铭文 - MySQLOPS 数据库与运维自动化技术分享
某著名电子商务公司的同事,编写的shell脚本,用于获得数据库服务器的数据库性能和配置,以及服务器负载LOAD等信息. shell脚本较长,也对shell脚本做了部分修改,同时为使技术朋友们更容易理解和使用,添加相关的文字和图片描述作为手册. 1.         功能描述. 执行shell命令:sh Get_Local_Kpi.sh –help,能显示相关信息,如图1-1:.

Google推出MySQL数据库云托管服务

- bill - cnBeta.COM
感谢啊...啊...啊...的投递. Google推出了一个新的服务,这让云计算平台对企业来说更具吸引力. 本周四(10月6日)Google透露了Google Cloud SQL的部分信息,这是一个可扩展的MySQL数据库的托管环境.

MySQL云数据库服务的架构探索

- - 博客园_知识库
  MySQL作为一种低成本、高性能、可靠性良好而且开源的数据库产品,在互联网企业中应用非常广泛. 例如,淘宝网就有数千台MySQL服务器. 虽然近两年来NoSQL的发展很快,新产品层出不穷,但在业务中应用NoSQL对开发者来说要求比较高,而MySQL拥有成熟的中间件、运维工具, 已经形成一个良性的生态圈.

Mysql数据库服务器的CPU占用很高分析

- - ITeye博客
   MySQl服务器CPU占用很高.   一个简单的接口,根据传入的号段查询号码归属地,运行. 性能测试脚本,20个并发mysql的CPU就很高,监控发现只有一个select语句,且表建立了索引.   查询语句索引没有命中导致.   开始时的select. 咨询说where中使用SUBSTRING函数不行,修改函数为LEFT,语句为 SELECT `province_name`, `city_name` FROM `conf_phoneno_section` WHERE LEFT(?, phoneno_section_len) = phoneno_section LIMIT ?.

FAQ系列 | 是什么导致MySQL数据库服务器磁盘I/O高?

- - 运维派
有个MySQL服务器的磁盘I/O总有过高报警,怎么回事. 我的朋友小明,TA有个MySQL服务器最近总是报告磁盘I/O非常高,想着我这有免费的不用白不用的企业技术服务(TA自己这么想的),就找我帮忙给把把脉. 作为一个经验丰富(踩坑不断)的DBA,出现这种问题,一般来说,磁盘I/O很高无非是下面几个原因引起:.

MySQL数据库的修复

- Xin - 博客园-首页原创精华区
找到mysql的安装目录的bin/myisamchk工具,在命令行中输入:. 然后myisamchk 工具会帮助你恢复数据表的索引. 好象也不用重新启动mysql,问题就解决了. 当你试图修复一个被破坏的表的问题时,有三种修复类型. 如果你得到一个错误信息指出一个临时文件不能建立,删除信息所指出的文件并再试一次--这通常是上一次修复操作遗留下来的.

微服务架构下,MySQL 读写分离后,数据库 CPU 飙升卡壳问题解析

- - IT瘾-dev
最近系统(基于SpringCloud+K8s)上线,运维团队早上8点左右在群里反馈,系统登录无反应. 我的第一反应是Mysql数据库扛不住了. 排查问题也是一波三折,有网络问题,也有mysql读写分离后数据库参数优化问题. 1、运维团队早上8点左右在群里反馈,系统登录无反应. 2、DevOps团队通过查看Kibana日志,发现ELK、k8s集群、Redis、Mongodb、Nigix、文件服务器全部报:”Connect Unknown Error“,惊出一身冷汗.

MySQL数据库的IO操作

- - haohtml's blog
         淘宝丁奇分享的PPT:MySQL数据库的IO操作,详细分享了四块的内容,并且告诉大家如何调整MySQL数据库IO操作相关的参数,给出了详细的选择策略,现替其整理成文章分享与此. 4.影响io行为的一些参数和选择策略. 一个简单的查询 select * from t where id>=(  select id from t where k1=100 limit 100000,1) limit 2;.

MySQL数据库优化总结

- - CSDN博客推荐文章
        对于一个以数据为中心的应用,数据库的好坏直接影响到程序的性能,因此数据库性能至关重要. 一般来说,要保证数据库的效率,要做好以下四个方面的工作:数据库设计、sql语句优化、数据库参数配置、恰当的硬件资源和操作系统,这个顺序也表现了这四个工作对性能影响的大小.        一、数据库设计   适度的反范式,注意是适度的.