京东容器集群支持数据库实践

标签: Docker实践分享/开发实战 容器 | 发表时间:2017-01-16 02:49 | 作者:刀客info
分享到:
出处:http://www.dockerinfo.net

京东 容器数据库系统,管理1800台物理计算节点,生产1W+ 多MySQL Docker容器实例。架构简单可靠,Docker容器计算平台与MySQL集群管理平台解耦处理。为描述方便,京东容器化数据库系统命名为CDS,底层京东Docker容器计算平台命名为JDOS。

本文重点介绍JDOS如何支持CDS。CDS是更大的话题,后续数据库团队会分享相关实践。

介绍

CDS依赖京东坚实的JDOS技术,生产运行1W+个MySQL容器实例。CDS借助JDOS技术优势获得主要3个方面的技术收益:

  1. CDS借助Docker容器资源隔离能力,有效支持同一宿主物理机上多MySQL实例直接资源隔离,极大提高数据库实例部署密度,有效提升资源使用率
  2. CDS借助Docker容器资源平滑升级能力,方便数据库实例平滑扩容需求
  3. CDS借助JDOS平台资源池化提供管理容器生命周期API能力,实现用户自助上下线数据库以及自动化运维。

本文会从架构设计,性能测试等方面说明京东CDS落地实践过程。

整体架构

图片描述
CDS与JDOS解耦,CDS负责管理MySQL主从等集群方式的生命周期管理;京东JDOS负责单个MySQL容器实例生命周期管理。京东Docker容器集群分多Region,多POD部署,且不同集群之间网络互通,有效支持每个MySQL实例可被业务系统直接调用,确保极佳的网络延迟性能。

MySQL集群实例

优先级 配额

数据库cluster根据业务重要性划分不同的优先级,京东的划分更加细致,这里我们简化分2种优先级:核心系统,非核心系统。

云数据库管理平台只需要在调用京东JDOS平台API时候,带上priority=0,即可表示创建的是核心系统依赖的数据库。京东JDOS平台会强制把属于该cluster的多MySQL实例调度到不同的机架,且不资源“超配”。

底层资源云化和核算成本需求,会针对按事业部配给一定的配额,所在的创建数据库集群实例成功后,自动从该部门扣除对应的资源值,反之销毁会归还配额到部门。

监控 告警

数据库cluster自身DB层面的告警由云数据库集群平台提供。涉及到底层计算,网络,存储等资源层面的告警,由底层京东Docker容器平台提供数据给云数据库集群。

JDOS架构

图片描述
JDOS是京东统一数据中心计算,网络,存储管理平台。除支持CDS外,也支持京东全部的业务系统运行环境。

图片描述
JDOS系统基于京东扎实的Openstack,Docker等开源技术的持续研发能力,提供稳定,高性能的计算资源平台。每个组件都是独立服务部署,采用MQ互相交互信息,京东重构了主要的核心组件服务,使JDOS平台可以支持更大的集群规模,目前稳定在6K台物理计算节点。重新设计JDOS升级功能,做到平滑无感知,有效支撑长时间运行容器的稳定性。

JDOS控制节点

图片描述
JDOS控制节点服务组件,借助Haproxy做PooL模式部署,有效避免单点和负载能力问题。
控制节点3台物理机,分别跨在不同的机架上,避免Tor交换机,机架电力,服务器等故障影响。

控制节点服务组件混合部署,进一步提升控制节点每个服务组件的高可用和负载能力。比如计算服务API,镜像服务API,认证服务API,网络服务API,存储服务API进程混部同一台物理机。

JDOS计算节点

计算节点管理网络与虚拟化数据网络使用不同的网口进行隔离,全万兆网络环境,对数据库的网络环境支持非常好。特别京东在虚拟化网络技术方向的扎实积累,基本可以做到虚拟化网络损耗控制在2%以下。

调度

图片描述
调度架构简单,负载可扩展。

图片描述
主要思想是,先一系列filter掉不满足要求的计算节点,然后打分,最后做排序,选择最优并返回调度结果。

资源分区调度

按Region,POD,Zone,物理机等4个层面划分计算区域,调度算法灵活可配确保业务特点与计算硬件环境特点结合适配。如CDS的机器全部是SSD的硬盘,所以JDOS会在每个数据中心提供CDS SSD Zone的tag,把CDS的创建请求优先调度到具有SSD硬盘的计算Zone。

亲和性和反亲和性调度

创建全新数据库集群实例如一主一层,JDOS调度器会把这2个MySQL容器实例分布到不同的机架。

业务多从库需求,要求从库是高性能读,JDOS调度器会根据performance_slave=True标记,尽可能把从库创建到网络繁忙度较小的机架,并与主在相同的物理POD,甚至同一个Tor交换机下面的不同物理机上。

业务增加备份性质的从库需求,JDOS调度器会根据DB_Cluster_ID=uuid, backup_slave=True标记,强制把从库创建避免已经有该DB_cluser_ID所在的宿主机,以及机架甚至POD。

可扩展性

底层JDOS资源池的扩容性,按使用率,有计划进行扩容底层物理计算资源。CDS每个库使用资源的平滑扩容,比如CPU,内存,网络,磁盘空间均支持平滑扩容功能。采用直接重置修改cgroup的配置,即可达到平滑扩容的目的。结合京东设计的cpu set与cpu share并存的资源隔离策略,提升资源使用率。

性能

主要关注MySQL运行在Docker容器内的实际DB层面的性能。

MySQL实例性能

性能测试环境部署图

图片描述
测试环境硬件配置

图片描述
多容器实例基准测试

测试模型

图片描述
场景描述

基础数据为:8个容器,每个容器基础数据量为1000W(532M),单表加压,每个表10W行记录,同时对多个容器发起相同的请求,测试响应情况,并对比同等线程数下物理机的情况。

容器测试数据

图片描述
物理机数据

图片描述
稳定性测试

场景描述

单容器1000W基础数据,单表请求10W数据,8容器并发运行24小时。

性能表现

图片描述
CPU表现

图片描述
磁盘表现

图片描述
网络表现

图片描述

作者:京东商城-基础平台部-集群技术部副总监,鲍永成。京东IPDCHAT公众号输出京东商城基础平台部内部技术实战,欢迎关注。

相关 [京东 集群 数据库] 推荐:

京东容器集群支持数据库实践

- - DockerInfo
京东 容器数据库系统,管理1800台物理计算节点,生产1W+ 多MySQL Docker容器实例. 架构简单可靠,Docker容器计算平台与MySQL集群管理平台解耦处理. 为描述方便,京东容器化数据库系统命名为CDS,底层京东Docker容器计算平台命名为JDOS. 本文重点介绍JDOS如何支持CDS.

Clustrix Sierra关系数据库集群

- 2sin18 - 风轻扬
Clustrix的Sierra数据库集群引擎是一个share-nothing架构的可伸缩关系数据库集群. 官方宣传的非常诱人,说是功能像集中式关系数据库一样强大,可伸缩性超强,不需要规划什么数据分区,可用性也非常高. 简直是集SQL和NoSQL的优点于一身. 据说最近阿里云的RDS服务很可能是基于这个,因此仔细去了解了一下,发现架构上属于软硬一体化的路子,感觉架构上还是有些问题,对硬件的要求也不低.

惊爆!京东数据库疑似泄露

- - 博客园_新闻
2 月 28 日晚间消息,部分网友今日通过新浪微博爆料称,京东用户数据库资料遭泄露,建议账户有资金的尽快处理. 经新浪科技查证泄露的用户资料截图,使用其中的账号和密码可正常登录,包括用户姓名、收货地址、账户余额和订单信息等信息一览无余. 新浪微博用户蔡某今天下午五点半发布微博称:“京东帐户上有钱的赶紧去处理一下,京东数据库泄露.

Facebook揭密:如何让MySQL数据库集群自主运行

- - IT经理网
Facebook运行着全球最大的MySQL数据库集群,该集群分布在两个大洲上的多个数据中心中数以千计的服务器上. 让人不解的是,Facebook只动用了一个很小的团队来管理这个庞大的MySQL数据库集群. 近日Facebook的Shlomo Priymak在Facebook博客上 发文揭开了这个秘密.

在集群上支持数据库大数据量导出

- - Java - 编程语言 - ITeye博客
数据库表(经过程序处理)导出一般使用EXCEL文件,技术一般有POI、JXL、FastExcel. 但是当文件过大(几十个字段,行数超过200,000)的时候,往往会出现内存溢出OutOfMemery,这个是应用无非承受的. 对于导出这么大量的数据,一般没有实时性的要求,也没有外观的要求. 业务部分的需求一般是:导出80W行数据,不管是什么,最后能变化成EXCEL即可.

数据库sharding

- - 数据库 - ITeye博客
当团队决定自行实现sharding的时候,DAO层可能是嵌入sharding逻辑的首选位置,因为在这个层面上,每一个DAO的方法都明确地知道需要访问的数据表以及查询参数,借助这些信息可以直接定位到目标shard上,而不必像框架那样需要对SQL进行解析然后再依据配置的规则进行路由. 另一个优势是不会受ORM框架的制约.

数据库索引

- - CSDN博客推荐文章
索引是由用户创建的、能够被修改和删除的、实际存储于数据库中的物理存在;创建索引的目的是使用户能够从整体内容直接查找到某个特定部分的内容. 一般来说,索引能够提高查询,但是会增加额外的空间消耗,并且降低删除、插入和修改速度. 1.聚集索引:表数据按照索引的顺序来存储的. 2.非聚集索引:表数据存储顺序与索引顺序无关.

数据库事务

- - CSDN博客推荐文章
事务具备4个特性:原子性(Atomicity),一致性(Consistency),隔离性(Isolation)和持续性(Durability). 这4个特性也简称为ACID性. (1)原子性:事务是能够用中最小执行单位,具有不可再分性. (2)一致性:事务执行的结果,必须使数据库从一个一致性状态,变到另一个一致性状态.

数据库优化

- - 数据库 - ITeye博客
程序运行效率,优化应用程序,在SP编写过程中应该注意以下几点: . a) SQL的使用规范: .   i.尽量避免大事务操作,慎用holdlock子句,提高系统并发能力.   ii.尽量避免反复访问同一张或几张表,尤其是数据量较大的表,可以考虑先根据条件提取数据到临时表中,然后再做连接.   iii.尽量避免使用游标,因为游标的效率较差,如果游标操作的数据超过1万行,那么就应该改写;如果使用了游标,就要尽量避免在游标循环中再进行表连接的操作.

数据库事务

- - 数据库 - ITeye博客
事务传播发生在类似以下情形:. 假设methodB的配置是:. 如果methodA在事务里,那么methodB也在这个事务中运行. 如果methodA不在事务里,那么methodB重新建立一个事务运行. 如果methodA在事务里,那么methodB也在这个事务中运行. 如果methodA不在是事务里,那么methodB在非事务中运行.