kingshard--一个支持sharding的MySQL Proxy项目

标签: go mysql | 发表时间:2015-07-19 07:56 | 作者:flike
出处:http://segmentfault.com/blogs

kingshard简介

kingshard是一个由Go开发高性能MySQL Proxy项目,kingshard在满足基本的读写分离的功能上,致力于简化MySQL分库分表操作;能够让DBA通过kingshard轻松平滑地实现MySQL数据库扩容。

主要功能:

  1.读写分离。
2.跨节点分表。
3.客户端IP访问控制。
4.平滑上线DB或下线DB,前端应用无感知。

kingshard sharding介绍

现在开源的MySQL Proxy已经有几款了,并且有的已经在生产环境上广泛应用。但这些proxy在sharding方面,都是不能分子表的。也就是说一个node节点只能分一张表。但我们的线上需求通常是这样的:

我有一张非常大的表,行数超过十亿,需要进行拆分处理。假设拆分因子是512。
如果采用单node单数据库的分表方式,那其实这512个子表还是存在一个物理节点上,意义不大。
如果采用他们的sharding功能,就需要512个物理节点,也不现实。
面对这种需求,现有的proxy就不能很好地满足要求了。通常我们希望将512张子表均分在几个MySQL节点上,从而达到系统的横向扩展。

然而kingshard较好地实现了这种典型的需求。简单来说,kingshard的分表方案采用两级映射的方式:

  1.kingshard将该表分成512张子表,例如:test_0000,test_0001,...
test_511。
2.将shardKey通过hash或range方式定位到其要操作的记录在哪张子表上。
3.子表落在哪个node上通过配置文件设置。

sharding支持的操作

目前kingshard sharding支持insert, delete, select, update和replace语句, 所有这五类操作都支持跨子表。但写操作仅支持单node上的跨子表,select操作则可以跨node,跨子表。

sharding方式

range方式

基于整数范围划分来得到子表下标。该方式的优点:基于范围的查询或更新速度快,因为查询(或更新)的范围有可能落在同一张子表中。这样可以避免全部子表的查询(更新)。缺点:数据热点问题。因为在一段时间内整个集群的写压力都会落在一张子表上。此时整个mysql集群的写能力受限与单台mysql server的性能。并且,当正在集中写的mysql 节点如果宕机的话,整个mysql集群处于不可写状态。基于range方式的分表字段类型受限。

hash方式

kingshard采用(shardKey%子表个数)的方式得到子表下标。优点:数据分布均匀,写压力会比较平均地落在后端的每个MySQL节点上,整个集群的写性能不会受限于单个MySQL节点。并且当某个分片节点宕机,只会影响到写入该节点的请求,其他节点的写入请求不受影响。分表字段类型不受限。因为任何一个类型的分表字段,都可以通过一个hash函数计算得到一个整数。缺点:基于范围的查询或更新,都需要将请求发送到全部子表,对性能有一定影响。但如果不是基于范围的查询或更新,则性能不会受到影响。

sharding相关的配置介绍

在配置文件中,有关sharding设置是通过scheam设置:

```

schemas :

  db : kingshard
nodes: [node1,node2]
rules:
    default: node1
    shard:
    -   
        #分表名字
        table: test_shard_hash
        #sharding key
        key: id
        #子表分布的节点名字
        nodes: [node1, node2]
        #sharding类型
        type: hash
        #子表个数分布,表示[test_shard_hash_0000, test_shard_hash_0001, test_shard_hash_0002, test_shard_hash_003]在node1上。
        #[test_shard_hash_0004, test_shard_hash_0005, test_shard_hash_0006, test_shard_hash_007]在node2上
        locations: [4,4]

    -   
         #分表名字
        table: test_shard_range
        #sharding key
        key: id
        #sharding类型
        type: range
        #子表分布的节点名字
        nodes: [node1, node2]
        #子表个数分布,表示[test_shard_hash_0000, test_shard_hash_0001, test_shard_hash_0002, test_shard_hash_003]在node1上。
        #[test_shard_hash_0004, test_shard_hash_0005, test_shard_hash_0006, test_shard_hash_007]在node2上
        locations: [4,4]
        #每张子表的记录数。[0,10000)在test_shard_hash_0000上,[10000,20000)在test_shard_hash_0001上。....
        table_row_limit: 10000

```
一个kingshard实例只能有一个schemas,从上面的配置可以看出,schema可以分为三个部分:

  1.db,表示这个schemas使用的数据库。

2.nodes,表示子表分布的节点名字。

3.rules,sharding规则。其中rules又可以分为两个部分:
    - default,默认分表规则。所有操作不在shard(default规则下面的规则)中的表的SQL语句都会发向该node。
    - hash,hash分表方式。
    - range,range分表方式

kingshard架构图

基于kingshard的子表迁移方案

通过kingshard可以非常方便地动态迁移子表,从而保证MySQL节点的不至于负载压力太大。大致步骤如下所述:

  1. 通过自动数据迁移工具开始数据迁移。
  2. 数据差异小于某一临界值,阻塞老子表写操作(read-only)
  3. 等待新子表数据同步完毕
  4. 更改kingshard配置文件中的对应子表的路由规则。
  5. 删除老节点上的子表。

Exaple

简单演示一下kingshard的相关操作,感兴趣的同学可以自己试一试。:)

  #启动kingshard
kingshard git:(master) ✗ ./bin/kingshard -config=etc/multi.yaml
kingshard
2015/07/19 11:13:43 - INFO - server.go:[205] - [server] "NewServer" "Server running" "netProto=tcp|address=127.0.0.1:9696" conn_id=0

#另一个终端连接kingshard
mysql -ukingshard -pkingshard -h127.0.0.1 -P9696;
Warning: Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 10001
Server version: kingshard-1.0 Homebrew

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>use kingshard;
Database changed
mysql> select/*master*/ * from kingshard_test_conn;
+----+----------+------+-------+------+------+
| id | str      | f    | e     | u    | i    |
+----+----------+------+-------+------+------+
|  1 | a        | 3.14 | test1 | NULL | NULL |
|  5 | ""''\abc | NULL | NULL  | NULL | NULL |
|  6 | 中国     | NULL | NULL  | NULL | NULL |
+----+----------+------+-------+------+------+
3 rows in set (0.01 sec)

mysql> select * from test_shard_hash where id in(6,10);
+----+-------+------+-------+------+------+
| id | str   | f    | e     | u    | i    |
+----+-------+------+-------+------+------+
| 10 | world |  2.1 | test1 |    1 |    1 |
+----+-------+------+-------+------+------+
1 row in set (0.03 sec)

mysql> show tables;
+----------------------------+
| Tables_in_kingshard        |
+----------------------------+
| kingshard_test_conn        |
| kingshard_test_proxy_conn  |
| kingshard_test_proxy_stmt  |
| kingshard_test_shard_hash  |
| kingshard_test_shard_range |
| kingshard_test_stmt        |
| test_shard_hash_0000       |
| test_shard_hash_0001       |
| test_shard_hash_0002       |
| test_shard_hash_0003       |
| test_shard_range_0000      |
| test_shard_range_0001      |
| test_shard_range_0002      |
| test_shard_range_0003      |
+----------------------------+
14 rows in set (0.00 sec)

反馈

目前kingshard还是1.0版本,比较核心的功能已经实现了。但还有很多地方不完善。如果您在使用kingshard的过程中发现BUG或者有新的功能需求,非常欢迎您发邮件至flikecn#126.com与作者取得联系,或者加入QQ群(147926796)交流。

github: https://github.com/flike/kingshard

相关 [kingshard sharding mysql] 推荐:

kingshard--一个支持sharding的MySQL Proxy项目

- - SegmentFault 最新的文章
kingshard是一个由Go开发高性能MySQL Proxy项目,kingshard在满足基本的读写分离的功能上,致力于简化MySQL分库分表操作;能够让DBA通过kingshard轻松平滑地实现MySQL数据库扩容. 4.平滑上线DB或下线DB,前端应用无感知. kingshard sharding介绍.

轻量级Mysql分库分表(Sharding)中间件——Kratos

- - gao_xianglong的自言自语
基于Java语言编写的轻量级分库分表(Sharding)中间件,丰富的Sharding算法支持(2类4种分片算法),能够方便DBA实现库的水平扩容和降低数据迁移成本. Kratos站在巨人的肩膀上(SpringJdbc),采用与应用集成架构,放弃通用性,只为换取更好的执行性能与降低分布式环境下外围系统的宕机风险.

数据库sharding

- - 数据库 - ITeye博客
当团队决定自行实现sharding的时候,DAO层可能是嵌入sharding逻辑的首选位置,因为在这个层面上,每一个DAO的方法都明确地知道需要访问的数据表以及查询参数,借助这些信息可以直接定位到目标shard上,而不必像框架那样需要对SQL进行解析然后再依据配置的规则进行路由. 另一个优势是不会受ORM框架的制约.

MongoDB的分片Sharding

- - 博客园_首页
一、         分片簇综述. 分片是mongoDB扩展的一种方式. 分片分割一个collection并将不同的部分存储在不同的机器上. 当一个数据库的collections相对于当前空间过大时,你需要增加一个新的机器. 分片会自动的将collection数据分发到新的服务器上. 分片自动的均衡数据并在机器间进行负载.

你的数据库过度 Sharding 了吗

- VonNeumann - Sky.Jian 朝阳的天空
数据库 Sharding 目前已经是数据层架构的家常便饭了,随着越来越多的人不断的通过 Sharding 技术来提升数据层的扩展能力,Sharding 本身所带来的各种弊端也开始不断的显露出来了. 最近和朋友聊天的时候针对 Sharding 带来的问题做了一些交流,记录之:. 急于 Sharding,分区键考虑不充分,影响业务发展.

数据库分库分表(sharding)系列

- - 数据库 - ITeye博客
(一) 拆分实施策略和示例演示. (三) 关于使用框架还是自主开发以及sharding实现层面的考量. (四) 多数据源的事务处理. (五) 一种支持自由规划无须数据迁移和修改路由代码的Sharding扩容方案. (一) 拆分实施策略和示例演示. 图1.数据库分库分表(sharding)实施策略图解.

数据库Sharding的基本思想和切分策略

- - BlogJava-qileilove
 本文着重介绍sharding的基本思想和理论上的切分策略,关于更加细致的实施策略和参考事例请参考我的另一篇博文:. 数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示.   Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(. server)上,从而缓解单一数据库的性能问题.

基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案

- - 开源软件 - ITeye博客
本文主要介绍一种通过Jedis&Sentinel实现Redis集群高可用方案,该方案需要使用Jedis2.2.2及以上版本(强制),Redis2.8及以上版本(可选,Sentinel最早出现在Redis2.4中,Redis2.8中Sentinel更加稳定),Redis集群是以分片(Sharding)加主从的方式搭建,满足可扩展性的要求;.

数据库Sharding的基本思想和切分策略

- - 数据库 - ITeye博客
本文着重介绍sharding的基本思想和理论上的切分策略,关于更加细致的实施策略和参考事例请参考我的另一篇博文: 数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示 .       Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上,从而缓解单一数据库的性能问题.

基于jedis、redis-sentinel的redis主从、高可用、sharding架构

- - 开源软件 - ITeye博客
最近项目上需要对Redis(目前redis用的是2.8版本)做高可用、集群等优化,就扩展了jedis客户端(MasterSlaveJedis、MasterSlaveJedisPool、ShardedMasterSlaveJedis、ShardedMasterSlaveJedisPool),以满足以下几个需求:.