轻量级Mysql分库分表(Sharding)中间件——Kratos

标签: 轻量级 mysql sharding | 发表时间:2015-09-19 20:28 | 作者:
出处:http://gao-xianglong.iteye.com

Github: https://github.com/gaoxianglong/kratos

 

kratos简介

基于Java语言编写的轻量级分库分表(Sharding)中间件,丰富的Sharding算法支持(2类4种分片算法),能够方便DBA实现库的水平扩容和降低数据迁移成本。Kratos站在巨人的肩膀上(SpringJdbc),采用与应用集成架构,放弃通用性,只为换取更好的执行性能与降低分布式环境下外围系统的宕机风险。

kratos的优点

  • 动态数据源的无缝切换;
  • master/slave一主一从读写分离;
  • 单线程读重试(取决于的数据库连接池是否支持,推荐使用淘宝Druid);
  • 单独且友好支持Mysql数据库,不支持其它RDBMS库;
  • 非Proxy架构,与应用集成,应用直连数据库,降低外围系统依赖带来的宕机风险;
  • 使用简单,侵入型低,站在巨人的肩膀上,依赖于Spring JDBC;
  • 不做真正意义上的Sql解析任务,规避Sql解析过程中由词法解析、语法解析、语义解析等操作所带来的性能延迟,仅用正则表达式解析片名和Route条件,解析过程仅耗时约<=1ms;
  • 分库分表路由算法支持2类4种分片模式,库内分片/一库一片;
  • 提供自动生成全局唯一的sequenceId的API支持;
  • 提供自动生成配置文件的支持,降低配置出错率;
  • 目标和职责定位明确,仅专注于Sharding,不支持其它多余或鸡肋功能、无需兼容通用性,因此核心代码量少、易读易维护

kratos的分片模型

kratos支持2类4种分片算法:
  • 库内分片类型:
    • 片名连续的库内分片算法;
    • 非片名连续的库内分片算法;
  • 一库一片类型:
    • 片名连续的一库一片算法;
    • 非片名连续的一库一片算法;

kratos的使用注意事项

  • 不支持强一致性的分布式事务,但可以在业务层依赖MQ、异步操作的方式实现事物,保证最终一致性即可;
  • 不支持多表查询,所有多表查询sql,务必全部打散为单条sql逐条执行;
  • 不建议使用一些数据库统计函数、Order by语句等;
  • sql语句的第一个参数务必是路由条件;
  • 不支持sql语句中出现数据库别名;
  • 路由条件必须是整数类型;
  • 在连续分片模式下,子表后缀为符号"_"+4位整型,比如“tb_0001”——"tb_1024";


已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [轻量级 mysql sharding] 推荐:

轻量级Mysql分库分表(Sharding)中间件——Kratos

- - gao_xianglong的自言自语
基于Java语言编写的轻量级分库分表(Sharding)中间件,丰富的Sharding算法支持(2类4种分片算法),能够方便DBA实现库的水平扩容和降低数据迁移成本. Kratos站在巨人的肩膀上(SpringJdbc),采用与应用集成架构,放弃通用性,只为换取更好的执行性能与降低分布式环境下外围系统的宕机风险.

kingshard--一个支持sharding的MySQL Proxy项目

- - SegmentFault 最新的文章
kingshard是一个由Go开发高性能MySQL Proxy项目,kingshard在满足基本的读写分离的功能上,致力于简化MySQL分库分表操作;能够让DBA通过kingshard轻松平滑地实现MySQL数据库扩容. 4.平滑上线DB或下线DB,前端应用无感知. kingshard sharding介绍.

数据库sharding

- - 数据库 - ITeye博客
当团队决定自行实现sharding的时候,DAO层可能是嵌入sharding逻辑的首选位置,因为在这个层面上,每一个DAO的方法都明确地知道需要访问的数据表以及查询参数,借助这些信息可以直接定位到目标shard上,而不必像框架那样需要对SQL进行解析然后再依据配置的规则进行路由. 另一个优势是不会受ORM框架的制约.

MongoDB的分片Sharding

- - 博客园_首页
一、         分片簇综述. 分片是mongoDB扩展的一种方式. 分片分割一个collection并将不同的部分存储在不同的机器上. 当一个数据库的collections相对于当前空间过大时,你需要增加一个新的机器. 分片会自动的将collection数据分发到新的服务器上. 分片自动的均衡数据并在机器间进行负载.

你的数据库过度 Sharding 了吗

- VonNeumann - Sky.Jian 朝阳的天空
数据库 Sharding 目前已经是数据层架构的家常便饭了,随着越来越多的人不断的通过 Sharding 技术来提升数据层的扩展能力,Sharding 本身所带来的各种弊端也开始不断的显露出来了. 最近和朋友聊天的时候针对 Sharding 带来的问题做了一些交流,记录之:. 急于 Sharding,分区键考虑不充分,影响业务发展.

数据库分库分表(sharding)系列

- - 数据库 - ITeye博客
(一) 拆分实施策略和示例演示. (三) 关于使用框架还是自主开发以及sharding实现层面的考量. (四) 多数据源的事务处理. (五) 一种支持自由规划无须数据迁移和修改路由代码的Sharding扩容方案. (一) 拆分实施策略和示例演示. 图1.数据库分库分表(sharding)实施策略图解.

数据库Sharding的基本思想和切分策略

- - BlogJava-qileilove
 本文着重介绍sharding的基本思想和理论上的切分策略,关于更加细致的实施策略和参考事例请参考我的另一篇博文:. 数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示.   Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(. server)上,从而缓解单一数据库的性能问题.

基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案

- - 开源软件 - ITeye博客
本文主要介绍一种通过Jedis&Sentinel实现Redis集群高可用方案,该方案需要使用Jedis2.2.2及以上版本(强制),Redis2.8及以上版本(可选,Sentinel最早出现在Redis2.4中,Redis2.8中Sentinel更加稳定),Redis集群是以分片(Sharding)加主从的方式搭建,满足可扩展性的要求;.

数据库Sharding的基本思想和切分策略

- - 数据库 - ITeye博客
本文着重介绍sharding的基本思想和理论上的切分策略,关于更加细致的实施策略和参考事例请参考我的另一篇博文: 数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示 .       Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上,从而缓解单一数据库的性能问题.

基于jedis、redis-sentinel的redis主从、高可用、sharding架构

- - 开源软件 - ITeye博客
最近项目上需要对Redis(目前redis用的是2.8版本)做高可用、集群等优化,就扩展了jedis客户端(MasterSlaveJedis、MasterSlaveJedisPool、ShardedMasterSlaveJedis、ShardedMasterSlaveJedisPool),以满足以下几个需求:.