Redis Cluster（Redis 3.X）设计要点
- - CSDN博客架构设计推荐文章Redis 3.0.0 RC1版本10.9号发布， Release Note. 这个版本支持 Redis Cluster，相信很多同学期待已久，不过这个版本只是RC版本，要应用到生产环境，还得等等. Redis Cluster设计要点：. Redis Cluster采用无中心结构，每个节点都保存数据和整个集群的状态.
Redis Cluster（Redis 3.X）设计要点
标签：
redis
cluster
redis
| 发表时间：2014-10-14 02:57 | 作者：yfkiss
出处：http://blog.csdn.net
Redis 3.0.0 RC1版本10.9号发布， Release Note
这个版本支持 Redis Cluster，相信很多同学期待已久，不过这个版本只是RC版本，要应用到生产环境，还得等等
Redis Cluster设计要点：
每个节点都和其他所有节点连接，这些连接保持活跃
使用gossip协议传播信息以及发现新节点
node不作为client请求的代理，client根据node返回的错误信息重定向请求
每个Redis物理结点负责一部分桶的管理，当发生Redis节点的增减时，调整桶的分布即可
例如，假设Redis Cluster三个节点A/B/C，则
Node A 包含桶的编号可以为: 0 到 5500.
Node B 包含桶的编号可以为: 5500 到 11000.
Node C包含桶的编号可以为: 11001 到 16384.
当发生Redis节点的增减时，调整桶的分布即可。
预分桶的方案介于“硬Hash”和“一致性Hash”之间，牺牲了一定的灵活性，但相比“一致性Hash“，数据的管理成本大大降低
每个Redis Node可以有一个或者多个Slave。当Master挂掉时，选举一个Slave形成新的Master
一个Redis Node包含一定量的桶，当这些桶对应的Master和Slave都挂掉时，这部分桶对应的数据不可用
一个完整的写操作步骤：
1.client写数据到master
2.master告诉client "ok"
3.master传播更新到slave
存在数据丢失的风险：
1. 上述写步骤1）和2）成功后，master crash，而此时数据还没有传播到slave
2. 由于分区导致同时存在两个master，client向旧的master写入了数据。
当然，由于Redis Cluster存在超时及故障恢复机制，第2个风险基本上不可能发生
基于桶的数据分布方式大大降低了迁移成本，只需将数据桶从一个Redis Node迁移到另一个Redis Node即可完成迁移。
当桶从一个Node A向另一个Node B迁移时，Node A和Node B都会有这个桶，Node A上桶的状态设置为MIGRATING，Node B上桶的状态被设置为IMPORTING
当客户端请求时：
所有在Node A上的请求都将由A来处理，所有不在A上的key都由Node B来处理。同时，Node A上将不会创建新的key
1. 不支持多key操作
2. 如果一定要使用多key操作，请确保所有的key都在一个node上，具体方法是使用“hash tag”方案
hash tag方案是一种数据分布的例外情况
Reference：
Redis cluster tutorial
Redis cluster Specification
这个版本支持 Redis Cluster，相信很多同学期待已久，不过这个版本只是RC版本，要应用到生产环境，还得等等
Redis Cluster设计要点：
架构：无中心
Redis Cluster采用无中心结构，每个节点都保存数据和整个集群的状态每个节点都和其他所有节点连接，这些连接保持活跃
使用gossip协议传播信息以及发现新节点
node不作为client请求的代理，client根据node返回的错误信息重定向请求
数据分布：预分桶
预分好16384个桶，根据 CRC16(key) mod 16384的值，决定将一个key放到哪个桶中每个Redis物理结点负责一部分桶的管理，当发生Redis节点的增减时，调整桶的分布即可
例如，假设Redis Cluster三个节点A/B/C，则
Node A 包含桶的编号可以为: 0 到 5500.
Node B 包含桶的编号可以为: 5500 到 11000.
Node C包含桶的编号可以为: 11001 到 16384.
当发生Redis节点的增减时，调整桶的分布即可。
预分桶的方案介于“硬Hash”和“一致性Hash”之间，牺牲了一定的灵活性，但相比“一致性Hash“，数据的管理成本大大降低
可用性：Master-Slave
为了保证服务的可用性，Redis Cluster采取的方案是的Master-Slave每个Redis Node可以有一个或者多个Slave。当Master挂掉时，选举一个Slave形成新的Master
一个Redis Node包含一定量的桶，当这些桶对应的Master和Slave都挂掉时，这部分桶对应的数据不可用
写
Redis Cluster使用异步复制一个完整的写操作步骤：
1.client写数据到master
2.master告诉client "ok"
3.master传播更新到slave
存在数据丢失的风险：
1. 上述写步骤1）和2）成功后，master crash，而此时数据还没有传播到slave
2. 由于分区导致同时存在两个master，client向旧的master写入了数据。
当然，由于Redis Cluster存在超时及故障恢复机制，第2个风险基本上不可能发生
数据迁移
Redis Cluster支持在线增/减节点。基于桶的数据分布方式大大降低了迁移成本，只需将数据桶从一个Redis Node迁移到另一个Redis Node即可完成迁移。
当桶从一个Node A向另一个Node B迁移时，Node A和Node B都会有这个桶，Node A上桶的状态设置为MIGRATING，Node B上桶的状态被设置为IMPORTING
当客户端请求时：
所有在Node A上的请求都将由A来处理，所有不在A上的key都由Node B来处理。同时，Node A上将不会创建新的key
多key操作
当系统从单节点向多节点扩展时，多key的操作总是一个非常难解决的问题，Redis Cluster方案如下：1. 不支持多key操作
2. 如果一定要使用多key操作，请确保所有的key都在一个node上，具体方法是使用“hash tag”方案
hash tag方案是一种数据分布的例外情况
Reference：
Redis cluster tutorial
Redis cluster Specification
作者：yfkiss 发表于2014-10-13 18:57:35 原文链接
阅读：72 评论：0 查看评论
相关 [redis cluster redis] 推荐：
Redis Cluster理论整理
- - 开源软件 - ITeye博客Redis 集群的 TCP 端口(Redis Cluster TCP ports). 每个 Redis 集群节点需要两个 TCP 连接打开. 正常的 TCP 端口用来服务客户端，例如 6379，加 10000 的端口用作数据端口，在上面的例子中就是 16379. 第二个大一些的端口用于集群总线(bus)，也就是使用二进制协议的点到点通信通道.
redis cluster百万QPS的挑战
- - 开源软件 - ITeye博客最近在做redis cluster性能测试过程中，发现当集群吞吐量到达一定程度后（4台12core的redis服务器，80wQPS左右），集群整体性能不能线性增长. 也就是说，通过加机器不能提升集群的整体吞吐. 以下是详细记录了一下这个case的排查并最终解决的过程. 上图中每一条线代表一个起压端进程的压测QPS（一台起压机上开4个起压端），可以看到随着起压机的增多，每个起压机的QPS却在下滑.
Redis Cluster的FailOver失败案例分析
- - ITeye博客 使用redis clusterRC1部署集群，6台机器，每台部署16个实例，每个master使用一个slave，node_timeout为默认值(15s). kill掉其中一个master发现failover完成不了. 通过cluster nodes观察，该节点一直处于pfail状态. 问题出在失败判定上，一直处于PFail，说明完成不了PFail->Fail的转换.
Redis cluster tutorial Redis集群教程 官方教程 翻译 (一)
- - 互联网 - ITeye博客这篇文档是一个总体介绍, 不使用复杂的分布式概念. 本文介绍如何建立一个集群, 测试和使用, 详细说明请参看 Redis Cluster specification. 注意, 如果你打算实际使用Redis集群, 推荐看正式的规范文档. Redis集群现在还在alpha测试, 请加入Redis邮件列表, 或Github repository的讨论组.
南航移动Redis-Cluster趟坑记 - 推酷
- -当今IT界正处于移动互联浪潮中，涌现出一批批优秀的门户网站和电商平台. 在巨大的利润驱动下，这些公司都全力打造各自的系统以适应互联网市场发展的需要，而且在此过程中各个系统还不停地接受着亿万网民的检验. 经历过千锤百炼后，那些“名门大厂”都纷纷总结出“高可用，高可靠，高并发下低延迟”的优秀实践. 而南航电商营销平台这种带有国企背景和传统行业特色的电商系统在这股浪潮的引领之下，也逐步向这些“大厂”学习，结合自身的实际情况，在“高可用，高可靠，高并发下低延迟”的系统优化之路上展开一番游历探索，期间也游览了不少大坑暗沟.
Redis cluster集群模式的原理 - __Meng - 博客园
- - redis cluster是Redis的分布式解决方案，在3.0版本推出后有效地解决了redis分布式方面的需求. 自动将数据进行分片，每个master上放一部分数据. 提供内置的高可用支持，部分master不可用时，还是可以继续工作的. 支撑N个redis master node，每个master node都可以挂载多个slave node.
高性能kv存储之Redis、Redis Cluster、Pika：如何应对4000亿的日访问量？
- - 运维派随着360公司业务发展，业务使用kv存储的需求越来越大. 为了应对kv存储需求爆发式的增长和多使用场景的需求，360web平台部致力于打造一个全方位，适用于多场景需求的kv解决方案. 目前，我们线上大规模使用的kv存储有Redis，Redis cluster以及Pika. 为什么说是爆发式的需求增长呢.
动手实践Redis主从复制、Sentinel主从切换、Cluster分片
- - 掘金 后端Redis 提供的如下技术「Redis Sentinel『主从切换』、Redis Cluster『分片』」，有效实现了 Redis 的高可用、高性能、高可伸缩性，本文对以上技术进行亲自动手实践. Redis Sentinel「主从切换」. 监控主从节点的在线状态，并根据配置自行完成切换「基于raft协议」.
Redis 负载监控——redis-monitor
- - ITeye资讯频道redis-monitor是一个Web可视化的 redis 监控程序. 使用 Flask 来开发的，代码结构非常简单，适合移植到公司内网使用. redis 服务器信息，包括 redis 版本、上线时间、 os 系统信息等等. 实时的消息处理信息，例如处理 command 数量、连接总数量等. 内存占用、 cpu 消耗实时动态图表.