BDRP分布式redis集群

背景简介

BDRP（baidu distributed redis platform）是包含 twemproxy， redis，redis-sentinel等多个模块开发的分布式redis平台。bdrp已经在github上进行了开源， bdrp的github项目点这里

系统架构

目前redis集群架构主要有以下几个组件： twemproxy：redis的代理系统，可以选择多种数据分片算法 redis：集群的redis存储节点 sentinel：redis官方的集群高可用组件，可以监控redis主节点故障，并进行主备切换

对比开源版本twemproxy解决方案，我们为集群添加了每个redis数据分片的主从架构，并且添加了sentinel模块，基于这些架构的拓展，我们实现了集群的高可用，数据高可靠的解决方案，集群数据读写请求分离方案。另外，针对线上的复杂应用环境，我们还未twemproxy增加了权限管理，流量控制（开发中）两个功能。 下面我们就分别简单介绍下这四个新添加的功能。

功能介绍

1，高可用切换

由于twemproxy开源版本对于集群的高可用方案只提供了自动弹出数据分片功能，因此如果应用方如果需要高可用集群的话，需要打开自动弹出功能。但是，即便是对于一致性哈希分片算法，弹出一个分片也是会造成一个分片的数据丢失的。对于数据可靠性的要求比较高的服务来说，如果丢失整个分片的数据是无法接受的。 我们基于redis官方的sentinel模块，实现了redis集群的节点高可用，数据高可靠方案。如上面的架构图所示，redis集群的所有redis分片，都配置了对应的从库，通过redis主从传输进行元数据复制。同时，每个redis分片都会用sentinel进行监控，当分片的主redis节点故障时，sentinel会将该分片的从节点切换成主节点。 twemproxy和sentinel之前维护一个长连接，并订阅sentinel的主从切换事件频道。一旦sentinel上发生了redis的主从切换，twemproxy马上就能感知到，然后调整自己的分片拓扑图，将后续的请求发送到新的主库上。 twemproxy在每次和sentinel建立连接后，都会从sentinel拉取全量的数据分片地址信息，避免启动时的配置错误，或者运行中连接重建，丢失主从切换信息。

2，读写分离

对于数据量不是很大，但是请求量很大的服务来说，数据分片拆分并不是很好的解决方案，产品线通常会给数据分片配置多个只读从库，分担读请求。为了支持这种需求，我们给twemproxy增加了读写分离功能。 如上架构图，展示了一个server pool下面挂接两个数据分片，每个数据分片挂接两个只读从库的情景下的架构图。通过redis主从复制，给每个数据分片配置多个只读从库。Proxy从配置中加载到分片从库信息后，在每次转发请求时，判断请求的类型，然后根据请求是否修改redis元数据，来决定转发到主库或者从库。对于配置了多个从库的情况，我们会对这几个从库进行round-robin轮询 同样的，当一个从库发生故障，proxy会自动剔除这个从库，当全部从库都故障，proxy会将只读请求发送到主库上。剔除故障从库之后，proxy会定期对故障从库进行健康检查，如果从库恢复，proxy会自动将该从库加回读请求轮询列表当中。

3，权限验证白名单

对于线上服务来说，完善的权限管理是必不可少的。但是twemproxy并没有提供权限验证相关的功能。我们添加了基于IP白名单的权限验证功能。用户可以配置某些IP可以拥有的权限（读/写），在client连接上来之后，proxy会去判断client ip是否在白名单之内，如果在的话，会将对应权限赋予该client连接，否则将会强行断掉连接。当连接上的client发送命令过来后，会验证该client是否有该命令对应的权限（读/写），如果没有的话，该连接将会被强行关闭。

4，流量控制

twemproxy本身支持开启多个server_pool，后端挂接不同的redis数据分片。这样，单个proxy实例可以服务多个应用方。但是对于这种多个服务混用proxy的情况，twemproxy并没有对各个应用方做流量控制。这样造成的一个问题是，可能一个应用方的请求异常突增，占用了过多的proxy资源，从而影响了其他的应用方的正常服务请求。 针对这种情况，我们决定开发一个基于proxy的server pool的流控。简单来说就是给每个server pool一定的配额，当某个应用方请求异常突增将其配额耗尽后，我们将会拒绝这个应用方的请求，从而避免该异常应用方请求影响到其他应用方。 流控功能还在设计开发当中，因而本次开源版本中并不包括这个功能。

5，其他说明

github上面的开源方案使用的redis版本是2.6.16，这个版本是没有主从数据增量重传（partial synchronization）功能的，从库宕机需要进行全量重传，造成性能抖动。因此我们merge了2.8的增量重传代码以规避此问题。

应用范围

bdrp在百度检索系统，百度商业产品体系，LBS产品体系等在线业务广泛应用。