Redis分布式中间件TwemProxy

标签： redis 分布 中间件 | 发表时间：2014-10-07 08:57 | 作者：flychao88
出处：http://www.iteye.com

twemproxy,也叫nutcraker。是一个twtter开源的一个redis和memcache代理服务器。 redis作为一个高效的缓存服务器，非常具有应用价值。但是当使用比较多的时候，就希望可以通过某种方式 统一进行管理。避免每个应用每个客户端管理连接的松散性。同时在一定程度上变得可以控制。 搜索了不少的开源代理项目，知乎实现的python分片客户端。node的代理中间层，还有各种restfull的开源代理。

  • RedBrige

    • C + epoll实现的一个小的webserver
    • redis自身执行lua脚本的功能来执行redis命令
    • 访问时在url中带上lua脚本文件的名字，直接调用执行该lua脚本
    • 本质是通过http协议远程执行lua脚本

  • Webdis

    • libevent, http-parser...实现的小型web服务器
    • C 语言实现，通过unix-socket,TCP调用redis命令。
    • 访问方法：  /cmd/key/arg0,arg1,... 实质是对redis命令的简单变换

  • redis-proxy

    • 使用node写的redis代理层。
    • 支持主从节点的失败处理（可以仔细研究）
    • 测试后发现性能为原生的1/3

  • twemproxy

    • 支持失败节点自动删除

      • 可以设置重新连接该节点的时间
      • 可以设置连接多少次之后删除该节点
      • 该方式适合作为cache存储

    • 支持设置HashTag

      • 通过HashTag可以自己设定将两个KEYhash到同一个实例上去。

    • 减少与redis的直接连接数

      • 保持与redis的长连接
      • 可设置代理与后台每个redis连接的数目

    • 自动分片到后端多个redis实例上

      • 多种hash算法（部分还没有研究明白)
      • 可以设置后端实例的权重

    • 避免单点问题

      • 可以平行部署多个代理层.client自动选择可用的一个

    • 支持redis pipelining request

    • 支持状态监控

      • 可设置状态监控ip和端口，访问ip和端口可以得到一个json格式的状态信息串
      • 可设置监控信息刷新间隔时间

    • 高吞吐量

      • 连接复用，内存复用。
      • 将多个连接请求，组成reids pipelining统一向redis请求。

另外可以修改redis的源代码，抽取出redis中的前半部分，作为一个中间代理层。最终都是通过linux下的epoll 事件机制提高并发效率，其中nutcraker本身也是使用epoll的事件机制。并且在性能测试上的表现非常出色。

配置部署建议: 编译时候打开logging模块。

redis部署知识: AOF；一种记录redis写操作的文件，用于恢复redis数据。



已有 0 人发表留言，猛击->> 这里<<-参与讨论


ITeye推荐



相关 [redis 分布 中间件] 推荐：

Redis分布式中间件TwemProxy

- - 企业架构 - ITeye博客
twemproxy,也叫nutcraker. 是一个twtter开源的一个redis和memcache代理服务器. redis作为一个高效的缓存服务器，非常具有应用价值. 但是当使用比较多的时候，就希望可以通过某种方式 统一进行管理. 避免每个应用每个客户端管理连接的松散性. 搜索了不少的开源代理项目，知乎实现的python分片客户端.

BDRP分布式redis集群

- - 百度运维团队技术博客
BDRP（baidu distributed redis platform）是包含 twemproxy， redis，redis-sentinel等多个模块开发的分布式redis平台. bdrp已经在github上进行了开源， bdrp的github项目点这里. 目前redis集群架构主要有以下几个组件： twemproxy：redis的代理系统，可以选择多种数据分片算法 redis：集群的redis存储节点 sentinel：redis官方的集群高可用组件，可以监控redis主节点故障，并进行主备切换.

如何用redis实现分布式锁

- - CSDN博客数据库推荐文章
redis作为一个强大的key/value数据库，其实还可以用来实现轻量级的分布式锁. 最早官方在 SETNX命令页给了一个实现：. 不过这个方案有漏洞，就是release lock用的DEL命令不支持cas删除（delete if current value equals old value），这样忽略race condition将会出现问题：.

基于twemproxy的redis分布式应用

- - 数据库 - ITeye博客
根据以往的测试结论，单个redis的实例的内存总量最好控制在8G以内（最大不能超过20G），而实际上应用对redis的内存的需求可能会远远大于8G，因此需要一个保持redis server性能不下降，但可以有效扩充redis server的容量的方案. twemproxy是一个恰当的选择. twemproxy,也叫nutcraker.

MySQL分布式中间件:MyCAT

- - 标点符
随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充，数据库应用已经普遍建立于计算机网络之上. 这时集中式数据库系统表现出它的不足：. 集中式处理，势必造成性能瓶颈；. 应用程序集中在一台计算机上运行，一旦该计算机发生故障，则整个系统受到影响，可靠性不高；. 集中式处理引起系统的规模和配置都不够灵活，系统的可扩充性差.

使用Scrapy-redis实现分布式爬取

- - 标点符
Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取. 但是当我们要爬取的页面非常多的时候，单个主机的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候分布式爬虫的优势就显现出来. 而Scrapy-Redis则是一个基于Redis的Scrapy分布式组件.

基于 Redis 实现分布式应用限流

- - 文章 – 伯乐在线
限流的目的是通过对并发访问/请求进行限速或者一个时间窗口内的的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务. 前几天在DD的公众号，看了一篇关于使用 瓜娃 实现单应用限流的方案，参考《redis in action》 实现了一个jedis版本的，都属于业务层次限制. 按照一定的规则如帐号、IP、系统调用逻辑等在Nginx层面做限流.

基于redis分布式锁实现“秒杀”

- - 企业架构 - ITeye博客
来自于  http://blog.5ibc.net/p/28883.html. 所谓秒杀，从业务角度看，是短时间内多个用户“争抢”资源，这里的资源在大部分秒杀场景里是商品；将业务抽象，技术角度看，秒杀就是多个线程对资源进行操作，所以实现秒杀，就必须控制线程对资源的争抢，既要保证高效并发，也要保证操作的正确.

Redis分布式锁解决抢购问题

- - 企业架构 - ITeye博客
废话不多说，首先分享一个业务场景-抢购. 一个典型的高并发问题，所需的最关键字段就是库存，在高并发的情况下每次都去数据库查询显然是不合适的，因此把库存信息存入Redis中，利用redis的锁机制来控制并发访问，是一个不错的解决方案.         //这里抛出的异常要是运行时异常，否则无法进行数据回滚，这也是spring中比较基础的  .

Redis 分布式锁原理及 Redisson 实现

- - 叉叉哥的BLOG
Redis 分布式锁原理. Redis 分布式锁原理，可以直接看官方文档：. SET resource-name anystring NX EX max-lock-time 命令可以基于 Redis 实现分布式锁. NX 仅当 key 不存在时设置成功. EX seconds 失效时间（秒）. Nil 时，客户端未获得锁，需要过一段时间再重试命令尝试获取锁.