使用Jedis的ShardedJedis做Redis集群

标签: 技术 Jedis Redis Redis Cluster ShardedJedis | 发表时间:2014-06-17 12:19 | 作者:丕子
出处:http://www.zhizhihu.com

之前一直没仔细看过ShardedJedis的代码,最近遇到了shard后集群扩容后的 数据迁移问题

今天在看ShardedJedis源码的时候,发现ShardedJedis并没有使用节点的Ip和port做hash,而是用的instance的顺序或者name,太赞了。


private void initialize(List<S> shards) {
 nodes = new TreeMap<Long, S>();

for (int i = 0; i != shards.size(); ++i) {
 final S shardInfo = shards.get(i);
 if (shardInfo.getName() == null)
 for (int n = 0; n < 160 * shardInfo.getWeight(); n++) {
 nodes.put(this.algo.hash("SHARD-" + i + "-NODE-" + n),
 shardInfo);
 }
 else
 for (int n = 0; n < 160 * shardInfo.getWeight(); n++) {
 nodes.put(
 this.algo.hash(shardInfo.getName() + "*"
 + shardInfo.getWeight() + n), shardInfo);
 }
 resources.put(shardInfo, shardInfo.createResource());
 }
 }

配置的时候也非常简单:

<bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">
 <property name="maxTotal" value="1000"/>
 <property name="maxIdle" value="10"/>
 <property name="minIdle" value="1"/>
 <property name="maxWaitMillis" value="30000"/>
 <property name="testOnBorrow" value="true"/>
 <property name="testOnReturn" value="true"/>
 <property name="testWhileIdle" value="true"/>
 </bean>

 <bean id="shardedJedisPool" class="redis.clients.jedis.ShardedJedisPool" destroy-method="destroy">
 <constructor-arg ref="jedisPoolConfig"/>
 <constructor-arg>
 <list>
 <bean class="redis.clients.jedis.JedisShardInfo">
 <constructor-arg value="127.0.0.1"/>
 <constructor-arg type="int" value="7000"/>
 <constructor-arg value="instance:01"/>
 </bean>
 <bean class="redis.clients.jedis.JedisShardInfo">
 <constructor-arg value="127.0.0.1"/>
 <constructor-arg type="int" value="7001"/>
 <constructor-arg value="instance:02"/>
 </bean>
 <bean class="redis.clients.jedis.JedisShardInfo">
 <constructor-arg value="127.0.0.1"/>
 <constructor-arg type="int" value="7003"/>
 <constructor-arg value="instance:03"/>
 </bean>
 </list>
 </constructor-arg>
 </bean>

一开始你可以设置足够多的instance,数据扩容的时候,只需要将几个instance的数据copy到别的机器上。
然后修改配置文件的ip和端口即可。很方便吧?

另外,Jedis还提供了对jedis sentinel pool的封装,所以发生主从切换的时候,web server都不需要重新配置和deploy。高可用性的极佳体现啊。


@Autowired private JedisSentinelPool pool;

public void mymethod() {
 Jedis jedis = null;
 try {
 jedis = pool.getResource();
 jedis.hset(....
 } catch (JedisException je) {
 throw je;
 } finally {
 if (jedis != null) pool.returnResource(jedis);
 }
 }

spring bean的配置:


<bean id="redisSentinel" class="redis.clients.jedis.JedisSentinelPool">
 <constructor-arg index="0" value="mymaster" />
 <constructor-arg index="1">
 <set>
 <value>hostofsentinel:26379</value>
 </set>
 </constructor-arg>
 <constructor-arg index="2" ref="jedisPoolConfig" />
 </bean>

您可能也喜欢:

Redis Cluster的安装和配置(beta-6)

Redis集群增删节点的数据迁移问题

Jedis sharding

Redis在新浪微博中的应用

关于我
无觅

相关 [jedis shardedjedis redis] 推荐:

使用Jedis的ShardedJedis做Redis集群

- - 丕子
之前一直没仔细看过ShardedJedis的代码,最近遇到了shard后集群扩容后的 数据迁移问题. 今天在看ShardedJedis源码的时候,发现ShardedJedis并没有使用节点的Ip和port做hash,而是用的instance的顺序或者name,太赞了. 一开始你可以设置足够多的instance,数据扩容的时候,只需要将几个instance的数据copy到别的机器上.

Jedis下的ShardedJedis(分布式)使用方法(一)

- - 互联网 - ITeye博客
原来项目中有用到Redis用作缓存服务,刚开始时只用一台Redis就能够满足服务,随着项目的慢慢进行,发现一台满足不了现有的项目需求,因为Redis操作都是原子性这样的特性,造成有时同时读写缓存造成查询效率的下降. 但是由于我们现在用的还是2.X版本,还是没有集群功能的(Redis作者在3.0版本中已经加入了集群功能), 因此只能使用2.x版本中自带的一个叫做ShardedJedis的来实现分布式缓存.

Redis客户端之Spring整合Jedis

- - 开源软件 - ITeye博客
1.下载相关jar包,并引入工程:. 2.将以下XML配置引入spring. 3.将shardedJedisPool注入相关的类中即可使用. * 设置一个key的过期时间(单位:秒). * @param key key值. * @param seconds 多少秒后过期. * @return 1:设置了过期时间 0:没有设置过期时间/不能设置过期时间.

Redis客户端Jedis使用示例

- - 移动开发 - ITeye博客
Jedis 是 Redis 官方首选的 Java 客户端开发包. 工作过程总结的一个示例,贴出来,如下:.      * 在不同的线程中使用相同的Jedis实例会发生奇怪的错误. 但是创建太多的实现也不好因为这意味着会建立很多sokcet连接, .      * 也会导致奇怪的错误发生. 单一Jedis实例不是线程安全的.

基于jedis、redis-sentinel的redis主从、高可用、sharding架构

- - 开源软件 - ITeye博客
最近项目上需要对Redis(目前redis用的是2.8版本)做高可用、集群等优化,就扩展了jedis客户端(MasterSlaveJedis、MasterSlaveJedisPool、ShardedMasterSlaveJedis、ShardedMasterSlaveJedisPool),以满足以下几个需求:.

Redis的Java客户端Jedis的八种调用方式(事务、管道、分布式等)介绍

- - 数据库 - ITeye博客
        redis是一个著名的key-value存储系统,而作为其官方推荐的java版客户端jedis也非常强大和稳定,支持事务、管道及有jedis自身实现的分布式.         在这里对jedis关于事务、管道和分布式的调用方式做一个简单的介绍和对比:.         最简单和基础的调用方式.

Jedis的Publish/Subscribe功能的运用

- - 开源软件 - ITeye博客
转自: http://kingxss.iteye.com/blog/1420264. 一、Redis服务器端的安装和客户端Jedis的安装.    下载地址: http://redis.googlecode.com/files/redis-2.4.8.tar.gz. 在linux下运行如下命令进行安装.

[FAQ] Jedis使用过程中踩过的那些坑

- - 互联网 - ITeye博客
1. 一个 大坑:若实例化 JedisShardInfo 时不设置节点名称(name属性),那么当Redis节点列表的顺序发生变化时,会发生“ 键 rehash 现象”. 使用BTrace追踪redis.clients.util.Sharded的实时状态,验证“Jedis分片机制的一致性哈希算法”实现;.

JedisPool异常Jedis链接处理 - wc的一些事一些情

- - 博客园_首页
基于JedisPool管理Jedis对象,通过get方法获取值,出现key对应的value值错误,例如:. 通过获取key为a的值,但获取了值b来. 同一套代码的项目,分别部署在两个不同的应用集群,其中一个集群出现这种问题,而另一个集群却没有出现. 通过表象可以看出,应该是链接池的Jedis对象链接出现错乱而导致的.

Redis 负载监控——redis-monitor

- - ITeye资讯频道
redis-monitor是一个Web可视化的 redis 监控程序. 使用 Flask 来开发的,代码结构非常简单,适合移植到公司内网使用. redis 服务器信息,包括 redis 版本、上线时间、 os 系统信息等等. 实时的消息处理信息,例如处理 command 数量、连接总数量等. 内存占用、 cpu 消耗实时动态图表.