Redis数据分片以及扩容

标签: Redis 分片 | 发表时间:2012-07-16 19:01 | 作者:nosqlfan
出处:http://blog.nosqlfan.com

投稿介绍:xiaotianqio,资深linux菜鸟程序员,搜索系统砖家,曾混迹于百度的互联网吊丝。刚开始接触 Redis,大言不惭,聊卿一读。

场景

一开始数据比较少,一台服务器的内存就足够,因此一个Redis 就能满足需求,但是随着业务发展,数据量变大,可能需要在多台服务器上运行多个Redis,所以需要将已有的数据进行 分片(避免数据丢失),不同的片交给不同的Redis 服务。如果在一开始就考虑到这个问题,在只有一个Redis时,也将数据存放在Redis的不同db中,当增加Redis时,将dump.rdb中的数据按照db切分为多个文件,每个Redis使用各自的db,通过这种方式来实现无缝的扩展,因此需要有脚本能够切分dump.rdb。

分片方法

我们单服务器的内存是64G,我们估计64* 16G 在很长一段时间内是满足需求的,但是这个数据积累的过程可能比较缓慢,很长一段时间不会超过64G,因此一台Redis 服务器就足够,但是为了考虑到以后的扩展,一开始将数据sharding 到16个db中,也就是说在只有一个Redis时,client每次写数据会先计算key的hash,模16,得到db num,select db,然后写入,也可以为每个db 保持一个client,这样就可以避免每次select db 了。 当需要变更为两个Redis时,为了不丢失数据,需要将原来Redis的数据分为2份,一份是db 0-7,第二份是db 8-15,  用这两个数据启动Redis,就可以实现扩容了,因此必须要要有脚本能够切分Redis dump 出来的dump.rdb, 下面介绍我们的切分脚本:

  1. dump.rdb 结构: head + db 0 + db 1 + … + db n + eof
  2. 修改Redis,在启动过程中打印出每部分的offset
  3. 提供一个c 程序,可以将一个大文件按照指定的offset 进行切分
  4. 将切分出的各个部分进行重新组装

例如我们的例子

  1. 初始时dump.rdb 的结构: head + db0 + … + db15 + eof
  2. 得到head 以及每个db的offset
  3. 切分出head, db0 + … + db7 , db8 + … + db15 三个部分
  4. 将head ,db0 + … + db7 cat 在一个文件中,并在结尾加上eof,同样,将head , db7 + … + db15 cat在一个文件中,加上eof
  5. 用上面的两个文件启动Redis,完成数据切分

脚本

切分脚本如下

echo "Usage start-end db"
startdb=$1             #上面的例子start 0
enddb=$2              # end 是 7
outdb="$1-$2.rdb"  #输出文件的名字
if [[ ! -f "dump.rdb" ]]; then            #使用当前目录下dump.rdb 作为源文件
echo "no dump.rdb,must have"
exit -1
fi

#使用修改过的redis,打印offset,然后退出,使用awk 得到head 的offset
headstart=`/global/share/bin/chenjp/redis-db-offset >& tmp.log ; cat tmp.log | grep offset | grep -v dbid | awk -F '=' '{print $NF}'`

headfile="split-0-$headstart" #head所在文件
/global/share/bin/chenjp/vsplit dump.rdb 0 $headstart  #根据offset 切分文件,0- headoffset 为head
dbstartoffset=`cat tmp.log | grep "dbid=$startdb" | awk -F '=|,' '{print $(NF-2)}'`  #找到db的offset
dbendoffset=`cat tmp.log | grep "dbid=$enddb" | awk -F '=|,' '{print $(NF-2)}'`

if [[ $dbendoffset -eq "" ]];then
dbendoffset=`ls -l dump.rdb  | awk -F ' ' '{print $5}'`
fi
echo "start:"$dbstartoffset":"$dbendoffset
dbfile="split-$dbstartoffset-$dbendoffset"
/global/share/bin/chenjp/vsplit dump.rdb $dbstartoffset $dbendoffset  #得到db 文件
cat $headfile $dbfile > $outdb  #拼接
printf "\xff" >> $outdb            #eof

#rm -rf tmp.log
#rm -rf split-*
echo "file $dbfile ok, containts db $startdb to $enddb, pls mv to dump.rdb to start redis server"

redis-db-offset原理

而上面的redis-db-offset实现也并不困难,只需要在load的时候将各个db开始的offset值打印也来就行了。diff如下:

[chenjp@nb290 redis-2.4.10]$ diff src/rdb.c  ../../redis-2.4.10/src/rdb.c
959c959
<
---
>     fprintf(stderr,"redis_db head finished,offset=%lld\n",ftell(fp));
982a983,984
>
>             long db_start = ftell(fp) - 1;
988a991
>             fprintf(stderr,"redis_db select,offset=%lld,dbid=%d\n",db_start,dbid);
[chenjp@nb290 redis-2.4.10]$ diff src/redis.c  ../../redis-2.4.10/src/redis.c
1790a1791,1792
>
>         //exit(1);
42区 VPS
42qu.com 云主机 , 卖给创业的你 。 点击这里 , 查看详情
相关文章:
Redis 常见的性能问题和解决方法
REDIS TO GO:一个Redis存储服务
libredis-Redis PHP扩展
Redis Logo 你喜欢哪一个?
Kicking ass with Redis
无觅

相关 [redis 数据] 推荐:

Redis 数据类型

- - ITeye博客
该文章是对Redis官方文档的翻译. 字符串是Redis值的最基础的类型. Redis字符串是二进制安全的,这意味着一个Redis字符串可以包含任何种类的数据,例如一个JPEG图像或者一个序列化的Ruby对象. 一个字符串值最多可以保存512M字节的内容. 你可以使用Redis的字符串做一些有趣的事情,例如你可以:.

Redis数据“丢失”问题

- - 今天
Redis大部分应用场景是纯缓存服务,请求后端有Primary Storage的组件,如MySQL,HBase;请求Redis的键未命中,会从primary Storage中获取数据返回,同时更新Redis缓存. 如果少量数据丢失,相当于请求”缓冲未命中“; 一般对业务的影响是无感知的. 但现在Redis用作存储的业务场景变多,数据丢失对业务是致命的影响.

Redis数据分片以及扩容

- - NoSQLFan
投稿介绍:xiaotianqio,资深linux菜鸟程序员,搜索系统砖家,曾混迹于百度的互联网吊丝. 刚开始接触 Redis,大言不惭,聊卿一读. 一开始数据比较少,一台服务器的内存就足够,因此一个Redis 就能满足需求,但是随着业务发展,数据量变大,可能需要在多台服务器上运行多个Redis,所以需要将已有的数据进行 分片(避免数据丢失),不同的片交给不同的Redis 服务.

从Redis的数据丢失说起

- - 开源小站
碰到一个悲催的事情:一台Redis服务器,4核,16G内存且没有任何硬件上的问题. 持续高压运行了大约3个月,保存了大约14G的数据,设置了比较完备的Save参数. 而就是这台主机,在一次重起之后,丢失了大量的数据,14G的数据最终只恢复了几百兆而已. 正常情况下,像Redis这样定期回写磁盘的内存数据库,丢失几个数据也是在情理之中,可超过80%数据丢失率实在太离谱.

Spring Boot使用redis做数据缓存

- - ITeye博客
SysUser.class)); //请注意这里. 3 redis服务器配置. /** *此处的dao操作使用的是spring data jpa,使用@Cacheable可以在任意方法上,*比如@Service或者@Controller的方法上 */ public interface SysUserRepo1 extends CustomRepository {.

redis数据丢失及解决

- - 互联网 - ITeye博客
转载: http://blog.csdn.net/xiangliangyu/article/details/8165644. Redis的数据回写机制分同步和异步两种,. 同步回写即SAVE命令,主进程直接向磁盘回写数据. 在数据大的情况下会导致系统假死很长时间,所以一般不是推荐的. 异步回写即BGSAVE命令,主进程fork后,复制自身并通过这个新的进程回写磁盘,回写结束后新进程自行关闭.

redis数据结构缓存运用

- - 企业架构 - ITeye博客
之前redis已经描述了redis 的基本作用与用处, 这一篇主要讲述redis运用场景以及分片,和spring整合. redis 存储数据结构大致5种,String 普通键值对,用的比较多. HASH针对 key 唯一标识 hashmap 键值对运用也比较多 list set 当然是集合运用 sortedSet 排序集合使用.

[原]Redis 数据备份与恢复

- - 芝麻软件工作室的专栏
Redis SAVE 命令用于创建当前数据库的备份. redis Save 命令基本语法如下:. 该命令将在 redis 安装目录中创建dump.rdb文件. 如果需要恢复数据,只需将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服务即可. 获取 redis 目录可以使用 CONFIG 命令,如下所示:.

Spring AOP + Redis缓存数据库查询

- - 编程语言 - ITeye博客
我们希望能够将数据库查询结果缓存到Redis中,这样在第二次做同样的查询时便可以直接从redis取结果,从而减少数据库读写次数. 必须要做到与业务逻辑代码完全分离. 从缓存中读出的数据必须与数据库中的数据一致. 如何为一个数据库查询结果生成一个唯一的标识. Key),能唯一确定一个查询结果,同一个查询结果,一定能映射到同一个.

spring + redis 实现数据的缓存

- - ImportNew
(目的不是加快查询的速度,而是减少数据库的负担). 注意:jdies和commons-pool两个jar的版本是有对应关系的,注意引入jar包是要配对使用,否则将会报错. 因为commons-pooljar的目录根据版本的变化,目录结构会变. 前面的版本是org.apache.pool,而后面的版本是org.apache.pool2….