一个小改进,解决Redis数据在线加载大痛点

标签: 运维干货 Redis | 发表时间:2017-03-30 02:38 | 作者:99527
出处:http://www.yunweipai.com

作者介绍
顾伟涛,曾任职于百度、奇虎360,现为杭州铭师堂教育资深DBA,擅长数据库监控、备份、高可用架构设计和自动化运维,对Redis和MongoDB方面有深入研究,关注分布式存储、大数据存储、消息队列、搜索引擎等后端技术。

前言

在使用Redis加载数据过程中存在一个问题,就是必须要重启Redis服务,如果是Redis主从复制架构,这样加载数据,是一件很麻烦的事情,笔者根据Redis启动时加载数据的思想,对Redis进行了改进,实现了在线加载数据,在这里和大家一起探讨下。

设计与实现

本文以Redis 3.0.7为例,根据Redis在启动过程中,加载数据的逻辑,为Redis增加了2个命令,分别为LOADAOF和LOADRDB,分别实现在线加载aof和rdb文件。

在执行 LOADAOF aofile时候,调用 loadAppendOnlyFile函数,加载aof文件数据。具体实现如下:

src/aof.c
新增如下函数:

void loadaofCommand(RedisClient *c) {
    if (server.rdb_child_pid != -1) {
        addReplyError(c,"Background save already in progress");
    } else if (server.aof_child_pid != -1) {
        addReplyError(c,"Can't BGSAVE while AOF log rewriting is in progress");
    } else if (c->argc != 2){
        addReply(c,shared.syntaxerr);
        return;
    } else if (loadAppendOnlyFile(c->argv[1]->ptr) == REDIS_OK) {
        addReplyStatus(c,"online loadaof started,Do not repeat!!!");
    } else {
        addReply(c,shared.err);
    }
}

在执行 LOADRDB 时候,调用函数rdbLoad,加载rdb文件。

src/rdb.c
新增如下函数:

void loadrdbCommand(RedisClient *c) {
    if (server.rdb_child_pid != -1) {
        addReplyError(c,"Background save already in progress");
    } else if (server.aof_child_pid != -1) {
        addReplyError(c,"Can't BGSAVE while AOF log rewriting is in progress");
    } else if (c->argc != 2){
        addReply(c,shared.syntaxerr);
        return;
    } else if (rdbLoad(c->argv[1]->ptr) == REDIS_OK) {
        addReplyStatus(c,"online loadrdb started,Do not repeat !!!");
    } else {
        addReply(c,shared.err);
    }
}

src/Redis.c
在函数 struct RedisCommand RedisCommandTable[]

新增如下一行:

{"loadaof",loadaofCommand,2,"ar",0,NULL,0,0,0,0,0},
{"loadrdb",loadrdbCommand,2,"ar",0,NULL,0,0,0,0,0},

src/Redis.h
在 void bgsaveCommand(RedisClient *c); 下面加入如下两行:

void loadrdbCommand(RedisClient *c);
void loadaofCommand(RedisClient *c);

src/help.h
在函数 struct commandHelp
新增如下内容:

  { "LOADAOF",
    "aof filename",
    "load aof file online",
    9,
    "3.0.7"},
    { "LOADRDB",
    "rdb filename",
    "load rdb file online,which can not repeat !!!",
    9,
    "3.0.7"}

执行以下命令编译Redis
# cd Redis-3.0.7
# make && make PREFIX=/usr/local/Redis30 install

测试结果

可以看出,不重启Redis,可以加载数据了。

应用场景

1、线上数据导入到测试Redis
一般开发由类似需求,用于分析问题和测试。

2、恢复数据
如果Redis出现误操作,可以执行在线加载数据,尤其是在sentinel(s)+Redis主从复制架构中,该方法更加渐变。

注意点

1、如果是Redis主从复制,在主库在线加载aofile/rdbfile时,从库上也需要存在这些文件,否则从库报错退出。

2、执行在线加载操作时候,同样的文件内容,不要重复执行,否则从库异常退出。

如果主库重复执行loadrdb 时候,主库也会异常退出。

该方案还存在着不足之处,在这里只做抛砖引玉,希望和大家一起探讨改进,便于DBA的快捷操作。

相关 [redis 数据 在线] 推荐:

Redis 数据类型

- - ITeye博客
该文章是对Redis官方文档的翻译. 字符串是Redis值的最基础的类型. Redis字符串是二进制安全的,这意味着一个Redis字符串可以包含任何种类的数据,例如一个JPEG图像或者一个序列化的Ruby对象. 一个字符串值最多可以保存512M字节的内容. 你可以使用Redis的字符串做一些有趣的事情,例如你可以:.

一个小改进,解决Redis数据在线加载大痛点

- - 运维派
顾伟涛,曾任职于百度、奇虎360,现为杭州铭师堂教育资深DBA,擅长数据库监控、备份、高可用架构设计和自动化运维,对Redis和MongoDB方面有深入研究,关注分布式存储、大数据存储、消息队列、搜索引擎等后端技术. 在使用Redis加载数据过程中存在一个问题,就是必须要重启Redis服务,如果是Redis主从复制架构,这样加载数据,是一件很麻烦的事情,笔者根据Redis启动时加载数据的思想,对Redis进行了改进,实现了在线加载数据,在这里和大家一起探讨下.

Redis数据“丢失”问题

- - 今天
Redis大部分应用场景是纯缓存服务,请求后端有Primary Storage的组件,如MySQL,HBase;请求Redis的键未命中,会从primary Storage中获取数据返回,同时更新Redis缓存. 如果少量数据丢失,相当于请求”缓冲未命中“; 一般对业务的影响是无感知的. 但现在Redis用作存储的业务场景变多,数据丢失对业务是致命的影响.

从Redis的数据丢失说起

- - 开源小站
碰到一个悲催的事情:一台Redis服务器,4核,16G内存且没有任何硬件上的问题. 持续高压运行了大约3个月,保存了大约14G的数据,设置了比较完备的Save参数. 而就是这台主机,在一次重起之后,丢失了大量的数据,14G的数据最终只恢复了几百兆而已. 正常情况下,像Redis这样定期回写磁盘的内存数据库,丢失几个数据也是在情理之中,可超过80%数据丢失率实在太离谱.

Redis数据分片以及扩容

- - NoSQLFan
投稿介绍:xiaotianqio,资深linux菜鸟程序员,搜索系统砖家,曾混迹于百度的互联网吊丝. 刚开始接触 Redis,大言不惭,聊卿一读. 一开始数据比较少,一台服务器的内存就足够,因此一个Redis 就能满足需求,但是随着业务发展,数据量变大,可能需要在多台服务器上运行多个Redis,所以需要将已有的数据进行 分片(避免数据丢失),不同的片交给不同的Redis 服务.

Spring Boot使用redis做数据缓存

- - ITeye博客
SysUser.class)); //请注意这里. 3 redis服务器配置. /** *此处的dao操作使用的是spring data jpa,使用@Cacheable可以在任意方法上,*比如@Service或者@Controller的方法上 */ public interface SysUserRepo1 extends CustomRepository<SysUser, Long> {.

redis数据丢失及解决

- - 互联网 - ITeye博客
转载: http://blog.csdn.net/xiangliangyu/article/details/8165644. Redis的数据回写机制分同步和异步两种,. 同步回写即SAVE命令,主进程直接向磁盘回写数据. 在数据大的情况下会导致系统假死很长时间,所以一般不是推荐的. 异步回写即BGSAVE命令,主进程fork后,复制自身并通过这个新的进程回写磁盘,回写结束后新进程自行关闭.

Spring AOP + Redis缓存数据库查询

- - 编程语言 - ITeye博客
我们希望能够将数据库查询结果缓存到Redis中,这样在第二次做同样的查询时便可以直接从redis取结果,从而减少数据库读写次数. 必须要做到与业务逻辑代码完全分离. 从缓存中读出的数据必须与数据库中的数据一致. 如何为一个数据库查询结果生成一个唯一的标识. Key),能唯一确定一个查询结果,同一个查询结果,一定能映射到同一个.

[原]Redis 数据备份与恢复

- - 芝麻软件工作室的专栏
Redis SAVE 命令用于创建当前数据库的备份. redis Save 命令基本语法如下:. 该命令将在 redis 安装目录中创建dump.rdb文件. 如果需要恢复数据,只需将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服务即可. 获取 redis 目录可以使用 CONFIG 命令,如下所示:.

redis数据结构缓存运用

- - 企业架构 - ITeye博客
之前redis已经描述了redis 的基本作用与用处, 这一篇主要讲述redis运用场景以及分片,和spring整合. redis 存储数据结构大致5种,String 普通键值对,用的比较多. HASH针对 key 唯一标识 hashmap 键值对运用也比较多 list set 当然是集合运用 sortedSet 排序集合使用.