基于Redis构建系统的经验和教训

标签： IT技术和评论 Web KeyValue NoSQL Redis | 发表时间：2012-10-30 00:59 | 作者：ideawu
出处：http://www.ideawu.net/blog

Redis 是一个非常快速和强大的 Key-Value 存储(持久化)系统, 相对于一般的 NoSQL 存储系统, 它最大的特点是支持丰富的数据结构. 特别是其 zset(sorted set)数据结构, 堪称表达能力最强的结构之一(其它强大的数据结构如 sorted hashmap), 可以直接地表达业务逻辑.

拿一个 Messaging(消息传递)系统来举例, 收件箱发件箱这样的业务逻辑直接用 zset 存储即可, 因为 zset 的每一个元素都有一个用于排序的权重值, 可以非常方便快速地地进行插入和删除操作. 如果使用纯粹的 KV 系统, 存储列表等非字符串结构的数据将是无尽的痛苦.

由于 Redis 本身的限制, 它所能处理的数据必须完全放在内存中, 而硬盘上的数据是内存数据的一个镜像, 所以, 限制了它的容量不能超过内存的容量(VM 模式无实际意义, 已在新版本中去除). 当前, 服务器的内存以 32G 为普遍情况, 96G 算较好, 如果一个系统要存储 1T 的数据, 那么必须用上 10 台服务器, 硬件成本非常高 — 且先不谈由此面临的软件的架构改动. 当前, 1T 的数据只能算零头, 对于一个100万活跃用户的系统, 平均每人每天产生 1K 数据, 便需要 1G 的存储空间, 这仅相当于每个用户每天只发10条微博或者10条聊天信息, 真正流行的系统将远远超过这个数据规模.

持久化, 复制和备份带来的系统和网络问题

一般数据达到几百 M 或者 1G 时, Redis 必须且只能开启 aof 操作日志异步写硬盘的持久化模式, 由于用户记录数据变更日志的 aof 文件体积增加比较严重, 必须定期对 aof 文件进行收缩(rewrite). 收缩的过程其实是将内存数据镜像到硬盘的过程, Redis 主进程需要 fork 一个进程出来, 虽然操作系统有写时拷贝功能, 但仍然要为 fork 出来的进程保留足够的内存空间, 所以 Redis 只能使用内存容量的 50%.

在写 aof 文件时, Redis 完全没有任何速度控制策略, 经常导致硬盘读写占满, 其它进程一旦涉及到文件操作, 都将被阻塞住.

Redis 自身支持主从模式, 可以方便地进行数据备份, 避免单点失败造成数据丢失. 但是, Redis 的主从模式并不成熟, 例如当网络出现抖动时, 可以导致主从之间发生一次全量复制, 这对网络带宽是一个打击.

无分布式方案导致软件设计的复杂度增加

Redis 是一个单机的存储方案, 当数据超过单台服务器的内存容量时, 必须由软件的设计者在软件逻辑层面设计出一套数据拆分的方案. 这必然导致软件设计者无法关注于业务逻辑, 而将大量的精力放在数据存储层, 即增加了软件的复杂度, 也造成可维护性的下降.

结论

Redis 不适合作为海量数据存储方案. Redis 适合在数据规模较小, 性能要求较高的条件下应用.

海量数据存储的备选方案

根据业务公开的经验, 海量数据的存储方案主要有:

  • Cassadra, 据我所知是纯粹的 KV 方案, 对结构化数据表达能力非常弱.
  • HBase, 是 Google Bigtable 的一种实现, 在 Facebook 有应用. 其对结构化数据的表达能力的最大优点是数据是一维有序的(按 Key 排序).
  • mongoDB

我们需要什么样的海量数据存储方案(个人看法)?

实际经验来看, 纯粹的 KV 方案太过简单, 简单到几乎无法直接表达任何业务数据, 相当于拿着一堆铁锭, 然后开发者自己再去制作自己需要的零件. 显然, 对于使用者角色的开发者来说, 这不友好.

真正友好的还是结构化数据存储方案, 也就是对数据有一定的理论模型, 从而产生一些数据结构. 要创造出一个普遍适用的数据模型是非常困难的, Bigtable 那样的模型并不是经常被创造出来, 而且在 Bigtable 之外仍然需要更多的模型.

从我自己的开发经验来看, 最基本的, 数据应该是有序的, 可以根据权重来排序. 一旦数据是有序的, 便能分段访问和传输, 而不必全量拷贝, 海量数据处理的原则是拷贝(传输)最少的数据.

大多数业务的模式都是这样的: 首先, 实体被存储在一个空间里, 可通过 key 访问; 其次, 创建实体 key 的若干个有序子集. 这两种结构似乎已经包含了所有的业务逻辑. 所有聊天消息(实体), 为所有的用户创建表示其收件箱消息集合(子集). 所有的微博消息(实体), 为每个用户创建 timeline 消息集合(子集)…

Related posts:

  1. Redis 导数据的 PHP 脚本
  2. Redis被bgsave和bgrewriteaof阻塞的解决方法
  3. Google Talk Developer Home 中文翻译
  4. 安装和使用Google Earth – Linux
  5. 开发爬虫友好的Ajax网站

相关 [redis 构建系统 经验] 推荐：

基于Redis构建系统的经验和教训

- - idea's blog
Redis 是一个非常快速和强大的 Key-Value 存储(持久化)系统, 相对于一般的 NoSQL 存储系统, 它最大的特点是支持丰富的数据结构. 特别是其 zset(sorted set)数据结构, 堪称表达能力最强的结构之一(其它强大的数据结构如 sorted hashmap), 可以直接地表达业务逻辑..

百万级运维经验二：Redis和Memcached的选择

- - CSDN博客系统运维推荐文章
看到很多人推荐使用Redis代替Memcached，我觉得这两个是不一样的东西，它们的关系应该是共存而不是替代. Memcached是个纯内存型的缓存系统，支持数据类型单一，单个缓存数据有限制，支持分布式，我觉得这是个很理想的缓存系统. Redis是个简单的NOSQL数据库，支持几种简单的数据类型，支持主从复制，支持持久化，可以看作是个内存型数据库.

redis调优的实战经验 - 大叔据 - 博客园

- -
本文根据redis的info命令查看redis的内存使用情况以及state状态，来观察redis的运行情况以及需要作出的相应优化. used_memory:13409011624 #used_memory=实际缓存占用的内存+Redis自身运行所占用的内存(如元数据、lua).                        #这个值是由Redis使用内存分配器分配的内存，不包括内存碎片浪费的内存.

百万级运维经验一：Mongodb和Redis数据不能放在同一个服务器

- - CSDN博客系统运维推荐文章
一开始时，为了省服务器，把Mongodb和Redis放在一个服务器上. 网站每到高峰期都特别卡，还经常出现502. 找了很久的原因，发现硬盘的写数据很大，IOPS也很高，排查了很多原因都没找到. 然后再仔细研究监控，发现写硬盘的操作很有规律，每隔几分钟就有一次频繁的写硬盘，联想到Redis同步数据到硬盘的间隔就是几分钟，所以开始怀疑是Redis引起的.

Redis 负载监控——redis-monitor

- - ITeye资讯频道
redis-monitor是一个Web可视化的 redis 监控程序. 使用 Flask 来开发的，代码结构非常简单，适合移植到公司内网使用. redis 服务器信息，包括 redis 版本、上线时间、 os 系统信息等等. 实时的消息处理信息，例如处理 command 数量、连接总数量等. 内存占用、 cpu 消耗实时动态图表.

Redis 起步

- - 博客园_首页
Rdis和JQuery一样是纯粹为应用而产生的，这里记录的是在CentOS 5.7上学习入门文章：. Redis是一个key-value存储系统. 和Memcached类似，但是解决了断电后数据完全丢失的情况，而且她支持更多无化的value类型，除了和string外，还支持lists（链表）、sets（集合）和zsets（有序集合）几种数据类型.

redis 配置

- - 谁主沉浮
# 当配置中需要配置内存大小时，可以使用 1k, 5GB, 4M 等类似的格式，其转换方式如下(不区分大小写). # 内存配置大小写是一样的.比如 1gb 1Gb 1GB 1gB. # daemonize no 默认情况下，redis不是在后台运行的，如果需要在后台运行，把该项的值更改为yes. # 当redis在后台运行的时候，Redis默认会把pid文件放在/var/run/redis.pid，你可以配置到其他地址.

Cassandra代替Redis?

- - Tim[后端技术]
最近用Cassandra的又逐渐多了，除了之前的360案例，在月初的QCon Shanghai 2013 篱笆网也介绍了其使用案例. 而这篇 百万用户时尚分享网站feed系统扩展实践文章则提到了Fashiolista和Instagram从Redis迁移到Cassandra的案例. 考虑到到目前仍然有不少网友在讨论Redis的用法问题，Redis是一个数据库、内存、还是Key value store?以及Redis和memcache在实际场景的抉择问题，因此简单谈下相关区别.

redis 部署

- - CSDN博客云计算推荐文章
一、单机部署 tar xvf redis-2.6.16.tar.gz cd redis-2.6.16 make make PREFIX=/usr/local/redis install  #指定安装目录为/usr/local/redis，默认安装安装到/usr/local/bin. # chkconfig: 2345 80 10       #添加redhat系列操作系统平台，开机启动需求项(运行级别，开机时服务启动顺序、关机时服务关闭顺序) # description:  Starts, stops redis server.

nagios 监控redis

- - C1G军火库
下载check_redis.pl. OK: REDIS 2.6.12 on 192.168.0.130:6379 has 1 databases (db0) with 49801 keys, up 3 days 14 hours - connected_clients is 1, blocked_clients is 0 | connected_clients=1 blocked_clients=0.