用redis实现社交产品中计数器 - jockchou

标签: redis 社交 产品 | 发表时间:2015-07-15 12:22 | 作者:jockchou
出处:

用redis实现计数器

社交产品业务里有很多统计计数的功能,比如:

  • 用户: 总点赞数,关注数,粉丝数
  • 帖子: 点赞数,评论数,热度
  • 消息: 已读,未读,红点消息数
  • 话题: 阅读数,帖子数,收藏数

统计计数的特点

  • 实时性要求高
  • 写的频率很高
  • 写的性能对MySQL是一个挑战

可以采用redis来优化高频率写入的性能要求。

redis优化方案一

对于每一个实体的计数,设计一个hash结构的counter:

//用户
counter:user:{userID}
->praiseCnt: 100//点赞数
->hostCnt: 200//热度
->followCnt: 332//关注数
->fansCnt: 123//粉丝数


//帖子
counter:topic:{topicID}
-> praiseCnt: 100//点赞数
-> commentCnt: 322//评论数


//话题
counter:subject:{subjectID}
-> favoCnt: 312//收藏数
-> viewCnt: 321//阅读数
-> searchCnt: 212//搜索进入次数
-> topicCnt: 312//话题中帖子数

类似这种计数器,随着产品功能的增加,也会越来越多,比如回复数,踩数,转发数什么的。

redis相关的命令

//获取指定userID的所有计数器
HGETALL counter:user:{userID}

//获取指定userID的指定计数器
HMGET counter:user:{userID} praiseCnt hostCnt

//指定userID点赞数+1
HINCRBY counter:user:{userID} praiseCnt

缺点:

这样设计,如果要批量查询多个用户的数据,就比较麻烦,例如一次要查指定20个userID的计数器?只能循环执行 HGETALL counter:user:{userID}。

优点:

以实体聚合数据,方便数据管理

redis优化方案二

方案二是用来解决方案一的缺点的,依然是采用hash,结构设计是这样的:

counter:user:praiseCnt
-> userID_1001: 100
-> userID_1002: 200
-> userID_1003: 332
-> userID_1004: 123
.......
-> userID_9999: 213



counter:user:hostCnt
-> userID_1001: 10
-> userID_1002: 290
-> userID_1003: 322
-> userID_1004: 143
.......
-> userID_9999: 213


counter:user:followCnt
-> userID_1001: 21
-> userID_1002: 10
-> userID_1003: 32
-> userID_1004: 203
.......
-> userID_9999: 130

获取多个指定userID的点赞数的命令变成这样了:

HMGET counter:user:praiseCnt userID_1001 userID_1002

上面命令可以批量获取多个用户的点赞数,时间复杂度为O(n),n为指定userID的数量。

优点:

解决了批量操作的问题

缺点:

当要获取多个计数器,比如同时需要praiseCnt,hostCnt时,要读多次,不过要比第一种方案读的次数要少。
一个hash里的字段将会非常宠大,HMGET也许会有性能瓶颈。

用redis管道(Pipelining)来优化方案一

对于第一种方案的缺点,可以通过redis管道来优化,一次性发送多个命令给redis执行:

$userIDArray = array(1001, 1002, 1003, 1009);

$pipe = $redis->multi(Redis::PIPELINE);
foreach ($userIDArray as $userID) {
$pipe->hGetAll('counter:user:' . $userID);
}

$replies = $pipe->exec();
print_r($replies);

还有一种方式是在redis上执行lua脚本,前提是你必须要学会写lua。


本文链接: 用redis实现社交产品中计数器,转载请注明。

相关 [redis 社交 产品] 推荐:

用redis实现社交产品中计数器 - jockchou

- - 博客园_首页
社交产品业务里有很多统计计数的功能,比如:. 用户: 总点赞数,关注数,粉丝数. 帖子: 点赞数,评论数,热度. 消息: 已读,未读,红点消息数. 话题: 阅读数,帖子数,收藏数. 写的性能对MySQL是一个挑战. 可以采用redis来优化高频率写入的性能要求. 对于每一个实体的计数,设计一个hash结构的counter:.

Redis应用场景及产品定位

- - 互联网 - ITeye博客
关键字:Redis应用场景及产品定位. 传统MySQL+ Memcached架构遇到的问题. 实际MySQL是适合进行海量数据存储的,通过Memcached将热点数据加载到cache,加速访问,很多公司都曾经使用过这样的架构,但随着业务数据量的不断增加,和访问量的持续增长,我们遇到了很多问题:.     MySQL需要不断进行拆库拆表,Memcached也需不断跟着扩容,扩容和维护工作占据大量开发时间.

文章: 为什么使用 Redis及其产品定位

- Yousri - Yousri Yan的 InfoQ 个性化 RSS Feed
最近几年,业界不断涌现出很多各种各样的NoSQL产品,那么如何才能正确地使用好这些产品,最大化地发挥其长处,是我们需要深入研究和思考的问题,实际归根结底最重要的是了解这些产品的定位,并且了解到每款产品的tradeoffs,在实际应用中做到扬长避短,我们需要根据我们的业务场景选择最合适的产品.

为什么使用 Redis及其产品定位

- - 互联网旁观者
传统MySQL+ Memcached架构遇到的问题 实际MySQL是适合进行海量数据存储的,通过Memcached将热点数据加载到cache,加速访问,很多公司都曾经使用过这样的架构,但随着业务数据量的不断增加,和访问量的持续增长,我们遇到了很多问题: . MySQL需要不断进行拆库拆表,Memcached也需不断跟着扩容,扩容和维护工作占据大量开发时间.

Redis实战:如何构建类微博的亿级社交平台

- - 行业应用 - ITeye博客
微博及 Twitter 这两大社交平台都重度依赖 Redis 来承载海量用户访问. 本文介绍如何使用 Redis 来设计一个社交系统,以及如何扩展 Redis 让其能够承载上亿用户的访问规模. 虽然单台 Redis 具备极佳的性能,但随着系统规模增大,单台服务器不能存储所有数据、以及没办法处理所有读写请求的问题迟早都会出现,这时我们就需要对 Redis 进行扩展,让它能够满足需求.

Redis 负载监控——redis-monitor

- - ITeye资讯频道
redis-monitor是一个Web可视化的 redis 监控程序. 使用 Flask 来开发的,代码结构非常简单,适合移植到公司内网使用. redis 服务器信息,包括 redis 版本、上线时间、 os 系统信息等等. 实时的消息处理信息,例如处理 command 数量、连接总数量等. 内存占用、 cpu 消耗实时动态图表.

新浪新的社交产品曝光:看点 定位社交电视

- 小趴 八足趴 八足 ramener - 互联网的那点事...
可以在线观看视频、卫视节目、现场直播等. 可自己创建合辑,收集视频,创建属于自己的节目和电台. 用新浪微博账号可直接登录,在看点发布内容可直接同步到新浪微博. 目前该产品正在内测中,需内测码才能进入. 地址:www.kandian.com. 为了让你的微博好友随时随地了解你的动态,看点和微博的信息双方是互通的,因此你在看点发布的内容会同步到微博,你的好友的评论和转发也是双方互通的.

Redis 起步

- - 博客园_首页
Rdis和JQuery一样是纯粹为应用而产生的,这里记录的是在CentOS 5.7上学习入门文章:. Redis是一个key-value存储系统. 和Memcached类似,但是解决了断电后数据完全丢失的情况,而且她支持更多无化的value类型,除了和string外,还支持lists(链表)、sets(集合)和zsets(有序集合)几种数据类型.

redis 配置

- - 谁主沉浮
# 当配置中需要配置内存大小时,可以使用 1k, 5GB, 4M 等类似的格式,其转换方式如下(不区分大小写). # 内存配置大小写是一样的.比如 1gb 1Gb 1GB 1gB. # daemonize no 默认情况下,redis不是在后台运行的,如果需要在后台运行,把该项的值更改为yes. # 当redis在后台运行的时候,Redis默认会把pid文件放在/var/run/redis.pid,你可以配置到其他地址.

Cassandra代替Redis?

- - Tim[后端技术]
最近用Cassandra的又逐渐多了,除了之前的360案例,在月初的QCon Shanghai 2013 篱笆网也介绍了其使用案例. 而这篇 百万用户时尚分享网站feed系统扩展实践文章则提到了Fashiolista和Instagram从Redis迁移到Cassandra的案例. 考虑到到目前仍然有不少网友在讨论Redis的用法问题,Redis是一个数据库、内存、还是Key value store?以及Redis和memcache在实际场景的抉择问题,因此简单谈下相关区别.