读paper:腾讯实时推荐实践

标签: 个性化推荐与搜索 | 发表时间:2015-06-16 09:38 | 作者:bicloud
出处:http://blog.sina.com.cn/bicloud

阅读TencentRec: Real-time Stream Recommendation inPractice

大数据环境下的实时推荐需求,克服三大难题:大数据,实时性,准确度;

大数据,用户数据,业务数据;实时基于storm处理;算法主要基于item-based,content-based,demographic,并且

根据实时特征,结合业务进行创新。

Highlights

1 Traditional recommender systems that analyze data and updatemodels at regular time intervals, e.g., hours or days, cannot meetthe real-time demands.

往往,实时用户意图更能真实的展现用户需求,离线计算的大多数是预测,而且大多数不准。 Traditional recommendersystems cannot make fast responses to users'preference changesand capture the users’ real-time interests, thus resulting in bad recommendationresults。这一块感同身受。

2 实时推荐系统问题,系统性能,数据稀疏性和隐式反馈,算法问题

3 腾讯实时推荐系统主要工作:

大数据环境下,实现传统item-based,content-based, demographic算法,并且将其应用到腾讯各个业务之中;

4 系统架构

(1)平台选择

支持实时计算,高可伸缩性,优秀的容错性能,选择storm

(2)数据访问接口

 

(3)数据存储

5 算法设计

工业应用实践考虑,易用性和准确度,ROI

(1)item-based CF

处理隐式反馈问题,增量更新,裁剪技术减少计算成本

There are various types of user behaviors in our scenario, includingclick, browse, purchase, share, comment, etc.

通过技术手段,将隐式行为转化为显式评分。

增量更新

更新流程​

we utilize the Hoeffding bound theoryand develop a real-time pruning technique

(2)数据稀疏性处理

We develop two mechanisms to solve the data sparsity problem,including the demographic clustering and the demographic basedcomplement.

(3)实时过滤机制

方法1,采用时间窗口,基于session过滤数据;

方法2,根据最近的行为做推荐种子。Besides the sliding window mechanism, we propose a real-timepersonalized filtering technique to serve the individual users' realtimedemands. For each user, we record the recent k items that heis interested in.

 

6 系统架构

7 应用点

腾讯视频,易迅网,腾讯文学,微信,大众点评,腾讯新闻,qq空间等

参考文献:

TencentRec: Real-time Stream Recommendation inPractice

 

启发点:

(1)增量更新计算item-basedCF,demographic-based 剪枝

(2)系统性能

 

 



  青春就应该这样绽放   游戏测试:三国时期谁是你最好的兄弟!!   你不得不信的星座秘密

相关 [paper 腾讯 实时] 推荐:

读paper:腾讯实时推荐实践

- - 冰火岛
阅读TencentRec: Real-time Stream Recommendation inPractice. 大数据环境下的实时推荐需求,克服三大难题:大数据,实时性,准确度;. 大数据,用户数据,业务数据;实时基于storm处理;算法主要基于item-based,content-based,demographic,并且.

Paper Mache:从 webOS 到 Android

- - 爱范儿 · Beats of Bits
Paper Mache 原本是 TouchPad 平板电脑上的一款免费离线阅读软件. 它跟 Instapaper的功能相似——把用户感兴趣的文章和图片保存下来,供以后阅读——当然它也提供了 Instapaper 账户的同步功能. 它的开发者 Ryan Watkins 认为这是 webOS 平板上最优秀的阅读器之一,一切交互元素和手势操作都按照 webOS 的规则来进行.

碎纸机抱枕:Cushion Maker Paper

- Mingrui - 爱…稀奇~{新鲜:科技:创意:有趣}
许多现代化的办公室都装备有碎纸机——好吧,的确很方便,但是那些被销毁的纸张,除了被扔进垃圾堆,就没有别的什么更好归宿了么. 设计师Gyeongwan Koo显然并不这么看,他认为,这些纸屑完全可以变成抱枕:. 简单地说,哥们将碎纸机变成了生产抱枕的流水线,一头塞进需要粉碎的文档,一头用专用的容器接住纸屑,封装起来就能变成一个纸枕头——马上就冬天了,必须承认,这样的一个设备应该可以让全公司的妹纸温暖过冬吧~.

E Paper :新智能手机显示屏

- Johnny - 爱范儿 · Beats of Bits
我们曾向大家介绍过 E Ink 技术,称之为显示技术的未来. E Paper 简单来说即是由 E Ink 组成的可弯曲,无需照明设施的塑料材质显示屏(只在屏幕内容产生变化时需要少量电量来重组 E Ink). 运用 E Ink 技术的黑白电子阅读器凭借低电耗又保护视力的优势, 在 2011 年世界销量预计超过 1 100万.

装上Paper,iPad一秒变身涂鸦本

- - Tech2IPO
涂鸦是人类的天性,是自我表达欲望的自然流露. 但是与说话相比,写写画画没有那么便利,所以我们经常能见到“话痨”,但不会有太多机会见到“画痨”. 前不久开始火爆的 Draw Something成功的原因相信就是释放了人们涂鸦的天性,那是一种最简单的快乐. 当我们每次在屏幕上点点画画的时候,所思所想无法方便快捷地在设备上自由地记录,有些奇思妙想因此转瞬即逝,过后无法再追踪总是一种遗憾.

新闻阅读器Paper对Facebook有多重要?

- - PingWest中文网
根据Re/code的报道,Facebook将在几周内发布类似Flipboard的阅读应用Paper,不仅如此,他们称 Facebook正在招募编辑来为内容做人工筛选. Paper是Facebook的秘密项目,用户可以利用Paper阅读到来自传统出版物的内容、好友状态更新和Instagram照片等内容.

Paper:充满诚意的内容阅读产品,Made by Facebook

- - PingWest中文网
“这是Facebook最好的应用. ”科技博客The Verge这么评价Facebook最新推出的新闻类应用Paper. 而TechCrunch的评价是,“它有可能成为Facebook官方应用的替代品. Facebook的移动应用并不出色,但是Paper却让人眼前一亮. 简单说,Paper就是纯内容的Facebook.

Hermes:来自腾讯的实时检索分析平台

- - 标点符
实时检索分析平台(Hermes)是腾讯数据平台部为大数据分析业务提供一套实时的、多维的、交互式的查询、统计、分析系统,为各个产品在大数据的统计分析方面提供完整的解决方案,让万级维度、千亿级数据下的秒级统计分析变为现实. Hermes 实时检索分析场景. 作为营销人员,首先需要确认营销目标群体,并且在什么时间以什么形式,开展什么营销活动效果最好.

腾讯数据平台部总经理蒋杰:数十亿广告的基础是精准实时推荐

- - 博客园_新闻
本文是福布斯中文网“数据大玩家”专栏中的一篇文章. 接受提问的蒋杰先生,是腾讯数据平台部总经理,在加入腾讯前,他曾经是支付宝的数据经理. 提问的车品觉先生,是中国信息协会大数据分会副会长. 在过去几年,你在腾讯做了什么来推动大数据的应用. 过去三年,我一直在坚持一件事:推动大数据的实时应用. 现在从国外数据中心的数据,一秒钟可以达到深圳数据中心,这就是腾讯具备的数据能力.

腾讯的内涵图

- keeno - 阿禅日记
2011年5月31日10:33,腾讯QQ 浏览器首页的截图如下:. 内涵关键词:释放、aiww、64. 1小时后,腾讯将图片替换掉了. 对这位如此有内涵的经理或编辑或设计师致敬. © Jason Ng for 阿禅日记, |. 不要用中国手机号来找回Gmail密码.