读paper:腾讯实时推荐实践

标签: 个性化推荐与搜索 | 发表时间:2015-06-16 17:38 | 作者:bicloud
出处:http://blog.sina.com.cn/bicloud

阅读TencentRec: Real-time Stream Recommendation inPractice

大数据环境下的实时推荐需求,克服三大难题:大数据,实时性,准确度;

大数据,用户数据,业务数据;实时基于storm处理;算法主要基于item-based,content-based,demographic,并且

根据实时特征,结合业务进行创新。

Highlights

1 Traditional recommender systems that analyze data and updatemodels at regular time intervals, e.g., hours or days, cannot meetthe real-time demands.

往往,实时用户意图更能真实的展现用户需求,离线计算的大多数是预测,而且大多数不准。 Traditional recommendersystems cannot make fast responses to users'preference changesand capture the users’ real-time interests, thus resulting in bad recommendationresults。这一块感同身受。

2 实时推荐系统问题,系统性能,数据稀疏性和隐式反馈,算法问题

3 腾讯实时推荐系统主要工作:

大数据环境下,实现传统item-based,content-based, demographic算法,并且将其应用到腾讯各个业务之中;

4 系统架构

(1)平台选择

支持实时计算,高可伸缩性,优秀的容错性能,选择storm

(2)数据访问接口

 

(3)数据存储

5 算法设计

工业应用实践考虑,易用性和准确度,ROI

(1)item-based CF

处理隐式反馈问题,增量更新,裁剪技术减少计算成本

There are various types of user behaviors in our scenario, includingclick, browse, purchase, share, comment, etc.

通过技术手段,将隐式行为转化为显式评分。

增量更新

更新流程​

we utilize the Hoeffding bound theoryand develop a real-time pruning technique

(2)数据稀疏性处理

We develop two mechanisms to solve the data sparsity problem,including the demographic clustering and the demographic basedcomplement.

(3)实时过滤机制

方法1,采用时间窗口,基于session过滤数据;

方法2,根据最近的行为做推荐种子。Besides the sliding window mechanism, we propose a real-timepersonalized filtering technique to serve the individual users' realtimedemands. For each user, we record the recent k items that heis interested in.

 

6 系统架构

7 应用点

腾讯视频,易迅网,腾讯文学,微信,大众点评,腾讯新闻,qq空间等

参考文献:

TencentRec: Real-time Stream Recommendation inPractice

 

启发点:

(1)增量更新计算item-basedCF,demographic-based 剪枝

(2)系统性能

 

 



  青春就应该这样绽放   游戏测试:三国时期谁是你最好的兄弟!!   你不得不信的星座秘密

相关 [paper 腾讯 实时] 推荐:

读paper:腾讯实时推荐实践

- - 冰火岛
阅读TencentRec: Real-time Stream Recommendation inPractice. 大数据环境下的实时推荐需求,克服三大难题:大数据,实时性,准确度;. 大数据,用户数据,业务数据;实时基于storm处理;算法主要基于item-based,content-based,demographic,并且.

Paper Mache:从 webOS 到 Android

- - 爱范儿 · Beats of Bits
Paper Mache 原本是 TouchPad 平板电脑上的一款免费离线阅读软件. 它跟 Instapaper的功能相似——把用户感兴趣的文章和图片保存下来,供以后阅读——当然它也提供了 Instapaper 账户的同步功能. 它的开发者 Ryan Watkins 认为这是 webOS 平板上最优秀的阅读器之一,一切交互元素和手势操作都按照 webOS 的规则来进行.

碎纸机抱枕:Cushion Maker Paper

- Mingrui - 爱…稀奇~{新鲜:科技:创意:有趣}
许多现代化的办公室都装备有碎纸机——好吧,的确很方便,但是那些被销毁的纸张,除了被扔进垃圾堆,就没有别的什么更好归宿了么. 设计师Gyeongwan Koo显然并不这么看,他认为,这些纸屑完全可以变成抱枕:. 简单地说,哥们将碎纸机变成了生产抱枕的流水线,一头塞进需要粉碎的文档,一头用专用的容器接住纸屑,封装起来就能变成一个纸枕头——马上就冬天了,必须承认,这样的一个设备应该可以让全公司的妹纸温暖过冬吧~.

E Paper :新智能手机显示屏

- Johnny - 爱范儿 · Beats of Bits
我们曾向大家介绍过 E Ink 技术,称之为显示技术的未来. E Paper 简单来说即是由 E Ink 组成的可弯曲,无需照明设施的塑料材质显示屏(只在屏幕内容产生变化时需要少量电量来重组 E Ink). 运用 E Ink 技术的黑白电子阅读器凭借低电耗又保护视力的优势, 在 2011 年世界销量预计超过 1 100万.

如何快速读Paper – ThoughtWorks洞见

- -
去哪里找paper之后,大家问我的问题就常常变成了:. 如何快速阅读一篇paper并准确的提取其中有用的信息. 在本文中,我将试图为大家简要解答这个问题,争取告诉大家如何在短时间内通过阅读文献的方式了解一个新的领域. 阅读一篇paper通常见的目的有四种:. 面对一个新的领域,我要快速把握这个领域的研究方向和state-of-the-art方法,来给自己或者团队设计一个大致的技术方案.

装上Paper,iPad一秒变身涂鸦本

- - Tech2IPO
涂鸦是人类的天性,是自我表达欲望的自然流露. 但是与说话相比,写写画画没有那么便利,所以我们经常能见到“话痨”,但不会有太多机会见到“画痨”. 前不久开始火爆的 Draw Something成功的原因相信就是释放了人们涂鸦的天性,那是一种最简单的快乐. 当我们每次在屏幕上点点画画的时候,所思所想无法方便快捷地在设备上自由地记录,有些奇思妙想因此转瞬即逝,过后无法再追踪总是一种遗憾.

Paper:充满诚意的内容阅读产品,Made by Facebook

- - PingWest中文网
“这是Facebook最好的应用. ”科技博客The Verge这么评价Facebook最新推出的新闻类应用Paper. 而TechCrunch的评价是,“它有可能成为Facebook官方应用的替代品. Facebook的移动应用并不出色,但是Paper却让人眼前一亮. 简单说,Paper就是纯内容的Facebook.

新闻阅读器Paper对Facebook有多重要?

- - PingWest中文网
根据Re/code的报道,Facebook将在几周内发布类似Flipboard的阅读应用Paper,不仅如此,他们称 Facebook正在招募编辑来为内容做人工筛选. Paper是Facebook的秘密项目,用户可以利用Paper阅读到来自传统出版物的内容、好友状态更新和Instagram照片等内容.

Hermes:来自腾讯的实时检索分析平台

- - 标点符
实时检索分析平台(Hermes)是腾讯数据平台部为大数据分析业务提供一套实时的、多维的、交互式的查询、统计、分析系统,为各个产品在大数据的统计分析方面提供完整的解决方案,让万级维度、千亿级数据下的秒级统计分析变为现实. Hermes 实时检索分析场景. 作为营销人员,首先需要确认营销目标群体,并且在什么时间以什么形式,开展什么营销活动效果最好.

腾讯看点基于 Flink 构建万亿数据量下的实时数仓及实时查询系统

- - IT瘾-dev
▼ 关注「 Flink 中文社区」,获取更多技术干货 ▼. 摘要:本文由社区志愿者路培杰整理,腾讯看点数据团队高级工程师王展雄在 Flink Forward Asia 2020 分享的议题《腾讯看点基于 Flink 构建万亿数据量下的实时数仓及实时查询系统》. Tips:点击 「阅读原 文」即可查看作者分享原版视频~.