[原]内容分发平台个性化推荐系统经验简单总结

标签: | 发表时间:2015-01-01 23:37 | 作者:yangbutao
出处:http://blog.csdn.net/yangbutao

推荐在电商和互联网应用中已经应用的非常广泛,相比于根据query进行主动的搜索,推荐是更加被动的由系统自动推出商品给用户。搜索的意图比较明显,直接由query给出,而推荐需要计算猜测用户的意图,根据用户历史数据和当前行为,基于各种模型推荐合适的商品,提升用户体验,提高转化率。不过近些年来,搜索和推荐在底层模型和技术方面越来越趋于融合,利用机器学习的方式来改进搜索和推荐的质量,像搜索排序LTR等等。

推荐系统需要考虑用户、平台、内容提供方之间的共赢,推荐系统可以增加长尾销售能力,增加用户粘性和提高用户体验,提高转化率以及商业收入。

先说一下在我们应用内容分发平台中几种推荐算法:

基于内容Content-based的推荐,在内容分发平台中,利用用户画像中的用户-分类兴趣和分类-应用的矩阵向量进行乘法操作,得出应用打分排名进行推荐,用于解决应用的冷启动和用户行为数据稀疏问题。这种方式问题在于,对于物品对应分类比重需要人工的来进行指定,存在人为方面的因素,很难把控,在推荐的精度方面存在问题。

人工对应于的分类进行标注,难免有缺陷,对应用的内容主题相似度建模,为用户推荐和之前有过行为的应用的主题相似的应用。

在内容推荐中,还有一种是对应用进行打标签Tag,结合用户画像中的标签,通过内容的匹配算法,推荐应用给用户。

基于协同过滤的推荐,为了增加应用推荐的新颖性,利用用户的历史行为数据,进行基于Item的协同过滤推荐,该推荐算法需要离线计算Item之间的相似度,对于用户行为的稀疏性问题,采用Jaccard来计算物品的相似度,同时需要考虑规避活跃用户的影响。

基于关联规则的推荐,利用并行FPGrowth来计算应用之间的相关性。

推荐系统的架构



推荐系统架构包括离线和在线两部分,

离线部分,基于用户特征(画像分类兴趣、标签、行为特征)和应用库(类别、标签,每个应用都可以用类别和标签来特征化),利用机器学习、文本挖掘、统计以及相关的推荐算法进行离线模型(用户特征表、特征物品表、融合模型)计算,比如利用LDA进行应用的内容主题抽取以做主题相似度的比较;基于Item的协同过滤,需要根据用户的行为,计算物品之间的相似度;以及针对各种算法的融合模型的训练等等。这些处理过程一般都可以采用分布式的并行处理过程MR来进行离线的计算。

在线数据处理部分,是给予用户静态和实时行为特征进行相关物品检索,以及物品排序的过程。主要由场景意图、规则设定、算法融合组成。

场景主要负责对用户意图的识别,对于场景的判断,需要结合用户的实时行为,来明确用户的意图是发散还是聚焦的,不同的场景采用不同的算法进行组装,比如在首页或者频道栏用户的目的性不是那么强,为了增加用户的粘性,可以基于标签分类的推荐、协同过滤、最新最热等的算法进行推荐。在用户浏览到某一应用的详情页,那么用户的意图比较明显,可以基于内容的和关联规则的算法给用户推荐应用。在下载进行或者完成后,可以用采用基于Item的协同过滤、最新最热算法进行推荐。还有一种方式是以PUSH推送客户端的方式为用户精准的推送,可以融合推广、协同过滤、最新最热等算法。

在推荐过程中,除了在不同的场景用不同的算法进行融合外,也需要考虑商业的目标,运营业务希望通过人工规则来干预推荐的结果,比如商业推广。这就需要设定规则来进行干预。

每种算法考虑的问题角度会不一样,面对特征的多样性、模型多样性、规则多样性,需要有一种机制来ensemble融合起来,采用逻辑回归,以候选应用的每种算法或规则打分作为特征输入,以用户是否下载该应用作为二元因变量,进行建模,得出推荐的最终排名,通过这样一种融合的模型,来学习隐藏在群体背后的规则。

效果评测部分,可以采用在线A/BTesting方式,引用部分流量,在进行算法调整时对比调整前后的转化率情况;也可以离线的基于一些评价标准,F1、多样性、新颖度、RMSE、AUC等进行评测。

设计一个推荐系统,需要算法、数据、产品方面都需综合考虑,利用算法和数据得出模型并应用于推荐,推荐的结果展示以及对最终的效果的反馈也需要良好的产品设计来支撑,以提高人机交互的能力,提高推荐的效果。


作者:yangbutao 发表于2015/1/1 15:37:52 原文链接
阅读:1018 评论:0 查看评论

相关 [平台 个性 推荐系统] 推荐:

[原]内容分发平台个性化推荐系统经验简单总结

- - 分布式架构、大数据、机器学习、搜索、推荐、广告
推荐在电商和互联网应用中已经应用的非常广泛,相比于根据query进行主动的搜索,推荐是更加被动的由系统自动推出商品给用户. 搜索的意图比较明显,直接由query给出,而推荐需要计算猜测用户的意图,根据用户历史数据和当前行为,基于各种模型推荐合适的商品,提升用户体验,提高转化率. 不过近些年来,搜索和推荐在底层模型和技术方面越来越趋于融合,利用机器学习的方式来改进搜索和推荐的质量,像搜索排序LTR等等.

个性化推荐系统综述

- Tony - 所有文章 - UCD大社区
上个月写过一篇产品推荐的文章,详情请见《我所了解的产品推荐》,内容很泛,多为工作心得. 本周读了几篇相关的论文,收获颇多,分享点干货. 以下内容摘自《个性化推荐系统的研究进展》,该文发表于2009年1月的《自然科学进展》专题评述,作者是刘建国、周涛、汪秉宏. 我略去了具体的算法和许多公式,重点看原理、思路和比较.

下一代个性化推荐系统

- - 技术改变世界 创新驱动中国 - 《程序员》官网
本文结合技术及社会需求发展的大背景,讲述了当前推荐系统的价值及所面临的挑战,并指出了下一代个性化推荐系统的设计思路及需要注意的问题. 作为个性化推荐系统核心的协同过滤(Collabora-tive Filtering)算法,是Goldberg等人在1992年的一篇学术论文中最早提出的. 他们在这篇文章中提出一种方法,在一个新闻组中,根据 用户下载的新闻计算他们之间在口味上的相似程度,并利用这种相似程度为他们进一步推荐相关的新闻.

Netflix 公布个性化和推荐系统架构

- - 互联网分析
Netflix的推荐和个性化功能向来精准,前不久,他们公布了自己在这方面的系统架构. 3月27日,Netflix的工程师 Xavier Amatrain和 Justin Basilico在官方博客 发布文章,介绍了自己的个性化和推荐系统架构. 要开发出这样的一个软件架构,能够处理海量现有数据、响应用户交互,还要易于尝试新的推荐方法,这可不一点都不容易.

基于Spark MLlib平台的协同过滤算法---电影推荐系统

- - zzm
又好一阵子没有写文章了,阿弥陀佛...最近项目中要做理财推荐,所以,回过头来回顾一下协同过滤算法在推荐系统中的应用.     说到推荐系统,大家可能立马会想到协同过滤算法. 本文基于Spark MLlib平台实现一个向用户推荐电影的简单应用. 基于模型的协同过滤应用---电影推荐.     一、协同过滤算法概述.

饭饭:网易有道全新个性化餐馆推荐系统

- - 津津乐道 有道官方博客
先做一个小调查,你有没有遇到过下面这些情况. 吃腻了身边的餐馆,到了饭点却经常不知道该去哪里吃饭;掏出手机,发现各种应用里推荐的餐馆翻来覆去总是那几家;而当你出差、旅游、逛街到了陌生的地方时,又常常找不到适合自己口味的餐馆. 如果你的答案是yes的话,你可能会选择随便找个餐馆凑合一下,或是打开一个美食类的网站或手机应用,看看上面的餐馆排行.

腾讯:仅24%用户认为个性化推荐系统“靠谱”

- - 199IT互联网数据中心
盘点科技圈里的时髦词汇,必然少不了一个词:个性化推荐. 借助个性化推荐技术,互联网产品获取或积累用户的兴趣喜好数据后,可以直接为用户提供每个人感兴趣的内容,以此提升产品的内容吸引力. 想要在产品里添加个性化推荐功能已经不是一件难事,事情的难点在于推荐的内容是否准确. 为了解目前用户对该类功能的反馈,企鹅智酷推出了一项调查,以下就是调查结果:.

Min-Hash和推荐系统

- - xlvector - Recommender System
前几年看Google News Recommendation的那篇Paper,对里面提到的MinHash的算法基本没有注意,因为之前的习惯都是只注意论文的模型那块,至于怎么优化模型一般都只是扫一眼. 不过最近看了大量的Google Paper,发现Google在实现一个算法方面确实有很多独到之处. 其实,Min-Hash是LSH(Locality Sensitive Hash)的一种,我之前对LSH的了解仅仅限于知道它能把两个相似的东西Hash成两个汉明距离接近的2进制数.

推荐系统实战

- - 博客园_首页
推荐算法:基于特征的推荐算法. 推荐算法准确度度量公式:. 其中,R(u)表示对用户推荐的N个物品,T(u)表示用户u在测试集上喜欢的物品集合. 集合相似度度量公式(N维向量的距离度量公式):. 其中,N(u)表示用户u有过正反馈的物品集合. 其中,S(u,k)表示和用户u兴趣最接近的K个用户集合;N(i)表示对物品i有过正反馈的用户集合;w(u,v)表示用户u和用户v的兴趣相似度;r(v,i)表示用户v对物品i的兴趣.

推荐系统杂谈

- - 后端技术杂谈 | 飒然Hang
推荐系统是近些年非常火的技术,不管是电商类软件还是新闻类app,都号称有精准的推荐系统能给你推送你最感兴趣的内容. 现象级的资讯类app“今日头条”就得益于此成为了势头非常猛的一款产品. 本文就针对推荐系统讲述一些相关概念和实践经验. 首先需要明确的就是推荐系统的目标,一般来说不外乎以下几个:. 用户满意性:首当其冲的,推荐系统主要就是为了满足用户的需求,因此准确率是评判一个推荐系统好坏的最关键指标.