一个完整推荐系统的设计实现-以百度关键词搜索推荐为例

标签： 产品 推荐系统 搜索引擎 数据挖掘 机器学习 | 发表时间：2014-09-17 22:42 | 作者：admin
出处：http://www.semocean.com
在之前一篇博文中， 有同学在评论中问了个问题： 如何解决因式分解带来的推荐冷门，热门关键词的问题。 在回答这个问题的时候， 想到了近几年在做搜索推荐系统的过程中， 学术界和工业界的一些区别。 正好最近正在做技术规划， 于是写偏文章说下工业界完整推荐系统的设计。 结论是： 没有某种算法能够完全解决问题， 多重算法+交互设计， 才能解决特定场景的需求。下文也对之前的一些博文进行梳理，构成一个完整工业界推荐系统所具有的方方面面（主要以百度关键词搜索推荐系统为例）
完整的推荐系统肯定不会只用一种推荐算法
在学术界， 一般说到推荐引擎， 我们都是围绕着某一种单独的算法的效果优化进行的， 例如按内容推荐， 协同过滤（包括item-based, user-based, SVD分解等），上下文推荐，Constraint-based推荐，图关系挖掘等。 很多比较牛的单个算法， 就能在某个指标上取得较好效果， 例如MAE，RMSE。。。不过有自己的优点， 每种算法也有自己的缺点， 例如按内容推荐主要推荐和用户历史结果相似的item，一般的item-based容易推荐热门item（被更多人投票过）。。。。   所以在工业界，例如各互联网公司， 都会使用多种算法进行互相配合， 取长补短， 配合产品提升效果。而且 在完整的推荐系统中，不仅有传统的Rating推荐， 还需要辅以非常多的挖掘， Ranking来达到预期效果。
推荐系统3大件：User Profile、基础挖掘推荐、Ranking
在实践中， 一个完整的推荐系统会主要由3部分组成：
  1. User Profile
  2. 基础推荐挖掘算法
  3. Ranking
此处之所以将Ranking单独列出来，是因为其在推荐任务中过于重要，直接决定了推荐的效果。
以下为整个推荐的数据流：
User Profile
A user profile is a representation of information about an individual user that is essential for the (intelligent) application we are considering user profile主要是用户（注册）信息，以及对用户反馈的信息进行处理，聚合，用于描述用户的特征； 是后续推荐和排序的基石。 一般情况下，user profile会包含以下具体内容：
  1. 用户兴趣数据
  2. 用户的基础注册信息，背景信息：例如用户出生地，年龄，性别，星座，职业等。这些信息一般从用户注册信息中获取；例如高德，百度地图注册用户，淘宝注册用户等
  3. 用户行为反馈：包括显示的反馈(explicit)和隐藏(implicit)的反馈，显示的反馈包括用户的评分，点赞等操作，百度关键词搜索推荐工具上的点赞（正向显示反馈）和垃圾桶（负向显示反馈），淘宝上的评分；隐式反馈包括用户的浏览行为，例如在百度关键词搜索推荐上搜过那些词，淘宝上点击了那些页面，在高德上点击了那些POI等
  4. 用户交互偏好：例如用户喜欢使用哪些入口，喜欢哪些操作，以及从这些操作中分析出来的偏好，比如在高德地图上根据用户行为反馈分析出来的用户对美食的偏好：更喜欢火锅，粤菜，还是快餐
  5. 用户上下文信息：这些信息有些是分析出来的，例如在LBS中分析出来的用户的家在哪儿，公司在哪儿，经常活动的商圈，经常使用的路线等
user profile经常是一份维护好的数据，在使用的时候，会直接使用该数据，或是将该数据存储在KV系统中，供Online系统实时使用。 在搜索或是推荐的场景下，每次请求一般只会涉及到一次user profile的KV请求，所以online使用的时候，主要的实现困难是存储，以及快速KV的快速响应。
基础挖掘推荐算法
基础挖掘推荐算法， 主要使用传统推荐算法， 结合分析的item profile和user profile， 建立user和item的关系，此时并不会过多考虑其他因素，例如是否冷门/热门，最主要的就是建立user和item的关系。 在各种论文中狭义的推荐，主要就是指该部分内容。 主要围绕着Rating，以及Top N进行该处的Top N（更像是直接Rating值最高的Top N） 传统的推荐算法研究主要围着这块工作进行，现在已经有很多比较成熟的算法，这些算法相关的研究可参见博文：《 推荐系统经典论文文献及资料》；其中也能找到业界较多成功推荐系统的实践分享 主要包含以下几类：
  1. Content Based推荐： 按内容推荐，主要的工作是user profile, item profile的提取和维护，然后研究各种相似度度量方法（具体相似度度量参见博文：《 推荐系统中的相似度度量》）
  2. 协同过滤：相当于应用了用户的行为进行推荐（区别于Content based算法），比较经典的算法包括传统的item-based/user-based算法（参见博文：《 协同过滤中item-based与user-based选择依据》，《 collaborative-filtering根据近邻推荐时需要考虑的3要素》），SVD，SVD++(具体原理及源码参见博文：《 SVD因式分解实现协同过滤-及源码实现》)
  3. 上下文相关推荐：和传统推荐相比， 考虑更多上下文因素，LBS， 移动场景下使用比较多（具体参见博文：《 context-aware-recommendation》）
  4. 基于图的关系挖掘推荐：主要是利用图论原理，根据item,user之间的数据，反馈关联关系，挖掘更深层次的关系进行推荐，该类方法一般效果都不错，当然资源要求也较高。具体参见博文：《 级联二步图关系挖掘关键词推荐系统》，《 频繁二项集合的hadoop实现》《 itemrankrandom-walk-based-scoring-algorithm-for-recommener-system》
  5. Constrainted-based推荐：根据限制性条件进行演绎推荐
在实际应用时，我们经常使用按内容推荐，item-based寻找从感知的角度比较靠谱的结果，使用SVD,SVD++，图关系寻找更深层次的联系结果。同时在推荐时，会结合很多因素来进行综合排序，例如关键词， 或是LBS中POI的热度等。具体可参见下文ranking部分。
算法效果衡量
以上这些算法， 我们在离线的时候，使用Cross-Validation方式，就可以分析出其效果，而且离线分析的时候，代价比较小，比较容易操作。当然，对于不同的问题会使用对应的指标进行衡量。 对于预测Rating准确性主要是用RMSE，或是MAE；具体可参见博文：《 关键词搜索推荐系统中的推荐准确性度量》 如果是排序， 则更多使用NDCG，MAP,  MRR等指标；具体可参见博文：《 使用ndcg评估关键词推荐系统的相关性》 在具体应用场景中，对于特定推荐问题，会涉及到选用哪种算法的问题。推荐不像CTR预估这样的问题，目标比较单一，经常我们需要考虑多个指标，而且这些指标可能此消彼长，需要做权衡，例如需要考虑算法的准确性(accuracy)，同时也需要考虑算法的覆盖(coverage)，置信度（confidence）,新鲜度(novelty)和惊喜度(Serendipity)，同时还需要考虑推荐为系统带来的收益和效用(utility)。 这些指标经常需要权衡，而且经常提升某一个的时候会导致其它下降，所以有时候存在一定的主观性：我们到底看中哪一个指标？  而且这个问题可能随着系统，平台所处的阶段而不同。 例如在建立口碑的时候，我们可能不太关注coverage，而更关注accuracy，因为要让用户建立一种：该系统很准的认知；如果在系统已经比较成熟了，此时可能需要考虑novelty, serendipity的同时，还需要考虑utility：该推荐能为系统带来什么收益，例如对百度的变现有多大收益？ 对淘宝的销售有多少收益等 具体这些指标的选择可参见博文：《 选择推荐算法时需要考虑得因素》
Ranking，此部分是成熟的搜索，推荐系统具有的核心逻辑
比较简单的实现方法， 是直接对各种特征拍阈值进行线性加权，比较成熟的系统一般会使用机器学习的方式和综合个维特征， 学习出模型后进行排序， 例如使用Learning to rank技术。 该部分需要考虑的因素较多较为复杂。 和传统的推荐相比， 此处单独将Ranking拿出来。 基础推荐挖掘， 和传统的推荐部分比较类似，主要结合user profile， 挖掘哪些item适合推给哪些user。 但仅根据这些挖掘就直接进行推荐是不够的。 真实online推荐场景中， 需要考虑更多其他因素， 例如：相关性，推荐的上下文，CTR预估，以及商业业务规则。
  1. 相关性： item与用户的相关性，这是大多数搜索和推荐任务的基石，例如在搜索中判定一个query和一个document的相关性，或是一个query 和 另一个query的相关性，或是在特征比较多的情况下， 一个user 和一个item 记录的相关性；实现方式可以很简单，例如传统的相似度度量方式（参见博文：《 推荐系统中的相似度度量》），对于文本，业界使用简单的TF*IDF，或是BM25； 不过很多时候我们需要增加更多维度特征，包括推荐item本身的重要性，例如IDF，Pagerank(具体参见博文：《 pagerank的经济学效用解释》)，同时使用模型来提升相关性判断的准确性。使用模型的方式会更加复杂，但效果提升也非常明显。具体可参见博文：《 集成树类模型及其在搜索推荐系统中的应用》，《 分类模型在关键词推荐系统中的应用》，《 adaboost》
  2. 推荐的上下文：例如推荐产品的入口，交互方式， 不同的入口，甚至同一入口的不同交互方式， 推荐的结果有可能都需要不一样； 在LBS生活服务中， 请求发生的时间， 地点也是推荐需要重点考虑的上下文因素，例如饭点对餐饮item的提权； 异地情况下对酒店等结果的加权等
  3. CTR预估：成熟的商业系统都会使用模型来完成CTR预估，或是转化预估
  4. 以及商业业务规则：例如黑白名单，或者强制调权。例如在百度关键词搜索推荐中，某些有比较高变现潜力的词， 就应该加权往前排； 比如在高德LBS服务中，有些海底捞的店点评评分较低， 但我们也应该往前排；或是在搜索引擎中，搜国家领导人的名字， 有些最相关的结果可能因为法律因素是需要屏蔽的
算法评估
很直接，离线调研的时候看就看算法的评估指标，参见博文：《 关键词搜索推荐系统中的推荐准确性度量》，《 使用ndcg评估关键词推荐系统的相关性》 上线的时候，进行圈用户（圈定某两个user集合作为实验/对照用户组）实验， 或者圈请求实验（例如随机圈定5%流量进行实验），之后根据系统效果监控中的指标值判断实验效果。以下为一个典型的效果监控截图： 实验如果证明成功，达到预期效果，一般之后推广到全流量；反之，如果实验未达到预期效果，则需要分析什么地方有问题，如何改进，之后继续调整算法继续实验。当实验较多时，还会涉及较多工程问题，例如分层实验框架等。
系统效果监控
对于整个系统，需要建立晚上的效果监控平台进行效果的实时监控，以便发现用户的行为模型，系统的不足，分析后续的发力点等。一般这样的监控平台会使用Dashboard来完成，基本的框架是前段UI + 后端数据库。很多时候，离线统计策略在hadoop上处理统计日志计算指标，并将计算出来的指标存入数据库，前端UI访问数据库，拉出指定时间段内某些指标的值，并进行简单分析。 具体的监控指标，及指标体系的建立，可参见博文：《 搜索引擎变现策略指标体系》
交互设计
完整的产品包括便捷的交互和背后牛叉的算法。很多时候，要提升推荐的效果，需要算法和交互配合，才能达到理想的效果： 交互需要有健壮的算法产出结果；而算法也需要有配套的交互，才能达到预期效果，否则再牛叉的算法，对结果的影响也可能没那么明显。
一些交互的例子参见博文：
说了那么多，中心就是想说明， 一个完整的推荐系统，远远不止是一两个rating算法能够覆盖的，而且此处还未涉及工程部分。
更多内容，也可直接访问： http://semocean.com

相关 [完整 推荐系统 设计] 推荐：

一个完整推荐系统的设计实现-以百度关键词搜索推荐为例

- - Dustinsea
在之前一篇博文中， 有同学在评论中问了个问题： 如何解决因式分解带来的推荐冷门关键词的问题. 在回答这个问题的时候， 想到了近几年在做搜索推荐系统的过程中， 学术界和工业界的一些区别. 正好最近正在做技术规划， 于是写偏文章说下工业界完整推荐系统的设计. 结论是： 没有某种算法能够完全解决问题， 多重算法+交互设计， 才能解决特定场景的需求.

商品搜索引擎—推荐系统设计

- - ImportNew
结合目前已存在的商品推荐设计（如淘宝、京东等），推荐系统主要包含系统推荐和个性化推荐两个模块. 系统推荐： 根据大众行为的推荐引擎，对每个用户都给出同样的推荐，这些推荐可以是静态的由系统管理员人工设定的，或者基于系统所有用户的反馈统计计算出的当下比较流行的物品. 个性化推荐：对不同的用户，根据他们的口味和喜好给出更加精确的推荐，这时，系统需要了解需推荐内容和用户的特质，或者基于社会化网络，通过找到与当前用户相同喜好的用户，实现推荐.

推荐系统入门实践：世纪佳缘会员推荐（完整版）

- - 博客园_首页
     本文以2011年举办的第一届数据挖掘邀请赛的"世纪佳缘会员推荐"赛题为例，尝试了 5 种排序方法来为新注册会员推荐容易受到亲睐的老会员.      先看5种排序方法的测试结果，以便朋友们有针对性地浏览本文. 基于training set验证. SVM-Rank（投票加权平均+Profile特征）.

如何为技术博客设计一个推荐系统（中）：基于 Google 搜索的半自动推荐

- - Blog | Phodal - A Growth Engineer
与统计学相比，基于内容来向用户推荐相似的内容，往往更容易获得. 在技术领域，作者通常比大多数读者更专业，他们往往知道什么是读者需要的. 如，你看了一个 React 相关的文章，你可能会需要 Redux 相关的内容. 需要一些前提条件：融合现有系统的数据信息，获取一些用户的信息. 随后，再计算出相关的内容，最后返回给读者.

Min-Hash和推荐系统

- - xlvector - Recommender System
前几年看Google News Recommendation的那篇Paper，对里面提到的MinHash的算法基本没有注意，因为之前的习惯都是只注意论文的模型那块，至于怎么优化模型一般都只是扫一眼. 不过最近看了大量的Google Paper，发现Google在实现一个算法方面确实有很多独到之处. 其实，Min-Hash是LSH（Locality Sensitive Hash）的一种，我之前对LSH的了解仅仅限于知道它能把两个相似的东西Hash成两个汉明距离接近的2进制数.

推荐系统实战

- - 博客园_首页
推荐算法：基于特征的推荐算法. 推荐算法准确度度量公式：. 其中，R(u)表示对用户推荐的N个物品，T(u)表示用户u在测试集上喜欢的物品集合. 集合相似度度量公式(N维向量的距离度量公式)：. 其中，N(u)表示用户u有过正反馈的物品集合. 其中，S(u,k)表示和用户u兴趣最接近的K个用户集合；N(i)表示对物品i有过正反馈的用户集合；w(u,v)表示用户u和用户v的兴趣相似度；r(v,i)表示用户v对物品i的兴趣.

推荐系统杂谈

- - 后端技术杂谈 | 飒然Hang
推荐系统是近些年非常火的技术，不管是电商类软件还是新闻类app，都号称有精准的推荐系统能给你推送你最感兴趣的内容. 现象级的资讯类app“今日头条”就得益于此成为了势头非常猛的一款产品. 本文就针对推荐系统讲述一些相关概念和实践经验. 首先需要明确的就是推荐系统的目标，一般来说不外乎以下几个：. 用户满意性：首当其冲的，推荐系统主要就是为了满足用户的需求，因此准确率是评判一个推荐系统好坏的最关键指标.

完整B2C网站的设计过程

- 马克叔叔 - 互联网的那点事
以前写过一篇类似的文章，不过因为工作的原因相对写的比较简单，这次从产品的角度重新整理一下以往工作中的一些经验，算是对自己的一个阶段的总结. 作为一个产品的发起人，你可能是公司的CEO，也可能是一名产品经理，甚至会是一个普通的创业者，不论你的职位是什么，想做好一个网站就必须对它的目标人群有充分的认识，清楚的明白我的主要消费人群需要什么.

个性化推荐系统综述

- Tony - 所有文章 - UCD大社区
上个月写过一篇产品推荐的文章，详情请见《我所了解的产品推荐》，内容很泛，多为工作心得. 本周读了几篇相关的论文，收获颇多，分享点干货. 以下内容摘自《个性化推荐系统的研究进展》，该文发表于2009年1月的《自然科学进展》专题评述，作者是刘建国、周涛、汪秉宏. 我略去了具体的算法和许多公式，重点看原理、思路和比较.