基于用户投票的排名算法(六):贝叶斯平均

标签: IT | 发表时间:2012-03-28 19:48 | 作者:
出处:http://www.ruanyifeng.com/blog/

(这个系列实在拖得太久,今天是最后一篇。)

上一篇介绍了 "威尔逊区间",它解决了投票人数过少、导致结果不可信的问题。

举例来说,如果只有2个人投票,"威尔逊区间"的下限值会将赞成票的比例大幅拉低。这样做固然保证了排名的可信性,但也带来了另一个问题:排行榜前列总是那些票数最多的项目,新项目或者冷门的项目,很难有出头机会,排名可能会长期靠后。

IMDB为例,它是世界最大的电影数据库,观众可以对每部电影投票,最低为1分,最高为10分。

系统根据投票结果,计算出每部电影的平均得分。然后,再根据平均得分,排出最受欢迎的 前250名的电影。

这里就有一个问题:热门电影与冷门电影的平均得分,是否真的可比?举例来说,一部好莱坞大片有10000个观众投票,一部小成本的文艺片只有100个观众投票。这两者的投票结果,怎么比较?如果使用"威尔逊区间",后者的得分将被大幅拉低,这样处理是否公平,能不能反映它们真正的质量?

一个合理的思路是,如果要比较两部电影的好坏,至少应该请同样多的观众观看和评分。既然文艺片的观众人数偏少,那么应该设法为它增加一些观众。

排名页面的底部,IMDB给出了它的计算方法。

  

  - WR, 加权得分(weighted rating)。
  - R,该电影的用户投票的平均得分(Rating)。
  - v,该电影的投票人数(votes)。
  - m,排名前250名的电影的最低投票数(现在为3000)。
  - C, 所有电影的平均得分(现在为6.9)。

仔细研究这个公式,你会发现,IMDB为每部电影增加了3000张选票,并且这些选票的评分都为6.9。这样做的原因是,假设所有电影都至少有3000张选票,那么就都具备了进入前250名的评选条件;然后假设这3000张选票的评分是所有电影的平均得分(即假设这部电影具有平均水准);最后,用现有的观众投票进行修正,长期来看,v/(v+m)这部分的权重将越来越大,得分将慢慢接近真实情况。

这样做拉近了不同电影之间投票人数的差异,使得投票人数较少的电影也有可能排名前列。

把这个公式写成更一般的形式:

  

  - C,投票人数扩展的规模,是一个自行设定的常数,与整个网站的总体用户人数有关,可以等于每个项目的平均投票数。
  - n,该项目的现有投票人数。
  - x,该项目的每张选票的值。
  - m,总体平均分,即整个网站所有选票的算术平均值。

这种算法被称为 "贝叶斯平均"(Bayesian average)。因为某种程度上,它借鉴了 "贝叶斯推断"(Bayesian inference)的思想:既然不知道投票结果,那就先估计一个值,然后不断用新的信息修正,使得它越来越接近正确的值。

在这个公式中,m(总体平均分)是"先验概率",每一次新的投票都是一个调整因子,使总体平均分不断向该项目的真实投票结果靠近。投票人数越多,该项目的"贝叶斯平均"就越接近算术平均,对排名的影响就越小。

因此,这种方法可以给一些投票人数较少的项目,以相对公平的排名。

=================================================

"贝叶斯平均"也有缺点,主要问题是它假设用户的投票是正态分布。比如,电影A有10个观众评分,5个为五星,5个为一星;电影B也有10个观众评分,都给了三星。这两部电影的平均得分(无论是算术平均,还是贝叶斯平均)都是三星,但是电影A可能比电影B更值得看。

解决这个问题的思路是,假定每个用户的投票都是独立事件,每次投票只有n个选项可以选择,那么这就服从 "多项分布"(Multinomial distribution),就可以结合贝叶斯定理,计算该分布的期望值。由于这涉及复杂的统计学知识,这里就不深入了,感兴趣的朋友可以继续阅读William Morgan的 How to rank products based on user input

(完)

文档信息

相关 [用户 投票 排名] 推荐:

基于用户投票的排名算法(一):Delicious和Hacker News

- - 阮一峰的网络日志
互联网的出现,意味着"信息大爆炸". 用户担心的,不再是信息太少,而是信息太多. 如何从大量信息之中,快速有效地找出最重要的内容,成了互联网的一大核心问题. 各种各样的排名算法,是目前过滤信息的主要手段之一. 对信息进行排名,意味着将信息按照重要性依次排列,并且及时进行更新. 排列的依据,可以基于信息本身的特征,也可以基于用户的投票,即让用户决定,什么样的信息可以排在第一位.

基于用户投票的排名算法(二):Reddit

- - 阮一峰的网络日志
(不好意思,这个系列中断了近两周,我会尽快在这几天,把后面几篇写完. 上一次,我介绍了 Hacker News的排名算法. 它的特点是用户只能投赞成票,但是很多网站还允许用户投反对票. 就是说,除了好评以外,你还可以给某篇文章差评. Reddit是美国最大的网上社区,它的每个帖子前面都有向上和向下的箭头,分别表示"赞成"和"反对".

基于用户投票的排名算法(三):Stack Overflow

- - 阮一峰的网络日志
上一篇文章,我介绍了 Reddit的排名算法. 它的特点是,用户可以投赞成票,也可以投反对票. 也就是说,除了时间因素以外,只要考虑两个变量就够了. 但是,还有一些特定用途的网站,必须考虑更多的因素. 世界排名第一的程序员问答社区 Stack Overflow,就是这样一个网站. 你在上面提出各种关于编程的问题,等待别人回答.

基于用户投票的排名算法(六):贝叶斯平均

- - 阮一峰的网络日志
(这个系列实在拖得太久,今天是最后一篇. 上一篇介绍了 "威尔逊区间",它解决了投票人数过少、导致结果不可信的问题. 举例来说,如果只有2个人投票,"威尔逊区间"的下限值会将赞成票的比例大幅拉低. 这样做固然保证了排名的可信性,但也带来了另一个问题:排行榜前列总是那些票数最多的项目,新项目或者冷门的项目,很难有出头机会,排名可能会长期靠后.

基于用户投票的排名算法(四):牛顿冷却定律

- - 阮一峰的网络日志
这个系列的前三篇,介绍了 Hacker News, Reddit和 Stack Overflow的排名算法. 今天,讨论一个更一般的数学模型. 这个系列的每篇文章,都是可以分开读的. 但是,为了保证所有人都在同一页上,我再说一下,到目前为止, 我们用不同方法,企图解决的都是同一个问题:根据用户的投票,决定最近一段时间内的"热文排名".

基于用户投票的排名算法(五):威尔逊区间

- - 阮一峰的网络日志
迄今为止,这个系列都在讨论,如何给出 "某个时段"的排名,比如"过去24小时最热门的文章". 但是,很多场合需要的是 "所有时段"的排名,比如"最受用户好评的产品". 这时,时间因素就不需要考虑了. 这个系列的最后两篇,就研究不考虑时间因素的情况下,如何给出排名.   得分 = 赞成票 - 反对票.

Apache投票接受OpenOffice.org

- 灰灰 - Solidot
甲骨文已宣布将开源办公软件项目OpenOffice.org捐赠给Apache基金会. 6月13日,Apache基金会进行了投票表决,以压倒性多数同意接受OpenOffice.org成为Apache的一个孵化器项目. OpenOffice.org将转交给Apache基金会管理,它可能需要数个月时间才能变成Apache的新顶级项目.

投票的过程好…

- 俊超 - 爱胡扯
投票的过程好…太能创意了吧,这也行.

ChinaMode2010评选活动投票入围公司及投票

- scaoen - 天涯海阁-Web2.0Share
之前我总结了我今年在博客介绍的2010年优秀初创企业,颇受欢迎. 而最近由我们Chinamode组织的由用户来提名和专家评审来评审的评选活动经过3周时间,目前已经评选出第二阶段投票阶段的入围公司,现汇总如下,其中不乏一些非常优秀的互联网/移动互联网初创企业,大家可以到Chinamode首页进行投票选择每个类别您最喜欢的公司.

世界黑客排名

- 2楼水饺 - 煎蛋
黑客世界也有这自己的排名,如果你打算雇佣牛逼黑客做点xxxx事情,不妨看看这个网站 RankMyHack.com ,它号称是世界上第一个黑客排名系统. 除了能够收集到一些黑客战绩和信息之外,RankMyHack.com 还开放给任何一个想加入该排名的盆友. 提交你的战绩,然后将RankMyHack 给出的一段代码插入到你所黑掉的网站予以证明.