类似今日头条这样的个性化推荐网站怎么评价推荐质量的优劣? - 知乎

标签: | 发表时间:2017-11-13 03:10 | 作者:
出处:https://www.zhihu.com
不了解今日头条是怎么运作的。不过因为在Facebook工作时负责新鲜事(Newsfeed)的个性化推荐与排序,我可以说说Facebook是怎么衡量自己推荐和排序的质量的。

在具体执行层面,主要有三个方式,分别是从 机器学习模型产品数据,和 用户调查上来考核推荐引擎的效果。

1. 机器学习模型
推荐引擎的一大核心就是机器学习(不过现在都说人工智能了,但本质上还是supervised learning)。如果是想考察机器学习模型的质量,学术上早就有一套成熟的实践方法。无论是模型的选择(比如从decision tree替换成neural network),还是迭代改进(比如模型训练时多用一倍的数据),都可以使用基于supervised learning的衡量办法。最常见的就是AUC。

另一方面,对于某一类特定问题也有更细致的指标。比如说,可以通过模型特征的重要性(feature importance)知道新加的特征是不是有用。

2. 产品数据
再牛逼的机器学习模型都要经历产品数据的实际检验。这方面大家就都比较熟悉了,KPI嘛。不过在Facebook特别是Newsfeed这种牵一发动全身的地方,我们会追踪 一系列数据来描述产品,而不是依赖某一个单一标准。这些数据包括但不限于:
  • 日/月活跃用户(DAU,MAU)
  • 用户互动 (点赞,评论,转发等)
  • 用户发帖量
  • 用户停留时间和消耗的内容量
  • 收入
  • 用户互动率(比如看过的内容中点赞/评论/长阅读/收藏的比例)
  • 用户举报和屏蔽的数量

而且,在日常的快速迭代和A/B测试中,只有这些笼统的数据是不够的,我们还需要些更细致的数据来真正理解我们的一些改动。比如说:
  • 内容类型的分布是怎么变动的:用户原创和转发的比重分布,网页链接和图片视频的比重分布,长视频和短视频的比重分布等等
  • 对公众帐号是怎么影响的:什么样的公众号会受益于这次改动
  • 哪些第三方巨头受到了影响,影响是否合理:比如我最早在FB实习时候的项目是整顿SPAM帐号,那个改动重创了Zynga(因为Zynga严重依赖用户骚扰他的好友来吸量),但大家觉得挺合理的,让公关去沟通了下就发布了。

另外,为了防止短暂的眼球效应,对每一个重要的产品决策, 我们都会维护一个长期的backtest,用来评估这个决策的长久影响。比如说:
  • 对于在feed里面放广告这个决定,我们会选择一小部分用户,对他们长期不显示广告,然后将他们的用户活跃度同正常能看到广告的用户做对比,来衡量广告的长期影响。
  • 类似的,对于Newsfeed是否排序,我们也有一个holdout group,他们的feed是完全按时间排的。

这样,对每一个可能会有争议的决策,但未来的每个时间点,我们都能清楚的知道,我们是面临着怎样的取舍。有了这层保障,在决策的当下,我们也就敢于冒险些,走得更快些。

3. 用户调查
大多数产品数据有其局限性,因为他们是 显性而被动的。比如说,你给用户推送了一个博眼球的低俗内容,用户在当下可能是会去点开看的,所以数据上是好的。但用户可能心里对这个内容的评价是低的,连带着对作为内容平台的产品也会看轻,长此以往对产品的伤害是巨大的。

KPI无法完全描述产品质量,在硅谷互联网圈是有共识的,但如何解决,每个公司答案都不同。Twitter系的CEO们,无论是Jack Dorsey还是Evan Williams,都倾向于轻视KPI而依赖自己主观想法来决策。Google和Facebook,则采取了另一条路, 他们决定把用户评价纳入到KPI中

Google在这方面的工作开始得比较早,因此公开的资料也比较多。概括地说,他们雇佣大量的普通人,以用户的角度来对Google搜索排序的质量和广告推荐的质量做主观打分。当打分的量大到一定程度,这些数据就足以成为一个稳定有效的,且可持续追踪并改进的KPI了。Facebook虽然产品领域有所不同,但在个性化推荐上也采取了类似的方法。

回答的最后,还是想重申两个方法论:
  • 永远不能依靠单一一个KPI来评价产品上的工作。任何KPI,任何产品,都不能。
  • 在明确KPI局限性的前提下, 数字可以终结大多数无意义的扯皮,无论是技术上的,还是政治上的。

相关 [今日头条 个性 网站] 推荐:

类似今日头条这样的个性化推荐网站怎么评价推荐质量的优劣? - 知乎

- -
不过因为在Facebook工作时负责新鲜事(Newsfeed)的个性化推荐与排序,我可以说说Facebook是怎么衡量自己推荐和排序的质量的. 在具体执行层面,主要有三个方式,分别是从. 用户调查上来考核推荐引擎的效果. 推荐引擎的一大核心就是机器学习(不过现在都说人工智能了,但本质上还是supervised learning).

今日头条的五个亿

- - 扯氮集--上海魏武挥的博客 - 扯氮集--上海魏武挥的博客
有媒体传出消息,“今日头条”日前完成了C轮融资,融资额度为1亿美元,对应的,公司估值5个亿美元. 这个数字很夸张,一来因为一年前B轮融资的时候,估值还不过6000万美元. 二来,一个新闻客户端,居然值那么多钱. i黑马昨日发表了一篇很长的对今日头条创始人张一鸣的专访,从这篇专访中,大致可以看出点端倪.

今日头条产品思路分析

- - 人人都是产品经理
法则之三:少即是多(摘自《感知的、几款过亿美金APP的创业法则》). 媒体是最容易被操纵的,也是最容易变成一个官僚权力纷争的名利场,它被太多外在因素干扰. 而技术是一种手段,可以公正公平地让每个用户感知到自己的偏好,而且通过不断智能筛选还能提高用户的粘性和数据的多维度. 我想这才是真正的互联网手段去颠覆传统媒体,当然这也是那些来自报社杂志社的在各家门户琢磨着标题党的同学们不敢想、不屑想的手法.

“今日头条”侵权的几种可能

- - 付亮的竞争情报应用
1、新闻聚合增值,潜力还很大,“今日头条”的聚合仍属于初级阶段. 2、不改变原始网址,通过“标题+链接”或“标题+摘要+链接”做内容聚合,除非原来源明确表示禁止,我不认为构成了侵权. 3、如果链接到的网页已构成侵权,聚合也构成侵权. 4、内容来源明确拒绝第三方聚合后,未经单独许可,坚持聚合会构成侵权.

品读:与今日头条反向而行

- - 动点科技
尽管个性化阅读软件“ 今日头条”此前面临来自《新京报》、搜狐等合作媒体以及国家版权局的压力,但作为一家新闻资讯推荐公司,北京旭宁信息技术有限公司CEO徐屾屾认为,“从其产品来说,今日头条推荐的新闻还是很准确. 徐屾屾的团队一起合作了很多年,这是一个有多年开发经验的老团队. 2009年初,他们做的第一款手机应用Daily Finance iPhone App就成为美国最受欢迎的金融应用,之后又连续做了4款游戏.

今日头条的流量哪里去了?

- - IT瘾-tuicool
「对了,不少头条号作者收入锐减的确是被调参数了,作者曝光权重和广告分成系数两个都被挤压,打压老的作者,扶持新人」,在和一位非常了解今日头条的深喉聊天的时候,他和我透露了这样的一个消息. 事实上,在营收和流量增长的压力之下,头条对内容生产者的态度正在发生微妙的变化. 数据大幅增长之后,流量迎来新的分配机制.

今日头条: Facebook iPhone版照片共享App更多细节曝光

- PH囧ENIX - Tech2IPO
两天前,笔者曾向大家爆料Facebook即将发布iPhone版照片共享App. , 当时笔者也觉得那篇文章还不够给力,因为仅仅凭借一张图片的确没有什么说服力. 所以,写那篇爆料之时,笔者向大家承诺,一旦有任何最新消息,一定及时和大家分享. 现在是北京时间6月17日凌晨1点05分,终于笔者盼来了大家期待的更多细节.

纽约时报今日头条摘引一则广为转载的微博

- Runjiang - FeedzShare
来自: 天朝娱乐 | 每天开心一下. 发布时间:2011年07月25日,  已有 2 人推荐. 感谢 围观群众 投递给天朝娱乐. 中国,请停下你飞奔的脚步,等一等你的人民,等一等你的灵魂.

新闻外衣的推荐引擎:今日头条的价值在哪里?

- - 创业邦
  资讯类APP“今日头条” 今日确认获得1亿美元的C轮融资,估值超过5亿美元. 据了解,此轮融资由红杉资本和新浪微博领投. 此前“今日头条”已经进行过两轮融资,2012年7月获得SIG海纳亚洲等数百万美元A轮投资,2013年9月获得DST等数千万美元B轮投资. 自2012年8月份上线以来,今日头条已经累计用户超过1.2亿.

今日头条屡传负面消息 曾经的神话将破灭?

- - 威锋网-首页- 最新RSS订阅
  在五六年前,当时恰逢中国互联网开始步入高速发展的阶段,每天都有大量的信息在互联网上进行传播,而在当时微博、微信等等社交应用还没有像现在这么活跃和全面,所以对于新闻资讯的主要来源还是基于一些传统的新闻媒体的网站或者一些门户网站的推送消息. 新闻聚合类的应用推出之后,迅速获得了用户们的青睐甚至改变了不少用户的阅读习惯,而在众多的新闻聚合类的应用当中属《今日头条》发展作为迅速,不过最近《今日头条》的日子过的可不太顺.