36氪领读 | 内容推荐算法,抢夺用户时间的利器

标签: 读书 | 发表时间:2018-05-13 16:22 | 作者:36氪领读
出处:http://36kr.com

36氪专门为读书设立了【36氪领读】栏目,筛选一些值得读的书,并提供一些书摘。希望你手边有一本称心的书,让读书这场运动继续下去。

内容简介

伴随着国民总时间概念的兴起,互联网巨头纷纷布局内容行业,以争夺用户时间。作为内容生产者主力的各类自媒体也如雨后春笋般涌现,在内容创作、内容变现等方面做得风生水起。通过算法实现的推荐技术基于用户历史数据和行为,推测用户意图,推荐合适的商品和内容给终端用户,显著提高了用户的点击率和留存率。随着用户的个性价值越来越被重视,内容推荐分发技术势必会得到更普遍的应用。

内容行业资深从业者、今日头条前资深产品经理闫泽华,在《内容算法》一书中,通过大量生动的案例,图文并茂、深入浅出地分析了当下主流的推荐算法及其利弊,介绍了推荐分发系统相关的知识,同时对自媒体如何实现优质作品最大化传播以及自媒体数据分析、运营与变现等进行了深入解读,有内容、有深度、有态度,无难度。

作者简介

闫泽华:简书签约作者。知乎知识市场产品总监,负责内容付费的产品运营工作。

曾任今日头条资深产品经理、“凯叔讲故事”技术负责人和百度搜索架构工程师。在今日头条工作期间,曾先后负责头条视频的数据流和策略分发,头条号粉丝变现相关业务和微头条的策略分发业务,历经了头条视频和粉丝业务快速增长的全过程。

书籍摘录

载体迭代,比快更快。

分发迭代,比快更快。

与其焦虑,不如逐浪。 

但是,在快速的迭代过程中,我相信一定有可以让我们慢下来的东西——那是内容的核。敬畏内容的价值,尊重它给受众带来的价值。

带着偏见看推荐 

也许,这一章的名字叫作“竟然被骗了?! 关于算法推荐的 3 个误解,快来看看你有没有?”效果更好。  

推荐其实不是一个新事物,它早已被应用在了如淘宝购物推荐、豆瓣电影推荐、点评美食推荐、携程差旅推荐等不同的场景中,以提升服务质量、优化系统效率。 

当推荐技术应用于内容分发领域后,在已有传统媒体、门户网站仍然占据重要分发位置的情况下,质疑的声浪频传。如果你经历过PC 时代,也许会觉得这一幕似曾相识:当年,传统媒体对门户发出过质疑声,中心化的门户模式对去中心化的微博模式同样质疑过。 

只是岁月轮回,昨日的挑战者成了今日的卫道士,何其唏嘘。在本章里,我所做的并非辩护,因为真实的数据表现和传统新闻应用的推荐化转型都充分证明了内容推荐模式是有一定存在价值和发展空间的。 

我试图从自己的认知角度,对一些常见的误解进行阐述供大家参考。 

站在从业者的角度,我觉得现在的内容推荐产品还远远没有达到理想态,其迭代过程中是存在种种瑕疵和待改进空间的。但发展的进程并不会因为人们的误解而止步。我坚信,科技产品的存在是为了让生活更加美好。 

信息茧房

当内容分发全面进入推荐分发时代,对这一分发模式的质疑也就越来越多,很多人站出来号召大家要一起戳破“算法的泡泡”。 

一种普遍观点是:机器算法主导的精准分发,在提升阅读体验的同时,也极易导致由信息收窄带来的一叶障目。即在算法分发下,用户将深陷信息茧房当中。 

哈佛大学法学院教授、美国前总统奥巴马的法律顾问凯斯·桑斯在其 2006 年的著作《信息乌托邦——众人如何生产知识》中提出了“信息茧房”这一概念。通过对互联网的考察,桑斯坦指出,在信息传播中,由于公众自身的信息需求并非全方位的,公众只注意自己选择的东西和使自己愉悦的领域,久而久之,会将自身桎梏于像蚕茧一般的“茧房”中。 

这顶“信息茧房”的帽子,随着信息流量分发的迁移,被扣到了不同的内容分发服务头上:在国外,先后被吐槽的是谷歌的个性化搜索结果和脸谱网的信息流服务。在国内,早在 2012 年就有人吐槽微博是“信息茧房”,如今吐槽的对象又变成了机器推荐分发。 

当信息生产的门槛不断降低造成内容量的大繁荣,当信息消费者的选择权越来越大、越来越能够主动选择而非被动接受的时候,令人担忧的“信息茧房”就会被越来越多地提及。 

然而,过滤你的并不是算法泡泡。 

在纸媒时代,当用户从特定的媒体人、特定的媒体刊物处获取信息的时候,其信息获取方式不就是纸媒版的订阅关系分发吗?各家纸媒有自己的题材偏好和内容风格,不也构成了一个“茧房”吗?当面对报亭中琳琅满目的刊物和邮局的订阅表时,用户的主动选择便构成了他的认知世界。 

还记得那本月发行量逾 700 万册的杂志——《知音》吗?其刊载的内容正是今天饱受诟病的典型标题党样例:《风之谷啊我的妹妹,哥哥的未来献给你》(2007 年第 7 期)、《再大的恨放下吧,唤醒前夫赢得亲情一片天》(2007 年第 35 期)。 

在 10 年前,为什么会有那么多人消费这本杂志,在 10 年后的今天,就为什么会有同样规模的人在消费着类似内容。从用户需求的角度看,这些内容符合大众用户偏好、可以满足他们打发时间的需求, 

高阅读量就是用户主动选择的结果。 

内容作为一种消费品,每个人都有选择消费途径和消费内容的权利。无论是纸媒还是网媒,只要有足够大的候选集和主动选择权,用户就一定会选择自己更为偏好的信息载体和信息源。从内容匮乏到内容繁荣,从中心化一统到垂直化聚群,用户的选择更贴近自身喜好是不可逆转的趋势。

那些持续表示担心的人,本身就是多源信息的消费者,希望看到多源信息的渴望胜过了他们看到不感兴趣内容的不悦。而被担心的人,本身就不曾有信息多样性的焦虑,乐得在自己的小圈圈里打转。 

这就形成了一边有人大声疾呼,一边有人甘之如饴的局面:担心的人不曾被过滤,被过滤的人不曾担心。 

进一步,对那些担心的人来说:他们跳得出算法分发,也跳不出社交关系分发;跳得出社交关系分发,也跳不出自己的认知选择边界。“茧房”始终存在,真正过滤你的,是你的认知泡泡。 

在这种情况下,将“信息茧房”归罪于分发模式更像是因失语而产生的牢骚。与其吐槽分发模式,不如考虑在新的模式下如何优化;与其大声疾呼内容分发服务商的道德义务,不如将其归结为内容服务商的利益诉求。 

要知道,“信息茧房”并不是内容服务商的诉求,“用户茧房”才是其诉求。为保证用户更好地长期留存,内容服务商就势必需要不断探索用户的内容兴趣偏好、了解用户的观点偏好:你以为只给用户展示他喜欢的类目就够了?那你错过的就是拓展用户兴趣认知的机会。只有给用户展示多元化的内容,才能够让他消费更多内容,停留更长时间。 

你以为只给用户推荐他偏好的观点就够了?那你就可能错过用户间的讨论和互动碰撞。给用户展示多元化甚至有冲突的观点,对评论的刺激作用是显著的。而在多元化的讨论之后,内容丰富的评论区也具有了可以消费的价值。 

如果你的认知还停留在算法分发只会给你推荐感兴趣的内容上,那你的认知泡泡,也该戳一戳了。 

推荐会导致Low ? 

对内容推荐的又一个常见误解是:推荐系统会趋向于低质量和Low(低格调)的内容。做出直观判断很容易,深究这一判断背后的原委却并非易事。那么,让我们来仔细讨论一下。 

1.三问内容质量  

既然说内容质量低,那总得有个标准吧,这就引入了第一个问题:什么样的内容是质量好的内容? 

当我向朋友提出这个问题时,大家往往会陷入短暂的沉默:是啊,对于食品,我们有诸如保质期、配料成分表、制作工艺等方面的要求;对于衣物,我们有型号、材质、洗涤方式的规范;对于内容,这种非标准化的手工产品,是否也存在一套类似ISO9001 的标准可以衡量呢? 

幸亏身边有纸媒的前辈,让我得以请教纸媒对内容的衡量标准。 

其曾供职的报社,对优质内容的衡量标准如下: 

  • 受众角度:读者关注面广,在社会上引起较大反响,为报纸争得明显的效益或荣誉,收获普遍好评的热点、焦点新闻稿。

  • 策划角度:富有策划、创新意识,极具冲击力和感染力的报道。

  • 深度角度:分析透彻,有独到见解的深度报道。

  • 题材角度:重大独家新闻,重大调查性报道。 

“较大反响”“深度”“重大”“普遍好评”,我们不难发现,上述标准多为难以量化的描述性用语。除了第一条站在受众角度——“读者关注面广”“较大反响”,我们尚可以用阅读量、转发量、评论量等数据指标度量外,第二条到第四条都是从创作角度出发,属于主观判断的范畴。对特定垂直行业来说,资深从业者或许有资格能够进行内容深度的判断。对平台来说,通常会涉及多个垂直行业,我们只能以频道编辑建制的方式来解决这个问题。大众说好,专家也说好,“叫好叫座”大概是好内容最理想的终局,一如触乐网的那篇《在三和玩游戏的人们》。 

在达成“好”的共识之后,进一步的问题是:如果一篇内容专家不叫好,这样的内容是否应该被过滤掉呢? 

未必。 

在看过爆米花电影之后,我有翻豆瓣电影看影评的习惯。可看完影评之后我常常会自惭形秽:明明自己觉得还不错的电影,为什么在影评人眼里变得满目疮痍,充满各种各样的问题呢?自己觉得还不错的桥段,在影评人眼中却成了陈词滥调,缺乏创新与深度。 

在猫眼电影工作的朋友的一番解释让我释然:“你是观众视角,影评人是专业视角。专业的判断跟大众的喜好通常会存在认知背景的偏差,在技法上有待改进的内容并不意味着缺乏受众。一如范雨素的爆红,从文字技法上看,她的内容一定是有缺失的,但她对生活的记录触动了许多人的心。” 

诚然,如果交由特定群体来判断,或许永远无法产出如“快手”这样的产品。同一段小视频,你看到的是残酷底层物语,他看到的则是生活的延展。 

在今日头条上,同样有这样的账号:农民王小。用直白的影像记录生活,记录老妈做饭,记录姐姐、姐夫给爸妈送米面油……视频的艺术性?连我这个外行都觉得谈不上。但就是这样的账号,已经累积了 45 万名粉丝,每一条视频都有几十万甚至上百万次的播放量,上千条评论。

 今日头条“农民王小”账号内容 

这样的内容,我们怎么评价?它也许不能称之为“好”,但也绝对不至于被定位为低质的内容。正如面对鸡蛋与石头的冲突,我们或许首先应该倾向于鸡蛋。如果进行过度专业化的过滤,或许这样的内容将永无出头之日。 

那就回归到最后一个问题:什么样的内容是低质的,应该被过滤?虽然对内容质量的判断存在主观性,但并不意味着我们丧失了对内容质量的约束。借助大量的案例分析,我们能够抽离出一些客观指标,也能达成一些平台审核层的主观一致标准,以较少争议、控制误伤量的方式给出评判“内容质量差、不宜传播”的标准: 

  • 真实性上:歪曲事实,虚假信息等。

  • 阅读体验上:无意义内容,错别字连篇,文不对题,语句不通顺、掺杂广告等。

  • 价值引导上:不正确的价值观导向,煽动对立情绪,低俗色情等。 

我猜想这也是快手对特定内容做出干预的原因,记录这些内容也许无罪,但这些内容并不适合传播。在明确的低质内容底线之上,平台方或许应该对内容和内容创作者保持足够的宽容。 

2.为什么会觉得推荐内容格调低劣 

既然推荐系统已经将绝对低质的内容过滤掉了,那么,为什么我们还会时不时地觉得推荐内容格调低劣呢?这主要有以下两个原因: 

其一,推荐准确性问题。 

一方面,每个人的认知程度是不同的,如果一篇内容是低于我们认知水平的,那我们一定会觉得它质量一般、内容格调偏低劣。就像知乎的Live 产品,不管是受到多少好评的讲座,总有人会给出中评或差评:“格调太低劣了,没啥干货。”另一方面,我们对某些内容存在个人偏见。比如,有些人认为郭德纲的相声是“三俗”的,有些人觉得八卦新闻是不好的,等等。如果推荐不能很好地匹配用户的兴趣偏好或认知程度,就会让用户产生内容格调低劣的感觉。 

在冷启动阶段,由于对用户缺乏认知,推荐并不能很好地刻画用户的兴趣画像。为了最大化地实现用户冷启动阶段的留存目标,推荐必然会从大众化和基础化的热门角度切入。而大众化的内容必然是与部分用户的认知水平存在差异性的,从而让这部分用户认为推荐内容是低质的。 

随着用户的点击动作、阅读表现、关注行为的积累,基于用户聚类和用户偏好作者的信息,推荐不准的情况能够在一定程度上得到缓解。比如,一个人常看科技内容,不点击娱乐内容或很少看完八卦新闻,系统会大体上知道他的调性,不再推荐他不感兴趣、觉得格调低劣的娱乐八卦新闻。 

在推荐过程中,更难解决的是认知水平的问题。系统基于文本分析确定了内容分类,可能会推荐一篇质量平平的科技分析给一个重度的科技用户。在这种情况下,用户还是会觉得内容过水,从而对推荐产生微词。我们通常依赖用户对作者的关注程度来局部改善此类问题。 

其二,用户无意识反馈问题。 

先讲个真实的案例: 

一日聚餐,席间A 君说:“你们这个不行啊,老是给我推娱乐八卦,应该多给我推荐一些行业观点、深度分析之类的内容。” 

B 君道:“好好好,把你的用户ID 给我,我查询一下,看看推荐算法是不是有什么问题。”半晌,剧情反转。 

B 君朗朗道:“下午 1 点半,刷新一次,给你推荐了 3 条行业资讯、2 条体育资讯、1 条娱乐八卦,你点了娱乐八卦。下午2 点半,刷新三次,你点击了 1 条行业资讯、3 条娱乐八卦。下午 3 点,刷新……” 

众人相视爆笑,终结谈话,定论:“本我超越了超我。” 

想象一下,当一篇八卦新闻和一篇深度分析同时出现,你会做出怎样的选择?站在马斯洛需求模型的金字塔前,本我制造了足够大的需求。你点击一篇娱乐八卦,很有可能是本能驱动的下意识行为。你更多地点击娱乐八卦又给了推荐系统对于此类内容更强的反馈信息,从而增加对此类内容的推荐。如果从推荐系统的点击预估角度看,更接地气的内容超过高大上的内容几乎是必然的。 

消费八卦新闻的确帮助你打发了时间、给你制造了欢愉,但你偶尔的“超我”自觉自省,却对这种内容推荐做出了格调低劣的判断。这也是我们在用户访谈过程当中常会碰到的一种情况:就像在一个个夜里,你一遍遍地跟自己说要早睡,却一次次刷着王者荣耀直到深夜。

3.更平衡的产品设计 

尽管推荐技术存在一定局限,尽管用户反馈总是会表现出泛娱乐化的趋势,但一个理想态的产品是不应该仅以点击为导向、唯短期数据而论的,我们能够做出的产品设计不应该止步于此。 

假如我们在点击一篇内容重复度很高的娱乐八卦和点击一篇行业深度分析之间,倾向于认为后者更有价值,那就需要找到更好的方式来衡量一次阅读的价值,从而引导推荐系统的分发流程,比如: 

  • 内容稀缺度:越垂直的内容越稀缺,小类目下的内容点击可能比大类目下的内容点击更有价值。

  • 作者角度:从全局来看,每个垂直赛道都会跑出有广泛知名度的内容品牌,它们的内容往往更适合广泛传播;从用户个体来看,某些用户会对内容来源而非内容类目更加敏感,这就需要放大作者的相似度以降低内容的相似度。

  • 互动行为:不同的行为代表了用户不同的意图。阅读行为仅仅是一种个体行为,点赞、评论都代表了用户对内容更感兴趣,而分享则意味着用户愿意为之传播和背书,可能权重更大。 

不同角度的分析给我们提供了量化点击价值的方式,让那些我们更偏好的内容有可能获得更多的曝光量和展示量。从现实的角度来看,内容供给和内容消费一定会是金字塔结构的,越基础层的内容越具有消费规模。但作为理想的现实主义者,我们或许可以在可控的范围内,去尝试点击率和理想态的平衡。

相关 [推荐算法 用户 时间] 推荐:

36氪领读 | 内容推荐算法,抢夺用户时间的利器

- - 36氪
36氪专门为读书设立了【36氪领读】栏目,筛选一些值得读的书,并提供一些书摘. 希望你手边有一本称心的书,让读书这场运动继续下去. 伴随着国民总时间概念的兴起,互联网巨头纷纷布局内容行业,以争夺用户时间. 作为内容生产者主力的各类自媒体也如雨后春笋般涌现,在内容创作、内容变现等方面做得风生水起. 通过算法实现的推荐技术基于用户历史数据和行为,推测用户意图,推荐合适的商品和内容给终端用户,显著提高了用户的点击率和留存率.

推荐算法之基于用户的协同过滤算法

- - CSDN博客综合推荐文章
协同过滤是推荐算法中最基本的算法,主要分为基于用户的协同过滤算法和基于物品的协同过滤算法. 这篇文章主要介绍基于用户的协同过滤算法,简单来说,要给用户u作推荐,那么只要找出那些和u之前的行为类似的用户,即和u比较像的用户,把他们的行为推荐给用户u即可. 所以基于用户的系统过滤算法包括两个步骤:1)找到和目标用户兴趣相似的用户集合  2)找到这个集合中的用户喜欢的,且目标用户没有听说过的物品推荐给目标用户.

社会化推荐算法

- - CSDN博客云计算推荐文章
本文是论文《一种结合推荐对象间关联关系的社会化推荐算法》(以下简称论文)的笔记(下). 该论文提出的算法是以PMF为框架基础的. 因而若对PMF不太了解的话,可以参考我的 上一篇文章脑补一下,当然,那篇文章只是概述,详细了解PMF还需要阅读初始论文,但读完那篇文章后,对本文的理解应该没有问题. 所谓社会化推荐算法,是将社交网络的特性加入到推荐系统中来.

常用推荐算法

- - 互联网 - ITeye博客
       在推荐系统简介中,我们给出了推荐系统的一般框架. 很明显,推荐方法是整个推荐系统中最核心、最关键的部分,很大程度上决定了推荐系统性能的优劣. 目前,主要的推荐方法包括:基于内容推荐、协同过滤推荐、基于关联规则推荐、基于效用推荐、基于知识推荐和组合推荐. 基 于内容的推荐(Content-based Recommendation)是信息过滤技术的延续与发展,它是建立在项目的内容信息上作出推荐的,而不需要依据用户对项目的评价意见,更多地需要用机 器学习的方法从关于内容的特征描述的事例中得到用户的兴趣资料.

Mahout: SVDRecommender SVD推荐算法

- -

[转]Mahout推荐算法基础

- - 小鸥的博客
Mahout推荐算法分为以下几大类. 2.相近的用户定义与数量. 2.用户数较少时计算速度快. 1.基于item的相似度. 1.item较少时就算速度更快. 2.当item的外部概念易于理解和获得是非常有用. 1基于SlopeOne算法(打分差异规则). 当item数目十分少了也很有效. 需要限制diffs的存储数目否则内存增长太快.

推荐算法Slope One初探

- - 标点符
Slope One 算法是由 Daniel Lemire 教授在 2005 年提出的一个 Item-Based 推荐算法.  Slope One 算法试图同时满足这样的的 5 个目标: . 易于实现和维护:普通工程师可以轻松解释所有的聚合数据,并且算法易于实现和测试. 运行时可更新的:新增一个评分项,应该对预测结果即时产生影响.

美团推荐算法实践

- - 美团技术团队
推荐系统并不是新鲜的事物,在很久之前就存在,但是推荐系统真正进入人们的视野,并且作为一个重要的模块存在于各个互联网公司,还是近几年的事情. 随着互联网的深入发展,越来越多的信息在互联网上传播,产生了严重的信息过载. 如果不采用一定的手段,用户很难从如此多的信息流中找到对自己有价值的信息. 解决信息过载有几种手段:一种是搜索,当用户有了明确的信息需求意图后,将意图转换为几个简短的词或者短语的组合(即query),然后将这些词或短语组合提交到相应的搜索引擎,再由搜索引擎在海量的信息库中检索出与query相关的信息返回给用户;另外一种是推荐,很多时候用户的意图并不是很明确,或者很难用清晰的语义表达,有时甚至连用户自己都不清楚自己的需求,这种情况下搜索就显得捉襟见肘了.

Mahout推荐算法API详解

- - zzm
Mahout推荐算法API详解. Hadoop家族系列文章, 主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等.

推荐算法之矩阵分解

- - 标点符
推荐领域的人一般都会听说过十年前 Netflix Prize 的比赛,随着Netflix Prize推荐比赛的成功举办,近年来隐语义模型(Latent Factor MOdel,LFM)受到越来越多的关注. 隐语义模型最早在文本挖掘领域被提出,用于寻找文本的隐含语义,相关的模型常见的有潜在语义分析(Latent Semantic Analysis,LSA)、LDA(Latent Dirichlet Allocation)的主题模型(Topic Model)、矩阵分解(Matrix Factorization)等等.