推荐引擎:信息逆流

标签: 需求 视频 引擎 周杰 变量 | 发表时间:2012-01-09 15:30 | 作者:夏勇峰
出处:http://content.businessvalue.com.cn

信息时代用户链接内容的方式将再次产生深刻变化,而这一变化的驱动者,正是推荐引擎技术。

如果回到20世纪80年代,面对一台当时的电脑,你很可能会不知所措。原因很简单,当时要访问电脑内的内容——不管是软件或者游戏,你起码必须掌握基本的Dos命令。换句话说,当时用户与内容链接的方式,是输入大量电脑“听得懂”的命令,再让电脑将其执行出来。

在鼠标和图形化操作系统普及之后,20世纪90年代中后期,情况有了很大改观,用户链接内容的方式开始变得直观,点击、拖拽等各种“命令”的大量引入虽然并没有提高效率,但它却让内容的获取与编辑越来越简单。

当互联网刚刚兴起时,这一切也没什么改变,因为虽然互联网让内容不仅限于本地的电脑,还延伸到了服务器上,可一来内容不多,二来网站有限,用户记住几个简单的网站,加上浏览器与网页的可视化操作,访问内容轻松搞定。

真正的挑战在于互联网内容爆炸之后。从网站到Web 2.0时代用户创造内容,整个传统世界的内容被越来越多地用“蚂蚁搬家”的方法迁移到了互联网上,海量的内容让用户无所适从,这时候,一种新的用户链接内容的方式体现出了越来越高的重要性,那就是搜索引擎。

搜索引擎是什么?这个问题现在根本无需解释,因为每个网民都知道。可值得一提的是,如果将整个时代从“用户-工具-内容”这一视角切入,会发现搜索的意义主要是在于让用户用最低的成本(访问搜索框并输入关键字)来获取他们所需要的内容。

当然,用户还有许多其他链接内容的方式,比如广告。虽然大多数广告是垃圾,但如果碰到用户碰巧感兴趣,他们仍然会由此点击到内容中去。还有目录,即俗称的导航网站,包括像Hao123这样的大众导航站以及为数众多的软件导航站或影视资源导航站,它就像图书馆的索引页一样将主要的网站和内容呈现在用户面前。

可是,这一切并不是从用户到内容这整个链条进化的终点,一个越来越重要的基础技术正在逐渐成熟,它有可能让现在的方式完全改变,那就是推荐引擎技术。

早已存在的big idea

很难定义什么是“推荐”,正如同社交一样,它是人类最早的本能之一,信息沟通中的必要组成环节。有些中老年妇女,最大的乐趣之一就是给看得过眼的单身汉“推荐”姑娘,而在商品购买中,几乎每个人都有过被“推荐”而完成购买的例子。

国内一些知名时尚杂志,经常被不感兴趣的人指称“满版都是广告”,但正是这些广告,却成为忠实读者们最感兴趣的内容;新浪博客上许多声名鹊起的股票分析师,在为人们推荐股票的过程中不仅收获了钱,也收获了知名度。

可是在互联网上,“推荐”却从来没有成为用户链接内容的主流方式。为什么?因为大部分的推荐都很不靠谱。有人曾半开玩笑说,“广告就是做得不好的推荐”,这句话有一定道理。糟糕的推荐不仅无法达成链接,反而干扰了正常的内容消费,成为用户避之唯恐不及的洪水猛兽。

好的推荐是什么?是雪中送炭,天凉时的大棉袄。可道理虽然简单,做起来却不容易,其中最关键的一点是,任何一个互联网产品,都还做不到完全地了解每一个人,并根据他们的兴趣在不同时间、地点送上及时恰当的信息。

到了2011年,这一点似乎正在逐渐发生改变。推荐的力量,开始体现在一些细小的地方,但不久之后,它们可能就会汇成一股洪流。

在感恩节那天,微博上的电子商务圈流行着一条信息,前支付宝首席设计师白鸦出来创业,做了一个叫做“逛”的电子商务导航网站。实际上这个产品还没真正成型,只是做了分别应对三个主题的页面,里面精心摆放着主题相关的各种产品。它并没有“鞋”、“女装”这种死板的分类,而是以旅行、撞色等更明确的喜好来做人群区隔。“现在网站连基本雏形都不算,只是让运营的人有事儿干。”白鸦在电话中说。可它因为抓住了人内心的喜好(不感兴趣的人自然不会看),所以不管是信息或者人的关联都更为有效,形成了小小的轰动效应。

正确的内容送达正确的人,以此为目标,可以有无数种到达的路径,而“逛”的形式还只是第一步。更多的推荐元素,正体现在越来越多主流互联网产品的细节中。

在2011年某个版本的PC版QQ中,腾讯就曾经做过这样一种尝试:当用户聊天时,输入的某些文本中会自动生成可点击的链接,像“王力宏”这样的词,如果聊天者正好对王力宏感兴趣,只需要点击就会出现他的简介、作品等。

更酷的功能则出现在必应搜索上。据微软亚洲搜索技术中心总经理、必应搜索(Bing)负责人王永东博士介绍,当用户输入关键词搜索,如果被判定为有潜在的进一步行为,必应就会用简单的链接帮助完成它。比如用户如果输入“旧金山 机票”,在搜索结果右侧就会有很大的几项按键,如“订去旧金山的机票”,帮助用户完成行动,这一功能被称为“任务直达”。

2011年11月中旬,搜狗秘密研发半年的“探索引擎”产品开始内测,它能根据用户目前的访问行为与内容进行相关内容推荐。比如当你进行某个产品的购买时,其他网站相关产品的价格、用户评价和优惠券等信息将会推送给你,帮助优化决策。

信息逆流

以上这些产品或功能并不是广告,因为有效帮助用户将成为它们最重要的判定标准。不管是在用户互联网行为链的前端(大量获取信息),中端(比较信息并找到最有用的信息)或后端(进行最终决策),它都能产生作用。

如果说搜索引擎是降低了人们寻找信息的成本,则推荐引擎技术的出现,则让人们“寻找”的行为都发生了改变。虽然现在还只是处于萌芽状态,但未来它将可能让互联网更懂人,并真正围绕每一个人来构建内容。“推荐引擎只是在理解用户后,将用户需求明确了出来。”浪淘金CEO周杰说。

推荐引擎技术中最关键的一点无疑是有效性,如何让内容推荐更加符合人们在当时情景下的需求,是它所必须一直去进行的功课。庆幸的是,提高有效性和准确率的方法已经找到了,接下来需要做的,只是等待它在积累中产生真正的威力。

为什么推荐引擎能做到足够理解用户,并给他们有用的内容?

不管是在电子商务等垂直领域,还是在更加广泛的综合领域,推荐引擎的出现都需要几个最基本的要素:内容库,媒体库,以及用户在媒体中的行为库。

百度主任架构师、百度推荐引擎负责人廖若雪说:“当用户使用搜索引擎搜索时,浏览网页时,在移动终端上提交他的位置时,有大量的行为动作。根据他们的搜索结果和浏览内容的上下文,用一定的算法匹配,就能做到给予他们对应的内容。”

这一点很容易理解。一个最直观的例子是当你在必胜宅急送点完一次比萨之后,下次再用相同的电话订,已经不需要说出自己的姓名和地址,因为这些信息都已经被记录下来,并与你的电话相匹配。

根据用户的行为提交,再规避掉他们的隐私数据,如果有海量的行为数据库,就有可能将每个用户的“肖像”描摹出来:他大概的职业、兴趣,甚至结婚状态、是否有孩子,不同时间点的需求,所处位置等等。在此基础上,当他查看某个城市信息时,你自然会懂得他要找的实际上是当地未来三天的天气状况以及公共交通情况;当他搜索时使用两个不同的城市作为关键词,你自然也会知道,他其实就想要订机票。

在这样的过程中,“猜用户要什么”是必不可少的环节,很多时候一开始给予的内容只是标准配置。可是,“在算法的不断匹配中,互动的过程超过一定数量级,它就将应对于各种场景,越来越精确,匹配度越来越高”,搜狗CEO王小川说。

可以看到在历史上,从电脑刚刚诞生开始,直到搜索引擎产生,人到内容的过程实际上一直都是“上行”的,当人有了需求,利用各种工具不断去接触到他所需要的内容,是从人到服务器的过程。可是推荐引擎的出现改变了这一切,它使得大量的内容向人的有效推送成为可能。随着技术的进一步进步,算法的进一步完善,以及数据库的进一步丰富,最后推荐引擎将改变原本信息流动的状态,用户只需要少量的行为就能更方便得到内容,从服务器到人,过程从“上行”变成了“下行”。

搜索引擎异化

最早将推荐引擎投入大规模使用的是亚马逊,它采用了一种关联推荐机制:当用户购买了一本书之后,页面上会出现这样一个框:你可能对这几本书也有兴趣。当它达到一定准确性之后,不仅让用户买到了更多想要的书,也对提高销量有直接效果。

与此类似的则是YouTube、优酷等视频网站。你看完一个视频,常常会看到一串相关视频列表,在里头可能又有让自己感兴趣的视频,会点击接着看下去。视频网站收获了流量,你收获了内容。

经常可以看见有人本来只想买一本书,结果买了十几本的状况;也经常有人在看完某个新生代歌星的MV之后,又一口气在推荐的视频中席卷了他所有的MV。

“在垂直领域,比如商品推荐或音乐推荐,因为它们提供的是垂直化的服务,场景很好设定,所以效果也容易产生。”廖若雪说,“可现在我们研究的已经远不止如此,常常会跨领域,比如在看文章的时候为用户提供他需要的相关视频。这需要更复杂的上下文情境和更个性化的分析,涉及到大量的语义分析、页面分析和数据收集。”

在某些互联网行业,推荐引擎的威力已经产生,并将推动产品进一步提升。比如前文提到的搜狗“探索引擎”,改变的或许正是浏览器行业。浏览器是用户网络行为的起点,而有效的推荐由此不仅可能改变用户获取信息的习惯,甚至还有购物习惯乃至交友习惯。

还有搜索引擎以及其广告系统。推荐引擎的逐渐引入,可能在2012年开始就将改变搜索结果页的呈现形态以及大幅提升广告系统有效性,让这一关键节点更迅速、更人性。

或许人们真正希望的,是不再看到各种网页上的弹出广告,以及很多内容中遍布的搜索引擎“牛皮癣”文字链。当用户真正能链接到自己想要的商户,这一切都会改变,虽然不是所有的“杂草”都能清除,但起码在整个上网行为中能少些干扰,多点顺畅。

据周杰介绍,浪淘金的推荐引擎正在让企业广告主到媒体的效率升高,ROI(投资回报率)已经达到了Google Adsense的两倍。这是个好消息,因为只有无效的那部分,呈现在用户面前才是真正的垃圾广告。

推荐引擎的分析过程与搜索引擎有共通之处,所需要掌控的资源也是如此。它们都是利用涵盖了大量指标的算法在数据记录、匹配、提高有效性的过程中不断优化。可推荐比搜索更难的地方是,它不仅是冷冰冰的算法,还需要涉及大量心理学和社会学知识,是“更具情感”的机器。

或者可以说,推荐引擎正是搜索引擎的一种异化。如果说当互联网内容大爆炸之后,搜索引擎时代的来临成就了几家大公司,则在新的推荐引擎作为底层技术融入整个互联网的时代,它将使得更多公司获益,并由此改善乃至改变用户访问内容的行为方式。

“百度的推荐引擎技术以后会对其他公司开放,用授权或API接口的方式供他们使用吗?”当《商业价值》杂志问到这个问题时,廖若雪坚定地说:“会的。”

在之前20年的互联网发展中,中国的技术进步一直落后美国许多年,可目前在推荐引擎技术上,有许多采访中的专家都已表示,这次我们站在了下一个“改变世界”前夕的同一起跑线上。

在美国,推荐引擎技术不仅有大公司在研究,也有很多新锐的科技公司投入其中,并将技术以商业的方式分流出去,变成其他公司更强的力量。这一点在中国也会发生,推动引擎成为推动互联网的底层力量,只是时间的问题。

王维肖|摄影


商业价值iPhone 客户端

相关文章:

相关 [推荐引擎 信息] 推荐:

推荐引擎:信息逆流

- - 《商业价值》杂志
信息时代用户链接内容的方式将再次产生深刻变化,而这一变化的驱动者,正是推荐引擎技术. 如果回到20世纪80年代,面对一台当时的电脑,你很可能会不知所措. 原因很简单,当时要访问电脑内的内容——不管是软件或者游戏,你起码必须掌握基本的Dos命令. 换句话说,当时用户与内容链接的方式,是输入大量电脑“听得懂”的命令,再让电脑将其执行出来.

大数据-推荐引擎

- - 人月神话的BLOG
推荐引擎在当前电商平台用的相当多,本文简单理解下常见的几张推荐方式. 首先说明下大数据用户画像可以用于针对性营销和单品推荐,但是即使没做用户画像也可以进行商品推荐. 推荐引擎是不是为不同的用户推荐不同的数据根据这个指标,推荐引擎可以分为基于大众行为的推荐引擎和个性化推荐引擎. 大众行为的推荐引擎,对每个用户都给出同样的推荐,这些推荐可以是静态的由系统管理员人工设定的,或者基于系统所有用户的反馈统计计算出的当下比较流行的物品.

初识推荐机制、推荐引擎

- 山河之外 - 互联网的那点事...
随着互联网的发展 估计大多数的产品都会遇到推荐机制的策划,作为互联网产品人员也需要研究一下推荐机制的核心算法,这篇文章是我看到的言简意赅讲了一些基础的推荐机制的文章,转过来分享给大家. 如今已经进入了一个数据爆炸的时代,随着 Web 2.0 的发展, Web 已经变成数据分享的平台,那么,如何让人们在海量的数据中想要找到他们需要的信息将变得越来越难.

从Web 2.0到推荐引擎2.0

- Race forward! - 学而时嘻之
(《新知客》,2010年9月). 互联网应用的新概念似乎总是层出不穷,然而相对于2005年前后中国一下子冒出来的一大批 web 2.0 网站和最近几年出现的“云计算”,此时此刻的互联网业界似乎有点沉闷. 人们开始谈论,互联网下一个有趣的事情是什么. 百姓网 CEO 王建硕,最近在《中国企业家》杂志发表文章《2011年注定是中国互联网第三春》,提出一个五年周期理论,认为每隔五年左右就会有一批人出来创业,就会有一批风险投资周转完毕转而支持新的项目,这样经过这两年的沉闷,2011年必将有新东西爆发.

协同过滤和推荐引擎

- - 刘思喆@贝吉塔行星
推荐系统在个性化领域有着广泛的应用,从技术上讲涉及概率、抽样、最优化、机器学习、数据挖掘、搜索引擎、自然语言处理等多个领域. 东西太多,我也不准备写连载,今天仅从基本算法这个很小的切入点来聊聊推荐引擎的原理. 推荐引擎(系统)从不同的角度看有不同的划分,比如:. 按照数据的分类:协同过滤、内容过滤、社会化过滤.

Spotify推荐引擎Discover Weekly的故事

- - Solidot
Spotify的软件工程师Edward Newett说,赋权自下而上的创新,奇迹将会发生. 他在上周举行的@Scale 会议上分享了开发Discover Weekly推荐引擎的故事. Discover Weekly设计帮助用户发现他们从未听过的新音乐,于一年前上线,至今已积累了4000多万的用户. Newett最初的工作是开发个性化网页,其中包含了向用户推荐他们可能感兴趣的专辑的系统.

探索推荐引擎内部的秘密:推荐引擎初探

- adow - 互联网的那点事...
“探索推荐引擎内部的秘密”系列将带领读者从浅入深的学习探索推荐引擎的机制,实现方法,其中还涉及一些基本的优化方法,例如聚类和分类的应用. 同时在理论讲解的基础上,还会结合 Apache Mahout 介绍如何在大规模数据上实现各种推荐策略,进行策略优化,构建高效的推荐引擎的方法. 本文作为这个系列的第一篇文章,将深入介绍推荐引擎的工作原理,和其中涉及的各种推荐机制,以及它们各自的优缺点和适用场景,帮助用户清楚的了解和快速构建适合自己的推荐引擎.

探索推荐引擎内部的秘密: 第 1 部分:推荐引擎初探

- JingSQ - IBM developerWorks 中国 : 文档库
随着 Web 技术的发展,使得内容的创建和分享变得越来越容易. 每天都有大量的图片、博客、视频发布到网上. 信息的极度爆炸使得人们找到他们需要的信息将变得越来越难. 传统的搜索技术是一个相对简单的帮助人们找到信息的工具,也广泛的被人们所使用,但搜索引擎并不能完全满足用户对信息发现的需求,原因一是用户很难用恰当的关键词描述自己的需求,二是基于关键词的信息检索在很多情况下是不够的.

推荐《探索推荐引擎的秘密》系列

- linyehui - Tinyfool的Blog
最近推荐引擎成为显学,主要原因应该是电子商务的蓬勃发展. 头些日子和图灵的两位老师吃饭,我甚至了解到因为推荐引擎以及机器学习领域的日渐火爆,图灵出的线性代数最近销量都很好,更别提大家现在到处都可以看到这个领域相关的招聘. 我最近的创业项目iApp4Me其实也是一个推荐引擎的应用,我关注这个领域有很长一段时间了.

数据驱动销售——个性化推荐引擎

- - 互联网旁观者
在当前这个信息量飞速增长的时代,一个企业,尤其是电子商务企业的成功已经越来越多地与其海量数据处理能力相关联. 高效、迅速地从海量数据中挖掘出潜在价值并转化为决策依据的能力,将成为企业的核心竞争力. 数据的重要性毋庸置疑,但随着数据的产生速度越来越快,数据量越来越大,数据处理技术的挑战自然也越来越大.