聊聊淘宝天猫个性化推荐技术演进史

标签: bigdata | 发表时间:2017-05-11 08:00 | 作者:
出处:http://itindex.net/admin/pagedetail

大数据

引言:个性化推荐技术直面用户,可以说是站在最前线的那个。如今,从用户打开手机淘宝客户端(简称“手淘”)或是手机天猫客户端(简称“猫客”)的那一刻起,个性化推荐技术就已经启动,为你我带来一场个性化的购物之旅。本文将细数个性化推荐的一路风雨,讲讲个性化推荐技术的演进史。

本文选自[《尽在双11——阿里巴巴技术演进与超越》。

1、个性化推荐All-in无线

无线个性化推荐起步于2013年10月。现在往回看,当时的阿里很好地把握住了移动端快速发展的浪潮,以集团All-in无线的形式吹响了移动端战斗的号角。个性化推荐团队也是从All-in无线这一事件中孵化的。我们从零开始搭建了个性化推荐算法体系及个性化算法平台TPP。TPP这一个性化算法平台对个性化推荐团队的成长起到了至关重要的作用。基于TPP,个性化算法团队成员们验证算法的速度得到了极大的提高,优化算法的速度从而也得到了极大的提高。仅仅花了不到两个月的时间,个性化推荐的第一版算法就在“有好货” 中初露锋芒:结合基于主动学习的选品算法平台TSP,个性化推荐团队一举打造了“有好货”针对高端人群的优质导购体验。

2014年,随着个性化推荐算法团队对业务问题有了更好理解,以及技术研发的深入,我们逐步开发并上线了排序引擎RTP、标签探索算法PairTag及在线学习引擎Olive(如下图所示)等多项核心技术。个性化推荐算法也因此被快速地应用到“发现好店”、“爱逛街”、“猜你喜欢”及购物链路等手淘的各个主要场景中。其中,手淘底部的“猜你喜欢”商品瀑布流推荐是亿万用户每天登录手淘后必逛的场景,为人们搜寻和发掘自己喜好的商品提供了便捷的渠道。“猜你喜欢”也一举成为中国电商中最大的推荐产品。

大数据

正是在All-in无线后的这一年,个性化推荐开始在阿里逐步成长起来。

2、 个性化推荐初逢双11

2015年,个性化推荐第一次在双11中大放异彩。还记得当年9月中旬,我们正在维也纳参加推荐系统最大的会议RecSys。逍遥子突然来电,告知在2015年双11上要全面开启个性化推荐,随行的同事们都很兴奋,但我们又不得不面临缺乏双11实战经验的实际问题。当然,机会和风险往往是并存的。面对挑战,我们很快开始规划进程和分工。回到杭州之后,团队全员进入备战状态,我们的努力在双11当天得到了回报。2015年11月12日凌晨,推荐算法团队、手淘及天猫的众多小伙伴们并不觉得疲乏,大家的脸上都闪烁着喜悦。个性化推荐算法在双11大放光芒,一个又一个令人瞠目的数字足以为证。个性化推荐的第一战场“双11主会场”更是自双11开展多年以来首次达到了个位数的跳失率,其引导人数和人均引导页面数都是前一年的2~3倍。不得不说,这些令人振奋的结果都要归功于之前两年中个性化推荐在无线端的落地。

2015年双11主会场个性化算法(即“天坑一号”,如下图)包括三个层次:楼层顺序个性化、楼层内坑位个性化、坑位素材个性化。这三个层次自顶向下,在用户体验上形成一套完整的方案。其中:

  • 楼层顺序个性化使得女神看到的楼层顺序可能是女装、美妆、天猫国际等,欧巴看到的楼层顺序可能是男装、旅行、数码等。
  • 楼层内坑位内容个性化,使得在同一个楼层内,不同用户看到的商品或店铺不同,比如同样都是美食控,喜欢辣味的用户可能看见麻辣牛肉干,喜欢甜味的用户可能看见巧克力。
  • 坑位内容素材个性化,使得同一个楼层的同一个坑位,即便算法预测两个用户都需要巧克力,但一个喜欢费列罗而另一个喜欢德芙,也会在入口图上展示不同的品牌。

大数据

这三层个性化中涉及多策略推荐算法、排序学习、合图等多项技术。整个项目的进展用六个字来总结就是“时间紧任务重”。在多个团队的辛勤工作及紧密协作下,我们第一次全方位地将自All-in以来所积累的个性化推荐技术用于如此复杂的场景之中。

个性化推荐在“双11主会场”取得成功的因素有很多。其中,最值得称道的莫过于“首图个性化”。在指甲壳大小的空间上,我们对产品创意素材和文字进行精雕细琢和个性化投放。这一改变极大地提升了用户活跃度,并催生了2015年双11主会场的个性化项目。该项目的成功上线成倍地降低了会场跳失率。更重要的是,个性化推荐为用户带来了全新的无线端购物体验,并且为阿里在电商领域的茁壮成长带来了显著的助力作用。个性化推荐算法团队因此荣获2015年CEO特别贡献奖。下面引用阿里巴巴CEO逍遥子嘉奖信里的一段话:“这次双11的一大亮点是,我们基于大数据的无线产品和技术的创新,使得整个运营效率有了大幅度提升。淘系的活跃用户得到了充分的引导和互动,得到了大量个性化的展示和推荐,事实证明了大数据的巨大威力。我们用大数据赋能了双11,赋能了我们自己的运营能力。”
正是在2015年双11之后,个性化推荐的故事开始为人们津津乐道。

3、 个性化推荐再战双11

2015年双11之后,个性化推荐团队乘风起航,继续发力。正是这一年的持续发展,使得个性化推荐在2016年双11中更进一步,遍及无线端的各个场景。包括主会场在内的几乎全部活动会场、产品都实现了个性化算法投放。个性化推荐团队的代表作“海神”以及“鲁班”(下图为鲁班批量生产的创意Banner)都是首次在双11中亮相。

大数据

在2016年双11中,面对更为复杂的个性化需求,乐田及工程师们将全面升级后的个性化推荐完美地展现在双11主会场中。虽然2016年的双11主会场与2015年的“天坑一号”主会场极其相似,但这一次个性化推荐产品做得更为精细了。其中,GBDT+FTRL、Wide & Deep Learning和AdaptiveLearning这三项最前沿的机器学习技术被应用到了主会场的三层结构中,极大地提升了在线模型的效果及实时预测的效率。

除了常规的个性化推荐之外,我们在2016年双11开始尝试融合商家流量分配的个性化推荐。逍遥子在2015年双11总结中提到:“我们还要更上一层楼,利用大数据赋能给所有的商家,帮助他们运营好消费者,这样才能让我们在大数据时代践行‘让天下没有难做的生意’的使命。”随着个性化场景的不断升级,商家很多时候都对流量的波动束手无策。对那些有运营能力的商家来说,我们希望其通过更多优质的商品和优秀的服务换来更多的流量或销量上的部分确定性。因为推荐各场景大小不一、定位差异大,有导购类场景、有成交类场景等,我们需要根据场景本身的特性来进行流量智能调控。因此,商家赋能个性化推荐系统 — Matrix应运而生。Matrix系统主要用于调节用户体验、卖家流量诉求和投资回报率、电商平台健康度等方面的效用,平衡场景的短期收益和长期收益。在2016年双11中,Matrix在部分场景的上线为今后的卖家赋能积累了宝贵的经验。

大数据

4、 个性化推荐的智能未来

个性化推荐从无到有,直到演进成为CEO逍遥子口中的“电商基础设施”,这一切来得极为不易。面对更具挑战的未来,个性化推荐可以做得更好、更智能,而基于全局信息的个性化推荐将会是达成这一目标的重要途径。
众所周知,个性化推荐涉及多种不同层次、不同粒度的子任务。从推荐内容上来说,个性化推荐分为商品推荐、店铺推荐、品牌推荐、评论推荐等;从推荐目标上来说,个性化推荐分为点击率预测、转化率预测、成交量预测等。虽然我们当前设计的个性化推荐算法在TPP上实现了流程一体化,但我们对每个推荐场景面临的子问题却是单独建模的。如果能从全局的角度分析用户的喜好,个性化推荐必然能够更上一层楼。

2016年,我们已经通过深度强化学习(Deep Reinforcement Learning)技术对全局信息共享下基于多任务学习  (Multi-task Learning)的个性化推荐进行了初步探索。从数据流通链路来看(比如下图所示的手淘场景数据流通图),我们可以很自然地将全链路多场景的推荐任务理解为推荐系统面向用户的连续决策过程。随着用户对不同推荐场景的持续浏览和交互,推荐系统对于用户实时需求和意图的理解会越来越清晰,因此也可以更准确地为用户推荐更为合适的内容。深度强化学习已经在人工智能领域掀起了新的浪潮,这一技术必将成为个性化推荐智能化的最强武器。

大数据

5、 总结

个性化推荐所取得的成就是一个“意料之外却情理之中”的结果。仅仅经历了短短几年的时间,淘宝和天猫就从以人工运营为主分配流量和资源位的方式成功转变为以大数据和人工智能为导向的新方式。与此同时,我们初步建立了人工经验与算法投放协同工作的机制。自2013年年底All-in无线以来的沉淀和积累终于逐步转化成了果实。经过不断地积累和打磨,个性化推荐技术变得越发成熟和犀利,相信个性化推荐的未来会更好。

End.

转载请注明来自36大数据(36dsj.com): 36大数据» 聊聊淘宝天猫个性化推荐技术演进史

相关 [淘宝 天猫 个性] 推荐:

聊聊淘宝天猫个性化推荐技术演进史

- - IT瘾-bigdata
引言:个性化推荐技术直面用户,可以说是站在最前线的那个. 如今,从用户打开手机淘宝客户端(简称“手淘”)或是手机天猫客户端(简称“猫客”)的那一刻起,个性化推荐技术就已经启动,为你我带来一场个性化的购物之旅. 本文将细数个性化推荐的一路风雨,讲讲个性化推荐技术的演进史. 本文选自[《尽在双11——阿里巴巴技术演进与超越》.

天猫运营和淘宝运营有哪些重要的区别?

- - 知乎每日精选
一,规则区别,天猫运营需要比淘宝运营懂得更多官方规则,比如发票,发货时间,七天无理由售后,这些在淘宝不是必须的,但在天猫是必须的. 二,推广区别,除了天天特价,试用中心,双12等少数活动,平台上的活动基本是面对天猫的,或者同等条件下,天猫店比淘宝店更容易获得活动,所以天猫运营需要更懂得各个活动规则.

淘宝“伤”城

- 品味视界 - FT中文网_英国《金融时报》(Financial Times)
秦苏为英国《金融时报》中文网撰稿. 中国互联网的野蛮生长,再次震惊了电子商务市场. 10月11日晚间,为抗议淘宝商城大幅提高技术服务年费和保证金,约7000家中小卖家通过YY网络语音等组织方式,对韩都衣舍、欧莎、七格格、优衣库等大卖家进行攻击,包括利用规则进行购物、给差评、到货付款或申请退款等. 通过集中拍下某商品,导致这些商家的大部分商品下架“被拍死”.

淘宝维权记

- loudly - 马日拉
我先是在八月上旬从淘宝卖家“偶遇燕燕”处购买了两张高凳. 货送到时仅用塑料气泡纸包装,无硬纸包装. 因为外包装并无破损,所以当时就签收了. 快递走后,拆开包装,发现其中一个凳子凳面完全裂成两半,一个凳脚连接处完全碎裂. 两张凳子平放在一起,高度有一公分以上的落差,说明:1.卖家为减小货物体积,省略了硬质外包装,虽然物品表面由于有气泡纸保护完全无损,但运送途中,一个外形不规则的货物用脚指头想想也知道会因为堆叠、搬运等等情况,造成结构性的损毁.

淘宝养活谁

- - 《商业价值》杂志
成长在互联网时代的我们恐怕无人不知淘宝了,淘宝网由于其巨大的用户群成为了中国电子商务领域的航母. 然而这艘航母在行进过程中,伴生了无数相关联行业的成长. 首先获利的当然是淘宝的600多万商家,凭借着成本优势,电子商务已经在很大程度上深入人心,过亿的日成交额让不少淘宝商家获利颇丰. 数据显示,2011年TMALL平台品牌电商进一步增加,品牌数达7万多个,相较上年的3万个,品牌数增幅超过1倍.

马云致全淘宝同仁公开信:淘宝是大家的淘宝

- Yu - cnBeta.COM
针对近期淘宝更改新规所引发的争议和群体事件,网络上悄然出现了一封马云的公开信,以下为公开信内容. 全体淘宝亲们:大家下午好!首先我代表阿里巴巴及淘宝公司所有员工向大家表示衷心的感谢. 感谢大家九年来对淘宝及我马云本人自始至终的信任和大力支持,感谢你们把淘宝培养成了中国最好最强最受欢迎的网络商业零售圈.

贝叶斯在淘宝

- Dash - 搜索技术博客-淘宝
Shared by 车东. 搜狐邮箱不幸上榜…… @qiuyingbo.           随着电子商务的快速发展,淘宝的规模也逐渐壮大,淘宝在业界的影响力也越来越大. 目前,淘宝网的日独立访问数已逾4000万,而注册的用户数现在已经达到1.63亿,中国网民也就3.3亿,在所有的中国网民中,几乎有一半都是淘宝的用户.

淘宝店主太强了

- Pan - 水木社区 Joke/笑话连篇 保留区
发信人: richal (areer_Plaza), 信区: Joke. 发信站: 水木社区 (Wed Jul 20 14:39:34 2011), 站内. 刚买的新车,选车号时没弄成自选的,. 在网上看到有那种金属字母,贴到车尾. 我想如果把姓名缩写贴上去,应该挺酷的. 结果刚下单不久,淘宝店主就打来电话.

淘宝提价很粗暴

- 宋大妈 - FT中文网_英国《金融时报》(Financial Times)
笨狸为英国《金融时报》中文网撰稿. 据报道,马云曾经说过这样一段话:“2001年的时候,我犯了一个错误,我告诉我的18位共同创业的同仁,他们只能做小组经理,而所有的副总裁都得从外面聘请. 现在十年过去了,我从外面聘请的人才都走了,而我之前曾怀疑过其能力的人都成了副总裁或董事. 现在,马云告诉淘宝上的中小商家说他们不适合继续呆在商城里,而且也不给安排什么出路,简单粗暴的一条提价协议就把曾经帮助淘宝发家的中小商家拒....

从“出天猫记”说起到天猫经营成本详解

- - 互联网的一些事-关注互联网产品管理,交流产品设计、用户体验心得
  2013年和2014年之交,电商业界传出一则消息,天猫平台上因种种原因未能继续续约而遭清退的店铺有7000多家, 日前网传一份详细天猫店铺表格如下:.   极其耐人寻味的是,在天猫官方公布的《天猫2014年度商家续签公告》中,有一项条约赫然在列——“ 对于放弃续签或续签审核不通过的商家,TM不再开放转入淘宝网申请入口”,也就是说,对于这部分商家,淘宝也不再开放申请入口,这意味着,这些清退的商家,是彻底地离开阿里的平台.