有8亿用户的网易云音乐是怎样建设数据中台的?

标签: 用户 网易 音乐 | 发表时间:2020-04-23 16:05 | 作者:万佳
出处:https://www.infoq.cn

这几年,“中台战略”概念像是一把火,“烧遍”国内互联网。而在业界,关于中台的实践并不多,尤其是数据中台。何为数据中台?数据中台建设面临着哪些挑战?它会带来哪些收获?…

带着这些疑惑,InfoQ 记者采访了 ArchSummit 全球架构师峰会讲师网易云音乐数据智能部数据开发专家朱一飞。作为国内知名音乐平台,网易云音乐有 8 亿用户。不过,它面临的挑战在于,一方面各个业务单元在 8 亿用户基数上积累海量的数据,另一方面,业务部门基于发展需要提出大量数据需求,并且在数据质量、数据共享、实时化方面的要求越来越高。为解决这些问题,网易云音乐搭建了自己的数据中台体系,且受益匪浅。

2012 年加入网易云音乐初创团队,朱一飞是一名“土生土长”的网易云音乐技术人。随着公司不断发展,他先后负责过搜索、音频识别后端架构。2016 年,朱一飞开始带领数据团队,经历了数据团队业务组建到平台建设,再到近一两年推进中台体系建设。

何为数据中台?

虽然当前关于中台的讨论已经很火热,但朱一飞认为 数据中台是以数据驱动业务创新为目标,具备灵活机动快速反应特征的技术与组织能力体系建设。这里面有三个基本元素:

  1. 目标。中台的最终目的是解决业务问题;
  2. 灵活快速。能不能快速解决业务诉求是衡量数据中台的重要标准。说到底,建设中台是为了用;
  3. 体系化。n 支游击队凑在一起成不了集团军,因而缺乏强大的战斗力。关于技术体系、组织架构,需要有完整、严谨和深入的思考。

数据中台建设的背景和诉求

据悉,网易云音乐的数据团队最初是一支业务开发团队,其大部分工作都在解决业务需求。后来,团队慢慢发现平台工具层面存在诸多瓶颈。因此,团队发起为期 2 年左右的平台化建设,基本搭建起底层的技术基础设施。

在朱一飞看来,随着网易云音乐的创新发展,尤其是产品矩阵建立后, 如何快速完整地满足业务对数据的诉求依然有很大的提升空间

“除底层工具建设外,我们发现还需要 在平台与业务中间“铺设”一个中间层,确保团队能理解业务目标而不是躲在后台的技术领域自娱自乐。同时,我们还要快速跟上各产品发展方向的变化,并且努力将试错成本降到最低。因此,我们反过来又去思考平台体系还有哪些不完备的地方,组织架构还需要进行哪些调整。”他说。

而团队对于数据中台建设的诉求,主要分为两部分:

一是面向过去看要解决的问题,其中的核心是整个数据链路的标准化(包括方法论和工具两个层面,细化到链路的各个环节有不同的具体目标),以及如何去推动这套标准在所有相关业务团队的落地。

二是面向未来要为业务提供什么样的驱动力。团队要以什么样的形式提供数据服务,以及团队应该是什么样的组织模式,从而跟业务团队保持高效协同。

面临的挑战

据朱一飞介绍,团队面临的挑战是在业务需求响应与体系建设上如何取得更好的平衡。“解决单一问题总是相对简单的,相信很多兄弟团队都深有体会”。

他表示,“虽然目前网易云音乐的数据中台建设取得一定进展,但我们还是认为长期处在中台建设的’初级阶段‘。”

在整个数据中台建设中,他们需要不断做出权衡(trade off):

  1. 主干问题优先,考虑 ROI,比如数仓标准化、埋点规范化、指标口径统一等问题如果在产品初期不落地,则积重难返,而且大大消耗团队的精力。所以,这类问题,他们一般会在新产品场景优先去落地。
  2. 业务核心项目优先。核心的业务项目(比如云音乐中的增长项目)其实是中台服务的触点,如果错过了,以后合作接入就困难重重。因此,这类项目,他们一定会想办法先推动落地,再去考虑后续优化,体系化改造。
  3. 现阶段,他们并不追求一套大而全的体系。

据悉,网易云音乐的业务场景,从横向看,有音乐、直播、K 歌等产品线,从纵向看,包括增长、营收、平台等业务职能线。虽然网易云音乐的业务线和团队众多,“但我们的中台体系实际上是在同一套规范和标准下逐步接入业务的,而非反过来面向业务去设计多种架构”。这中间存在一些需要适配的地方。总的来说,其目标是尽可能抽取更多的共性。

朱一飞坦承,“想实现这一点并不简单,网易云音乐本身产品交互层面相对其他产品的复杂性,独特的账号体系都对我们提出了挑战。”

另一方面,在数据与业务结合的中间层,即中台赋能业务的部分,团队的灵活性会高一些,比如针对市场的新增目标,或会员的营收目标。“我们会单独组建团队专门搭建针对性的业务数据服务及产品,提供一站式解决方案,类似于一支快速反应部队能随时快速解决战斗。”他说。

网易云音乐的数据中台架构

据朱一飞介绍,网易云音乐数据中台架构包含几个层:

最底层——基础设施层

基础设施层包括资源环境和平台工具两部分:资源环境是依赖网易杭州研究院提供的大数据集群、容器化环境、底层储备组件等。平台工具主要是自研的提供离线、实时、算法三大方面开发能力的一站式开发环境。

第二层是数据层

数据层即网易云音乐的 OneData,包括元数据中心、标准化数仓、数据地图、统一指标体系、数据安全中心和保障这套体系的数据质量管理中心。

第三层是服务层

服务层即网易云音乐的 OneService。它提供不同层级和粒度的数据 API,包括从最底层的任务执行调度能力,到最面向应用的人群圈定的各类服务能力。而服务中的公共部分,包括权限 & 稽核模块、RPC 框架、服务发现等都是依托网易云音乐技术中心的统一框架。

最上层是产品层

如前文所述,他们组建了一支快速反应部队,针对一个个核心业务问题(增长、营收、版权)搭建了对应数据产品,实现从业务流程、信息采集、数据洞察到 ROI 评估再到业务流程的完整闭环。能够实现快速反应,主要是因为依赖上游的统一数据服务以及产品对应的统一系统框架。

网易云音乐数据中台的具体实践

数据中台的整个实践过程,大致可分为三个阶段:

阶段一:“史前时代”

这个时期属于数据团队大干快上的阶段,他们主要的工作模式是 逢山开路,遇水搭桥,大量支持业务需求。同时,他们发布了数仓 1.0、用户画像和 DMP 系统、OLAP 分析平台,开发了大量报表。

在这期间,随着对业务的理解变得更深刻,同时网易云音乐快速发展积累的数据体量带来很多挑战,“我们做了相当多的基础设施改造,比如数据层面对埋点体系的梳理、平台层面搭建了底层计算能力(实时、算法)等”。

阶段二:数据中台 beta 阶段

2018 年底到 2019 年,为支持业务扩张,他们从目标、体系、组织结构对团队进行了梳理,确定了中台建设思路(这也契合同期网易云音乐整体技术、业务双中台战略)。

团队被重新划分为平台、数据、产品三条线,重点做了两件事:

  1. 整合升级。横向统一全域的数据,将之前的算法、广告、业务数据全部纳入进来。纵向,建立对整个 pipeline 的管理体系。
  2. 探索数据中台与业务的合作模式。“这个期间,我们也尝试多走一步,提供一站式的业务与数据结合的产品。核心是想获得中台在业务的落脚点,同时通过拿到一些业务结果让合作团队看到并认可数据中台的价值。”朱一飞说。

阶段三:数据中台 1.0

在这个阶段,主要有两个目标:

  1. 标准化。通过标准化,他们希望解决质量、效率和成本的问题。在标准化数仓重构、统一指标体系、统一 OLAP 分析平台、数据技术中台、数据资产管理等项目,大部分取得阶段性成果。
  2. 合作赋能。在前台业务赋能方面,他们一方面寻找更多中台接入的触点,另一方面也会尝试将部分成熟前台产品重新交到业务团队手里,防止战线过长,始终保持灵活机动的组织模式,更多通过赋能解决业务问题(扶上马,送一程)。

数据中台收益

朱一飞说:"从结果看,首先,我们从单一解决数据的问题转变为解决’人‘的问题。"从业务视角看,他们不光只是报表数据的提供者,而是真正参与到业务决策,解决业务问题。他们在多个团队实现从业务流程、信息采集、数据洞察到 ROI 评估再到业务流程的完整闭环,包括增长团队、版权团队、音乐人团队、会员营收团队等。

其次,从体系的角度衡量,团队在效率和质量上得到大幅提高,“支撑起我们难以想象的工作量”。比如,他们的标准化数仓 +OLAP 解决的临时取数每周在几千次左右,让其支撑的取数 工作量减少 80% 以上

此外,他们搭建的离线、计算、算法平台支撑的开发者占到网易云音乐团队的近 50%,真正降低了数据处理和使用门槛,并且因为实现了大部分的标准化,质量仍然有保证。

个人收获与思考

对朱一飞而言,他最大的收获是以往看一个平台或中台架构的视角是平面的,更多看到的是一个最终结果,即中台是什么的问题。在经历网易云音乐从 0 到 1 搭建体系的过程后,他的视角扩宽到体系平面垂直的时间维度。“ 我会更多思考整个中台为什么应该是这样的,架构中哪些层面更重要、需要优先解决,设计者应该将每个部分如何在时间线上串联起来等问题。”他说。

一个团队需要什么样的数据中台,甚至是否需要数据中台应结合自己的实际情况,不变的是数据驱动业务创新这个目标,方法和思路可以因团队而异。实际上,数据中台并非 silver bullet(银弹)。

如果让他重新开始,朱一飞称“很多选择可能并不会有变化。但有一定经验,会让我们避免一些坑,速度会快一些,比如我们的规范化埋点和流程做在前头,数仓的设计会更规范完整一些。”

嘉宾介绍:

朱一飞,网易云音乐数据智能部数据开发专家。2012年硕士毕业于浙江大学,同年加入网易云音乐,从2016年开始带领团队从0到1搭建了云音乐数据技术体系。近一年来结合业务创新发展的需要以及对中台建设的思考,实践了包括数据基础设施,标准化数仓,数据应用产品矩阵,团队组织模式在内的中台架构。

ArchSummit 全球架构师峰会(深圳站)现场,朱一飞老师将更加详细的介绍关于数据中台的一线实践与思考,希望给正在建设数据中台的一些公司提供可借鉴的经验。

相关 [用户 网易 音乐] 推荐:

有8亿用户的网易云音乐是怎样建设数据中台的?

- - InfoQ推荐
这几年,“中台战略”概念像是一把火,“烧遍”国内互联网. 而在业界,关于中台的实践并不多,尤其是数据中台. 带着这些疑惑,InfoQ 记者采访了 ArchSummit 全球架构师峰会讲师网易云音乐数据智能部数据开发专家朱一飞. 作为国内知名音乐平台,网易云音乐有 8 亿用户. 不过,它面临的挑战在于,一方面各个业务单元在 8 亿用户基数上积累海量的数据,另一方面,业务部门基于发展需要提出大量数据需求,并且在数据质量、数据共享、实时化方面的要求越来越高.

网易云音乐Vs酷狗音乐PC客户端竞品分析

- - 人人都是产品经理
首先看看音乐播放器在用户多媒体APP中所占的比重. 截至2015.6.6各平台中音乐APP的下载排行,网易云音乐占7.8名,酷狗第一. 在分析网易云音乐之前,先对市场上各种音乐播放器做一个大概的功能解析. 大平台/专题MV/线下盛典活动. 无损专区/资讯专题/原创音乐人/. 百度king榜/乐播(类似主播).

网易云音乐全链路埋点管理平台建设

- - 掘金 后端
图片来源: https://unsplash.com. 在文章 云音乐曙光埋点:还原数据理想国中,我们介绍了曙光埋点项目方案,该方案基于多端一致埋点对象树建设管理,实现了统一自动化埋点和链路追踪,方案高度还原了大前端埋点的理想状态、具备较强通用性和扩展性. 我们围绕这套埋点方案研发了配套的埋点管理系统,以承载及埋点规则数据管理、埋点设计、埋点研发、埋点测试、埋点上线等功能,本文主要介绍该平台功能及建设思路.

如果将豆瓣红心歌曲导入到网易云音乐 - 简书

- -
1.安装电影癖Chrome插件,打开. ,看到如下图,点击添加到Chrome. (或者直接从QQ浏览器应用中心下载. 插件可以直接兼容360浏览器,360极速浏览器和QQ浏览器. 如果是要用在谷歌浏览器的话,需要在扩展页面点击开发者模式. 链接打不开,那是由于不可描述的原因导致谷歌无法访问,这个时候你需要饭墙了.

网易云音乐数仓维度建模实践:模型设计篇

- - IT瘾-dev
数仓模型架构搭建、模型设计是整个数仓建设的核心部分. 数仓建模的价值体现在:数据质量、健壮水平、资源消耗、服务响应速度. 这里想先说下,这些年我在数仓摸爬滚打的一些经历:. 刚毕业那会儿,我觉得数仓简单啊,不就是用sql开发一张张表嘛,谁不会呀,那段时间觉得好没挑战呀,没事的时候捣鼓下高大上的spark、scala啥的.

云端音乐服务 Music Beta by Google 开始允许用户发送邀请

- 向往自由的风 - 谷奥——探寻谷歌的奥秘
Google的云端音乐服务Music Beta by Google之前一直只能向Google申请测试名额,今天有人发现自己可以发送邀请了. 我在获得测试名额之后压根就没用过这货,进入主页也发现有2个邀请,可发送给朋友让他们直接加入Music Beta by Google. 不过目前依然限制美国IP登录使用.

音乐网站Turntable.fm因版权问题把国际用户拒之门外

- imx - 36氪
音乐网站Turntable「转盘」最近吸引了不少关注,还没有正式上线之前就遇到了版权问题,如何保证网站音乐的合法性是一个挥之不去的问题. 目前该网站打算通过「数字千年法案(DMCA)」来绕开版权问题,但该法案只在美国适用,所以上个周末该网站的国际用户被拒之门外. 周六该网站对其Twitter粉丝说:“致所有国外用户:由于版权许可限制,您将无法继续转盘,非常抱歉.

网易云音乐下载接口加密破解思路及步骤(附 Python 源码)

- - IT瘾-dev
​ 很喜欢网易云音乐,甚至剁手开了年费会员,我这么爱它,所以就很想破解它,控制不住自己,然后就有了这篇文章. ​ 我随便找到一首歌,然后打开开发者工具,清空记录,按照下图设置:. ​ 然后我点击网页的播放按钮,查看输出,等几秒之后,暂停播放,开始检查得到的 URL 及其响应结果,当我看到下图的 URL 时,已经可以确定这个就是我要找的目标 URL 了.

HTML5&Flash之粗知浅见 | 网易用户体验设计中心

- Yangan - uedc.163.com
比较头大的是Flash又插入不进来了,无奈请您移步 点击这里 先去看一段动画展示:. HTML(Hyper Text Mark-up Language)即超文本标记语言. HTML文本是由HTML命令组成的描述性文本,HTML命令可以说明文字、图形、动画、声音、表格、链接等. HTML的结构包括头部(Head)、主体(Body)两大部分,其中头部描述浏览器所需的信息,而主体则包含所要说明的具体内容.

网易游戏斥巨资打造全新用户体验实验室

- 洞箫 - cnBeta.COM
网易科技讯 9月13日消息 近日在广州信息港的网易大厦一楼,一个全新的游戏用户体验实验室迎来了它的第一次用户体验测试,这已是网易游戏为用户体验研究建立的第三个实验室. 网易游戏是国内最早在游戏领域成立用户体验部门的企业之一. 早在9年前《大话西游Ⅱ》产品推出之时,网易CEO丁磊就亲自主持了第一次用户体验测试,当时的测试对象还包括了公司的清洁阿姨.