建设大数据平台,从“治理”数据谈起 - CSDN极客头条

标签: | 发表时间:2017-07-17 08:28 | 作者:
分享到:
出处:http://geek.csdn.net

本文目录:


一、大数据时代还需要数据治理吗?

二、如何面向用户开展大数据治理?

三、面向用户的自服务大数据治理架构

四、总结

一、大数据时代还需要数据治理吗?

数据平台发展过程中随处可见的数据问题

大数据不是凭空而来,1981年第一个数据仓库诞生,到现在已经有了近40年的历史,相对数据仓库来说我还是个年轻人。而国内企业数据平台的建设大概从90年代末就开始了,从第一代架构出现到现在已经经历了近20年的时间。

图片描述

在这20年的时间里,国内数据平台实施者可以说是受尽折磨,数据项目一直不受待见,是出了名的脏活累活。

图片描述

可以说,忽视数据治理给数据平台建设带来了不少问题。随处可见的数据不统一,难以提升的数据质量,难以完成的数据模型梳理等源源不断的基础性数据问题,限制了数据平台发展,导致数据应用不能在商业上快速展示效果。

举一个典型商业智能应用的例子,管理驾驶舱可能很多朋友都听说过,很多企业建设了管理驾驶舱,但是建设完之后往往成为摆设,只有当领导需要看的时候,大家才去拼命改数据。

为什么数据平台的建设遇到这么多“坎”,而且难以真正发挥其商业价值?其实核心问题还是数据本身不统一,数据内容准确度不高。

数据治理逐渐受到各行业认识

我国最早意识到数据治理重要性的行业银行是金融行业。由于对数据的强依赖,金融业一直非常重视数据平台的建设,经过几代数据平台的验证,发现数据治理是平台建设的主要限制因素,而且随着投资和建设的投入增加,对数据治理的重要性的认识也越来越深刻。

人民银行与银监会也非常重视数据治理,从08年开始,在全国银行业推行统一的数据标准,控制行业的数据质量。工行、建行、国开等大型银行,对数据治理都非常重视。08年前,我们与国开一起开始了数据治理的建设,下图展示的就是国开银行针对数据全生命周期的数据管控。

图片描述

如今各行业都开始了大数据平台的建设,希望利用大数据的能力,来实现数字化转型。大数据平台的建设本质上还是数据的建设,传统数据平台碰到的所有问题大数据平台都有可能碰到,由于数据量级的变化,大数据平台必然还会产生新的问题。

大数据时代下需要新一代的数据治理能力

目前大数据平台的突出问题主要体现在以下四方面:

数据不可知:用户不知道大数据平台中有哪些数据,也不知道这些数据和业务的关系是什么,虽然意识到了大数据的重要性,但平台中有没有能解决自己所面临业务问题的关键数据?该到哪里寻找这些数据?

数据不可控:数据不可控是从传统数据平台开始就一直存在的问题,在大数据时代表现得更为明显。没有统一的数据标准导致数据难以集成和统一,没有质量控制导致海量数据因质量过低而难以被利用,没有能有效管理整个大数据平台的管理流程。

数据不可取:用户即使知道自己业务所需要的是哪些数据,也不能便捷自助地拿到数据,相反,获取数据需要很长的开发过程,导致业务分析的需求难以被快速满足,而在大数据时代,业务追求的是针对某个业务问题的快速分析,这样漫长的需求响应时间是难以满足业务需求的。

数据不可联:大数据时代,企业拥有着海量数据,但企业数据知识之间的关联还比较弱,没有把数据和知识体系关联起来,企业员工难以做到数据与知识之间的快速转换,不能对数据进行自助的的探索和挖掘,数据的深层价值难以体现。

图片描述

通过分析以上四类问题,我们发现传统数据平台面临的问题,在大数据时代不仅没有消失,还不断涌现出新的问题,传统的数据治理需要提升能力,来解决大数据平台建设过程中的这些问题。

在传统数据平台阶段,数据治理的目标主要是做管控,为数据部门建立一个的治理工作环境,包括标准、质量等。在大数据平台阶段,用户对数据的需求持续增长,用户范围从数据部门扩展到全企业,数据治理不能再只是面向数据部门了,需要成为面向全企业用户的工作环境,需要以全企业用户为中心,从给用户提供服务的角度,管理好数据的同时为用户提供自助获得大数据的能力,帮助企业完成数字化转型。

图片描述

二、如何面向用户开展大数据治理?

面向用户的大数据治理实践案例

很多企业经过一段时间的摸索,已经看到了用户对大数据治理的这种需求,大数据治理也持续在各行业的大数据平台建设中得到关注。

图片描述

在我参与过的项目中给大家举个例子。最近普元主导了某电力公司的新一代数据治理平台建设,我们融合该电力公司现有的数据管理工具建设成果,以元数据为基础,实现了贯穿数据设计、产生、存储、迁移、使用、归档等环节的数据全生命周期管理,以及数据从源端到数据中心,再到应用端的全过程的管理,做到了以用户为中心,通过大数据治理,为用户提供了更便捷、更灵活、更准确地获得企业大数据资产的能力。

图片描述

该电力公司的大数据治理的起点是先以元数据为基础,构建数据资产管理体系。从用户的视角说明白企业数据有哪些,哪些用户能够使用。在该电力公司的数据资产定义过程中,我们选择了贴近业务用户的数据分类方案,梳理和识别企业运营数据资源。

图片描述

我们又基于第一步形成的数据分类管理体系框架,梳理、整合各级各类数据资源,建立了数据资产树,按照不同数据细类制定相应的工作模板,对指标数据和明细数据进行梳理和归并。

图片描述

所有资产梳理和控制的最终目标都是为了用户能够使用数据,我们通过L0–L1–L2三个层次的定义,以业务驱动为导向提高数据查询的实用性。

L0:按照电网业务域–业务主题–业务活动的结构化方法,对查询进行分类导航。

L1:依据业务和数据源中数据资源情况,按业务主题对数据进行预处理和定义。

L2:将数据库表字段等技术元数据转换为业务人员可以理解的业务元数据。

图片描述

我们通过梳理数据、管理数据、提供数据、关联业务,形成了一整套以用户为中心的大数据治理能力,最终为用户直接使用数据提供了帮助,从而使数据治理完成了从以管控为中心到以业务为中心的转变。由于受限于篇幅这里不过多描述。

面向用户的大数据治理的四个阶段

面向用户的大数据治理该如何做,我们总结了四个阶段。

图片描述

(1)第一阶段:全面梳理企业信息,自动化构建企业的数据资产库

在第一阶段,主要是对企业大数据的梳理,从而全面掌握企业大数据的情况,主要有以下三个方面。

梳理全企业数据架构,对企业的数据模型、数据关系、数据处理有清晰化的认识。

对数据资产形成统一的自动化管理,形成企业的元数据库。

对企业数据资产形成多种视图,使数据资产能够让不同用户,有不同视角的展示。

图片描述

(2)第二阶段:建立管理流程,落地数据标准,提升数据质量

在第二阶段,需要建立大数据管控能力,包括从业务的角度梳理企业数据质量问题,形成质量控制能力,形成核心数据标准,并抓标准落地。针对关键问题,建立数据的管理流程,少而精,控制核心问题。

在这个阶段主要是为数据部门形成一套管理大数据的能力,同时为数据部门形成数据管理的工作环境。

图片描述

(3)第三阶段:直接为用户提供价值,向用户提供数据微服务

通过前两个阶段,企业能够建立基本的数据治理的能力,在此基础上,还需要以用户为中心,为用户提供直接获取数据的能力。第三阶段依赖于前两个阶段能力的建设,在这个阶段的目标是向用户提供自助化的数据服务,使用户能够自助地获取和使用数据,并且在用户的使用过程中再反过去进一步落地标准、控制质量。

图片描述

(4)第四阶段:智能化企业知识图谱,为全企业提供数据价值

最后一个阶段是将数据沉淀成为知识,形成企业的知识图谱,提供从“关系”的角度去分析问题的能力。

人进行数据搜索是通过业务术语(知识)来搜索的,而知识之间是有相互联系的,例如水果和西红柿是上下位关系(后者是前者的具体体现),好的搜索除了要列出直接结果,还需要显示与之关联的知识,这就要建立知识图谱。

简单说知识图谱就是概念、属性以及概念之间的关联关系,这个关系可以手工建立,也能通过自然语言处理等方法,对政策、法规、需求、数据库comments、界面等多种来源进行分析,自动化建立起企业知识图谱。从而使数据治理成为整个企业的数据工作环境,强化企业数据与知识体系之间的关联,加快企业员工数据与知识之间的转换效率,让数据的深层价值得以体现。

图片描述

通过这四个阶段的建设,使数据治理平台由数据部门的工作环境,转变成为全企业的数据工作环境,以用户为中心,让用户能够直接使用大数据,并通过用户的使用来管理数据,持续优化数据质量,在达到治理数据目标的同时,也最大限度发挥了数据的价值。

三、面向用户的自服务大数据治理架构

自服务大数据治理架构

以用户为中心的自服务大数据治理技术架构包括五部分:数据资产管理、数据监控管理、数据准备平台、数据服务总线,消息与流数据管理。

图片描述

整个平台分为五块核心能力:数据资产、数据准备、数据服务总线、消息&流数据管理、数据监控管理。

数据资产管理是对企业数据信息统一管理也是整个平台的基础,数据准备平台是资产服务化的加工厂,它不但能将原始数据通过服务形式以用户能看懂的方式提供,也可以通过在线数据模型设计实现最终数据产品的发布,起到承上启下的作用。

数据服务总线和消息&流数据管理的价值层次是一致的,只是从数据时效性上面对数据进行了区分,去适应用户不同的管理和应用诉求。起到数据通道和安全管理两个核心内容。

数据监控管理有别于大数据中的数据节点管理,而是从数据管理的视角切入对数据的结构的变化、关系的变化进行管理和控制,它是数据持续发挥价值的监管者。

自服务大数据治理的关键技术

(1)人工智能的知识图谱构建

主要有三个步骤

a、基于企业元数据信息,通过自然语言处理、机器学习、模式识别等算法,以及业务规则过滤,实现知识提取;

b、以本体形式表示和存储知识,自动构建成起资产知识图谱;

c、通过知识图谱关系,利用智能搜索、关联查询手段,为最终用户提供更加精确的数据;

图片描述

(2)细粒度的敏感信息控制

数据内容安全管理包括对IT系统和数据进行敏感度等级划分的定义、浏览、检核,辅助安全规则在业务、技术领域的应用。从功能上包括数据敏感性分级、系统敏感性分级,数据安全策略定义管理,安全策略输出,安全管理报告,数据安全检核,敏感数据角色管理,敏感数据权鉴管理及相关电子审批流程。

图片描述

(3)自助化的大数据服务生产线

这里有4个关键点:

a、自助的查询到想要的数据;

b、自动的生成数据服务;

c、及时稳定的获得数据通道;

d、数据安全有保证;

通过自助化的数据生产线,数据使用方(业务人员)大大减少了对开发人员依赖,80%以上的数据需求,都能通过自己进行整合开发,最终获取数据。让所有用数据的人能方便得到想要的数据。

图片描述

(4)多维度实时的数据资产信息的展示

数据治理平台提供实时、全面的数据监控,不仅能从作业、模型、物理资源等各方面进行全面的数据资产盘点,还能对数据及时性、问题数据量等方面的数据健康环境进行全面的预警。

(5)以业务元模型为核心的数据微服务

数据需要以服务的形式提供给最终用户,在服务的提供上不能再采用传统的方式,而需要用微服务的方式提供,每个单独数据微服务自己对所提供数据做缓存,在其中利用元数据能力,把知识(业务模型)与技术(数据模型)相结合,从而向最终数据用户提供多种数据能力,使用户能够以多种方式使用数据。

图片描述

最后在整个大数据治理平台的构建中还需要满足一系列原则,详情参考我写过的《敏捷数据管理的12个技术原则》。

图片描述

四、总结

大数据时代,企业急需建立以用户为中心的自服务大数据治理,信息梳理、数据管控、连接用户、智能化是实现自服务大数据治理的四个主要阶段,掌握一系列关键技术和技术原则,是实现自服务大数据治理的重要基础。

关于作者:

王轩 普元软件产品部副总兼大数据产品线总经理

中国大数据产业生态联盟专家委员会专家委员、国内数据标准化及治理领域专家、国际数据管理协会(DAMA)会员。有十余年大型企业信息化架构设计与建设经验,全面主持普元大数据产品部的研发、拓展及团队管理工作,曾任中国人民银行核心架构师。主持参与了国家开发银行大数据治理、中国人民银行软件开发平台、国家电网云计算平台等大型项目建设。

图片描述

关于EAWorld

微服务,DevOps,元数据,企业架构原创技术分享,EAii(Enterprise Architecture Innovation Institute)企业架构创新研究院旗下官方微信公众号。

扫描下方二维码,关注成功后,回复“普元方法+”,将会获得热门课堂免费学习机会!

微信号:EAWorld,长按二维码关注。

图片描述

相关 [建设 大数据 治理] 推荐:

建设大数据平台,从“治理”数据谈起 - CSDN极客头条

- -
一、大数据时代还需要数据治理吗. 二、如何面向用户开展大数据治理. 三、面向用户的自服务大数据治理架构. 一、大数据时代还需要数据治理吗. 数据平台发展过程中随处可见的数据问题. 大数据不是凭空而来,1981年第一个数据仓库诞生,到现在已经有了近40年的历史,相对数据仓库来说我还是个年轻人. 而国内企业数据平台的建设大概从90年代末就开始了,从第一代架构出现到现在已经经历了近20年的时间.

大数据背景下的高职院校信息化建设探索

- - 199IT互联网数据中心
    在移动互联时代,数据获取方式发生了革命性的改变,数据的积累给规律探究和决策制定提供了第一手资料. 呈几何级数增长的数据已成为新的资源,其价值将逐步被发掘,我们进入了大数据时代. 大数据技术为校园信息化的发展带来了新的动力,从数字校园到智慧校园,以人为本的服务理念被提到了新的高度. 以大数据技术为背景,从基础平台建设,业务、数据整合,数据挖掘应用三个方面,展望高校信息化建设前景.

谈大数据(2)

- - 人月神话的BLOG
对于大数据,后面会作为一个系列来谈,大数据涉及的方面特别多,包括主数据,数据中心和ODS,SOA,云计算,业务BI等很多方面的内容. 前面看到一个提法,即大数据会让我们更加关注业务方面的内容,而云平台则更多是技术层面的内容. 对于大数据会先把各个理解的关键点谈完了,再系统来看大数据的完整解决方案和体系化.

大数据之惑

- - 互联网分析
算起来,接触大数据、和互联网之外的客户谈大数据也有快2年了. 也该是时候整理下一些感受,和大家分享下我看到的国内大数据应用的一些困惑了. 云和大数据,应该是近几年IT炒的最热的两个话题了. 在我看来,这两者之间的不同就是: 云是做新的瓶,装旧的酒; 大数据是找合适的瓶,酿新的酒. 云说到底是一种基础架构的革命.

白话大数据

- - 互联网分析
这个时代,你在外面混,无论是技术还是产品还是运营还是商务,如果嘴里说不出“大数据”“云存储”“云计算”,真不好意思在同行面前抬头. 是千万级别的用户信息还是动辄XXXTB的数据量. 其实,大数据在我的眼里,不是一门技术,而是一种技能,从数据中去发现价值挖掘价值的技能. ”当我掷地有声用这句话开场时,正好一个妹子推门而入,听到这句话,微微一怔,低头坐下.

交通大数据

- - 人月神话的BLOG
本文简单谈下智慧交通场景下可能出现的大数据需求和具体应用价值. 对于公交线路规划和设计是一个大数据潜在的应用场景,传统的公交线路规划往往需要在前期投入大量的人力进行OD调查和数据收集. 特别是在公交卡普及后可以看到,对于OD流量数据完全可以从公交一卡通中采集到相关的交通流量和流向数据,包括同一张卡每天的行走路线和换乘次数等详细信息.

全球10大数据库

- - 译言-电脑/网络/数码科技
原文: Fiorenttini   译者: julie20098. [非商业性转载必须注明译者julie20098和相关链接. ,否则视为侵权,追究转载责任. 世界气候数据中心:气候全球数据中心, 220TB 的网络数据, 6PB 的其它数据. 国家能源研究科学计算中心,有 2.8PB 容量.

大数据公司Amazon

- - 36氪 | 关注互联网创业
说到 Amazon,它通常给人的印象是一家典型的电商公司——创办于1995年,靠在线书籍销售业务起家,发展至今也已颇具规模. 近日,TechCrunch作者Alex Williams撰文称,Amazon其实并非一家贸易公司,而是一家大数据公司. 联想到Amazon CEO Jeff Bezos曾说过的一句话:“企业家应该愿意在很长一段时间内承受误解的目光.

谈大数据分析

- - 人月神话的BLOG
对于数据分析层,我们可以看到,其核心重点是针对海量数据形成一个分布式可弹性伸缩的,高查询性能的,支持标准sql语法的一个ODS库. 我们看到对于Hive,impala,InfoBright更多的都是解决这个层面的问题,即解决数据采集问题,解决采集后数据行列混合存储和压缩的问题,然后形成一个支撑标准sql预防的数据分析库.

大数据架构hadoop

- - CSDN博客云计算推荐文章
摘要:Admaster数据挖掘总监 随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求. 随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求.