【转载】主数据管理(MDM)与元数据管理 - bada130 - 博客园

标签: | 发表时间:2020-04-16 13:52 | 作者:
出处:https://www.cnblogs.com

主数据(Master Data)和元数据(Meta Data)是两个完全不同的概念。元数据是指表示数据的相关信息,比如数据定义等,而主数据是指实例数据,比如产品目录信息等。比如,某省地税开发了一套 征收管理软件,以市为单位部署了17套,每套征收管理软件中的元数据都是一样的,但是主数据还是需要进行管理的。主数据管理和传统数据仓库解决方案不是一 个概念,数据仓库会将各个业务系统的数据集中在一起在进行业务的分析,而主数据管理系统不会把所有数据都管理起来,只是把需要在各个系统间共享的主数据进 行采集和发布。相对于传统数据仓库解决方案的单向集成,主数据管理更注重将主数据的变化同步发布到各个关联的业务系统中(主数据管理数据是双向的)。

以下为常见的六 大数据形式:

  • 元数据:数据的数据,平时我们设计表时,大部分属性字段就是元数据。比如,性别,国籍,出生省份等。这个是最接近自然意义的的数据。
  • 引用数据:元数据的可能取值范围,我们设计表时所说的数据字典往往就是引用数据。比如,性别只能是男和女,男和女就是引用数据。国家的引用数据就是世界上这100多个国家和地区;
  • 主数据:在我们数据库设计中最重要的一些实体,是由元数据和引用数据实例的集合。DMReview 专栏作家 Jane Griffin 将主数据定义为“...用于为核心业务实体创建和维护全企业‘记录系统’,以记录业务交易并评定这些实体的业绩所需的信息。”平时我们常碰到的客户信息, 产品信息都属于主数据。对于主数据的介绍,我们会在后面详细展开说明。
  • 企业结构化数据:企业业务中所需的数据实体 ,可能是多个主数据的集合。不同行业的结构化数据会有很大不同。
  • 交易活动数据:主数据之间活动产生的数据。比如客户购买产品的交易记录就是交易活动数据,工厂生产产品,生产记录也是交易活动数据。
  • 交易审计数据:我们对数据的所有活动都通过交易审计数据进行记录。比如我们对客户信息修改的操作,对交易的增加和删除操作,这些活动在很多关键系统(比如银行)都需要记录,以合符相应法规的要求(如 Basel II、萨班斯—奥克斯利法案)。


下图中数据模型中的蓝色越深代表语义相关性越强和数据质量越重要,而黄色越深代表数据的数据数量越多、更新的频率越快、实时抓取的数据越快、数据的生命越短。下图可以看到,元数据的数据语义性最强,几乎不更新,数据量最少,生命周期最长。

 

主数据是企业应用系统中最基本的业务单元,下面是一段英文的原文:Master Data are the fundamental business data in the company, typically long-lived and used across multiple applications。Core Master Data are operational entities, supporting all fundamental business activity transactions being executed on this level. The Core Master data are common and shareable within the organization。

我觉得很好理解,比如一个产品系统,它处理的基本数据就是生产数据。HR系统处理的基本数据是雇员;CRM 系统是客户。一般来说核心主数据包含:Customers, Contracts, Suppliers, Distributors/Partners,Employees等等。另外,各个行业对于主数据的管理的需求和期望会有很大不同,因此行业经验对于主数 据管理也是很重要的。(注:能否直接理解为系统的基础数据就是主数据?这里一般不能这样理解,主数据一定是基础数据。但是如果该基础数据没有跨业务系统边界,往往不作为主数据。主数据的一个重点是跨越了业务流程边界,在诸多业务流程的不同阶段会使用到。)

主数据管理的概念

从 上面的介绍可以了解,主数据并不是什么新的概念,但为什么之前没有主数据管理的产品呢?其实,解释这个问题和解释数据集成出现的原因很类似。因为之前主数 据依附于各个单独的业务系统,比如HR, ERP,SCM,企业的网站,商业合作伙伴的系统都可能对某一个主数据有存储,比如某个产品。问题随之来了,如系统间数据编码不一致;数据的冗余;某些系 统数据的不完整。举个实际的例子,如果我们新建一个BI的系统,那么有可能我需要从生产系统,财务系统,物流系统,企业合作伙伴系统多个系统拿到一个完整 的关于主数据的信息。显然,需要一种解决方案,能够提供一个单一的主数据访问接口,以提高主数据访问的效率;为企业的市场、销售、客户关系管理等活动提供 可靠的数据,提高企业的敏捷性。(对问题分析的不够,提供单一完整视图仅仅是主数据的一个作用。另外重要作用包括数据质量管理,统一数据源头和编码体系,统一数据的创建申请和变更流程,实现数据的集中收集和分发等。)

主数据管理:主数据管理是数据管理的一种高级形式,它必须构建于ETL或者EII(Enterprise Information Integration)等技术之上,因此很多主数据管理平台本身就包含了数据抽取、数据加载、数据转换、数据质量管理、数据复制和数据同步等功能。也有 某些厂商把MDM作为数据集成产品的一个模块交付给客户。

相关 [数据管理 mdm 元数据] 推荐:

【转载】主数据管理(MDM)与元数据管理 - bada130 - 博客园

- -
主数据(Master Data)和元数据(Meta Data)是两个完全不同的概念. 元数据是指表示数据的相关信息,比如数据定义等,而主数据是指实例数据,比如产品目录信息等. 比如,某省地税开发了一套 征收管理软件,以市为单位部署了17套,每套征收管理软件中的元数据都是一样的,但是主数据还是需要进行管理的.

[原]数据仓库元数据管理

- - oycn2010的专栏
元数据管理, 简单的做就是EXCEL结合版本管理等传统工具管理, 专业点就用专门的元数据管理工具;. 数据字典--> 数据知识库. 业务元数据,技术元数据,管理元数据. 参照:SAP元数据管理平台:按业务(角色)分类,按技术类型分类(特征,关键值,DSO,InfoCube),数据流程图. 按照传统的定义,元数据(Metadata)是关于数据的数据.

元数据驱动的主数据管理平台

- - 人月神话的BLOG
前面谈MDM主数据管理的文章也比较多,本篇文章主要还是想谈下元数据驱动下的MDM主数据管理平台的核心构建思路. 因为对于一个MDM系统更多应该理解为结合了元数据驱动和建模,结合了流程引擎和ETL服务能力的一个快速开发和配置平台. 这个思路和原来我们谈到IBM-CQ变更和缺陷管理系统的构建思路完全是一致的.

数据仓库系列之元数据管理 - 简书

- -
    元数据(Meta Data),主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态. 一般会通过元数据资料库(Metadata Repository)来统一地存储和管理元数据,其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致. 元数据是数据仓库管理系统的重要组成部分,元数据管理是企业级数据仓库中的关键组件,贯穿了数据仓库的整个生命周期,使用元数据驱动数据仓库的开发,使数据仓库自动化,可视化.

iOS MDM开发流程

- - CSDN博客移动开发推荐文章
一年前曾参与过中石油的一个移动平台项目,实现了通过MDM对iOS设备进行管理. 由于苹果对于mdm这块的接口及开发流程只向几个合作伙伴进行了分享,并没有对具体实现的文档进行公开,所以这方面的资料非常少. 现在把实现的过程分享给大家,希望能对大家有所帮助. MDM的全称是Mobile Device Management,是企业IT 向移动互联网过渡的平台技术,帮助企业将IT管理能力从传统的 PC 延伸到移动设备甚至 移动应用APP.

Hadoop的数据管理

- - 技术改变世界 创新驱动中国 - 《程序员》官网
本文主要介绍Hadoop的数据管理,主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive. HDFS是分布式计算的存储基石,Hadoop分布式文件系统和其他分布式文件系统有很多类似的特性:. 对于整个集群有单一的命名空间;. 具有数据一致性,都适合一次写入多次读取的模型,客户端在文件没有被成功创建之前是无法看到文件存在的;.

Cue:移动个人数据管理

- - 天涯海阁|Web2.0Share
Greplin最近发布2.0版本,同时改名为Cue. 那让我们来看看Cue的前身Greplin. 一名19岁的以色列高中生毕业生Daniel Gross就开发了一款新的搜索引擎Greplin,这个搜索引擎在使用时需要获得用户授权,可以访问该用户的社交网站、微博、在线文档、购物记录等,从而帮助用户快速搜索出那些用普通搜索引擎无法找到的信息.

再谈主数据管理系统(9.23)

- - 人月神话的BLOG
对于MDM主数据管理在我前两年的博客文章中谈的比较多,由于MDM一直不是我们重点研发的一个产品,因此最近关注的并不太多,但是对于SOA或ESB的应标会经常遇到客户有MDM主数据管理的需求,因此对于主数据管理系统的建设再做下简单的说明. 基础层应该具备的两个关键功能-ETL和流程引擎. 对于主数据管理系统的基础层应该具备两个关键能力,一个是ETL,一个是流程引擎.

数据管理:表象之下、有容乃大

- - 技术改变世界 创新驱动中国 - 《程序员》官网
如果让数据管理市场的各类产品都凑到一起演奏一场打击乐,那么NoSQL无疑是鼓声最强的. 近两年随着消费型数据的急剧膨胀,NoSQL数据库在媒体和各种技术会议中也是风生水起,以至于参加这些会议时更多听到的是传统关系型数据库的“不是”. 尽管我们可以将这些消费型数据称为“金矿”,但它们毕竟不是铸好的金砖,关键信息还是继续保存在传统的商用数据库中.

谷歌将整合用户数据管理

- - Deutsche Welle: DW-WORLD.DE Top Stories
Google在本周二发表声明,表示其正在修订用户数据保护政策,以及更改其收集与使用用户资料的方式,提供更具个人化的搜寻结果和广告. 这一新的用户数据保护政策的将在今年3月1日正式施行,Google将在这一日期前通过邮件和各站点公告的方式通知其用户. 新的数据政策最大的改动是,Google将会整合现有的针对不同服务的超过70份的数据保护规定,并以一份统一政策替代.