再谈主数据管理系统(9.23)

标签: SOA架构实施 | 发表时间:2019-09-23 08:45 | 作者:人月神话
出处:http://blog.sina.com.cn/cmmi

对于MDM主数据管理在我前两年的博客文章中谈的比较多,由于MDM一直不是我们重点研发的一个产品,因此最近关注的并不太多,但是对于SOA或ESB的应标会经常遇到客户有MDM主数据管理的需求,因此对于主数据管理系统的建设再做下简单的说明。

基础层应该具备的两个关键功能-ETL和流程引擎

对于主数据管理系统的基础层应该具备两个关键能力,一个是ETL,一个是流程引擎。

对于ETL主要完成存量数据的数据集成,在这个完成中重点又是完成数据的清洗后初始化入库。里面除了标准的ETL应该具备的数据抽取,清洗,数据转换,调度和任务管理能力外,最重要的就是数据清洗。实际上对于数据清洗很多时候靠标准的ETL工具的功能很难完成,基本还是需要自己编写相关的代码或脚本进行数据的清洗,比对,去重最终入库。对于数据完整性我们又可以理解为两个方面,一个是表内数据完整性,一个是表间数据完整性,表内数据包括了参考完整性和类似去重这种行间完整性检查。表间完整性主要是关联依赖类检查,表间业务规则约束类检查等。

流程引擎是另外一个主数据管理系统必须具备的功能,涉及到后续的主数据对象的申请创建,变更,废弃等一系列的流程都需要通过流程引擎来进行流程配置并完成。一个灵活的主数据平台既可以使用自己内置的流程引擎,也应该做到能够使用甲方标准的公共流程平台流程引擎能力。

应用层覆盖主数据全生命周期管理

应用层简单来说就是应该服务主数据的全生命周期管理。最开始就是主数据对象建模,一个灵活可扩展的主数据平台要做的就是模型全部可以动态创建出来,创建的主数据对象模型再生成为数据库对应的表对象。在数据建模的过程中同时完成数据对象属性定义,数据规则和完整性定义,数据存储,数据分发定义等多方面的内容。

数据建模完成后才应该进行主数据的内容管理,这本身有两种做法,一个就是类似完全的快速开发平台,表单界面间建模,规则建模全部包括,即基本不用写代码就可以完成一个主数据对象新增,变更功能的配置并挂接到具体的工作流引擎。另外一种做法就是主数据申请,变更功能还是代码开发,然后再挂接到具体的流程引擎。由于主数据在申请创建过程中往往涉及到复杂的业务规则处理,因此比较可行的方法还是自行开发相关的功能。

数据质量管理是主数据平台另外一个关键功能,即对于主数据进行数据检查和质量管控,这个一方面是在数据入库前就基于主数据建模设定好的业务规则和参考完整性规则进行数据质量检查,一个是在数据入库后再定期运行数据质量检查任务进行数据稽核。而定期运行数据检查任务也应该是一种灵活可配置的方式,即先定义好数据检查项和具体的检查规则,然后在定期运行检查任务,输出最终的检查结果报表。

数据分发和数据能力开放

一个主数据平台实际上我们看到关键是两点,一个是前期通过数据集成,数据内容管理等各种方式形成一个完整的主数据视图,第二点是将完整的主数据视图共享开放出去供其它业务系统使用。

完整的主数据视图的开放当前又存在两种方式,一种是提供主数据的查询服务接口能力,一种是对主数据信息,包括主数据新增和变更信息通过接口实时分发给各个业务系统。而第一种方式本身又存在两个子类型,一个是数据实时查询不落地,另外一种是数据定时查询增量同步落地。

注意在数据落地模式下,当前最好的方式还是数据分发,同时数据分发最好的方式又是通过消息中间件进行1对多实时分发处理。在这种模式可以最大限度的保证数据的实时性,同时又充分的利用了消息中间件异步实时,支持重试,充分解耦的技术能力。

另外,在采用数据查询方式的时候我们基本无法做多系统的主数据稽核操作,但是在采用数据分发模式的时候我们可以基于分发成功失败情况第一时间的进行数据稽核和跨系统数据完整性检查。这个也是采用数据分发模式带来的优势。当前业务系统间经常出现主数据不一致的情况,在采用数据分发集成模式下,至少主数据管理系统可以做出初步的分析和判断。

主数据系统和SOA的进一步自动化集成

这个在我前面谈主数据的文章也谈到过,可以做到主数据平台和SOA平台的进一步无缝集成。其中包括了如下一些关键的集成点。第一,对于主数据建模完成的对象,我们可以将该主数据对象通过配置的方式灵活的发布为一个主数据查询服务接口并注册到SOA平台;第二,对于主数据平台的新增或变更分发,我们可以灵活的配置将增量数据适配到哪个JMS接口或者哪个WS服务导入接口。

对于数据集成过程中,我们还可以配置自动化定时的去调用哪个WS服务接口,同时将采集到的数据适配并写入到主数据系统本地的数据库表。对于ETL调度任务,我也可以配置通过WS服务的方式进行自动化触发,类似Oracle ODI方式来实现ETL和WS服务接口的集成能力。

 

相关 [数据管理 系统] 推荐:

再谈主数据管理系统(9.23)

- - 人月神话的BLOG
对于MDM主数据管理在我前两年的博客文章中谈的比较多,由于MDM一直不是我们重点研发的一个产品,因此最近关注的并不太多,但是对于SOA或ESB的应标会经常遇到客户有MDM主数据管理的需求,因此对于主数据管理系统的建设再做下简单的说明. 基础层应该具备的两个关键功能-ETL和流程引擎. 对于主数据管理系统的基础层应该具备两个关键能力,一个是ETL,一个是流程引擎.

Hadoop的数据管理

- - 技术改变世界 创新驱动中国 - 《程序员》官网
本文主要介绍Hadoop的数据管理,主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive. HDFS是分布式计算的存储基石,Hadoop分布式文件系统和其他分布式文件系统有很多类似的特性:. 对于整个集群有单一的命名空间;. 具有数据一致性,都适合一次写入多次读取的模型,客户端在文件没有被成功创建之前是无法看到文件存在的;.

Cue:移动个人数据管理

- - 天涯海阁|Web2.0Share
Greplin最近发布2.0版本,同时改名为Cue. 那让我们来看看Cue的前身Greplin. 一名19岁的以色列高中生毕业生Daniel Gross就开发了一款新的搜索引擎Greplin,这个搜索引擎在使用时需要获得用户授权,可以访问该用户的社交网站、微博、在线文档、购物记录等,从而帮助用户快速搜索出那些用普通搜索引擎无法找到的信息.

[原]数据仓库元数据管理

- - oycn2010的专栏
元数据管理, 简单的做就是EXCEL结合版本管理等传统工具管理, 专业点就用专门的元数据管理工具;. 数据字典--> 数据知识库. 业务元数据,技术元数据,管理元数据. 参照:SAP元数据管理平台:按业务(角色)分类,按技术类型分类(特征,关键值,DSO,InfoCube),数据流程图. 按照传统的定义,元数据(Metadata)是关于数据的数据.

数据管理:表象之下、有容乃大

- - 技术改变世界 创新驱动中国 - 《程序员》官网
如果让数据管理市场的各类产品都凑到一起演奏一场打击乐,那么NoSQL无疑是鼓声最强的. 近两年随着消费型数据的急剧膨胀,NoSQL数据库在媒体和各种技术会议中也是风生水起,以至于参加这些会议时更多听到的是传统关系型数据库的“不是”. 尽管我们可以将这些消费型数据称为“金矿”,但它们毕竟不是铸好的金砖,关键信息还是继续保存在传统的商用数据库中.

谷歌将整合用户数据管理

- - Deutsche Welle: DW-WORLD.DE Top Stories
Google在本周二发表声明,表示其正在修订用户数据保护政策,以及更改其收集与使用用户资料的方式,提供更具个人化的搜寻结果和广告. 这一新的用户数据保护政策的将在今年3月1日正式施行,Google将在这一日期前通过邮件和各站点公告的方式通知其用户. 新的数据政策最大的改动是,Google将会整合现有的针对不同服务的超过70份的数据保护规定,并以一份统一政策替代.

元数据驱动的主数据管理平台

- - 人月神话的BLOG
前面谈MDM主数据管理的文章也比较多,本篇文章主要还是想谈下元数据驱动下的MDM主数据管理平台的核心构建思路. 因为对于一个MDM系统更多应该理解为结合了元数据驱动和建模,结合了流程引擎和ETL服务能力的一个快速开发和配置平台. 这个思路和原来我们谈到IBM-CQ变更和缺陷管理系统的构建思路完全是一致的.

MySQL的分层数据管理 无限级分类 设计与优化

- - CSDN博客数据库推荐文章
     最近做个一基于SQL的无限级分类的目录模块,在网上看到了这个文章,非常不错. 原文是: http://ftp.nchu.edu.tw/MySQL/tech-resources/articles/hierarchical-data.html.      在看下面的无限级分类优化之前,请大家先看看原文先哈.

Java Cache-EHCache系列之AA-Tree实现溢出到磁盘的数据管理

- - BlogJava-首页技术区
在EHCache中,如果设置了overflowToDisk属性,当Cache中的数据超过限制时,EHCache会根据配置的溢出算法(先进先出(FIFO)、最近最少使用算法(LRU)等),选择部分实例,将这些实例的数据写入到磁盘文件中临时存储,已减少内存的负担,当内存中的实例数减少(因为超时或手工移除)或某些实例被使用到时,又可以将这些写入磁盘的数据重新加载到内存中.

Nielsen:62%的中国广告商表示数据管理平台“非常重要”

- - 199IT互联网数据中心
        199IT原创编译.         根据2015年的调查,数据管理平台对中国营销人员来说已经成为关键.         ZenithOptimedia和Nielsen调查了中国广告商利用数据管理平台的情况. 1/4受访者表示数据管理平台是优先考虑事项,还有62%的广告商表示数据管理平台“非常重要”,只有15%的受访者认为数据管理平台是次重要的.