基于CWM的ETL元数据库系统模型的设计

CWM标准中ETL的元数据可分为以下三大块：有关数据对象的静态元数据、有关ETL步骤和映射过程的动态元数据以及ETL实例执行记录元数据。以上的元模型包类给出ETL过程管理元数据模型框架。在其基础上,通过适当的裁剪与扩展,并添加基本属性和附加属性,得到系统的元数据库模型 ^{[  11]}。 图1、 图2和 图3给出了ETL元数据库这三个部分的UML图。

	Figure Option
	图1 数据对象元数据UML模型

在 图1中,表对象是查询集对象的超类,查询集是表对象的一部分。由于表属于已命名列集（NamedColumnSet）,而查询集是没有名字的,CWM把它们都归类为Classifier的子类,这是基于整体元数据管理体系来考虑的。这一部分元数据模型对应于CWM标准中的关系型包。

	Figure Option
	图2 ETL步骤与映射过程元数据UML模型

在 图2中, CFM类表示一类非常特殊的转换映射关系。这种映射的一端是多个列,另一端是单列。在CFM类的属性中,“字段名”代表的是单列端,“Classifier列集”代表的是多列端,多列端的数据类型是一个对象,即数据对象元数据里面的Classifier类。CFM类中“是否为归并”属性是一个布尔数据类型,该属性逻辑若成立（归并）则映射规则为多列端到单列端,若不成立（拆分）则映射规则为单列端到多列端。这一部分元数据模型对应于CWM标准中的转换包。

	Figure Option
	图3 ETL实例执行记录元数据UML模型

在ETL执行过程中,有时需要查看ETL整个活动的执行是否正确,在这里将“TS优先级”作为ETL执行记录的一个属性。这一部分元数据对应于CWM标准中的仓库操作包。

图4用节点来代替各部分元数据中的类,用节点间的联系来表达三部分的集成逻辑关系。

	Figure Option
	图4 ETL元数据集成后的UML模型

（1）数据对象元数据与ETL过程元数据之间的关联发生在映射关系上。转换映射包中的CM（ClassifierMap）类的源表与目标表都是从关系型包中的Table类中而来,转换映射包中的FM（FeatureMap）类的源字段和目标字段来源于关系型包中的Column类。而转换映射包中的CFM类的列集与列则分别来自于关系型包中的QCS类和Column类。

（2）ETL过程元数据与ETL执行记录之间的关联。在TE表中,详细记录了每次ETL操作的执行情况,包括ETL活动编号、步骤编号、优先级、是否正在执行以及是否执行成功等。以转换活动类的TA编号属性与转换步骤类的TS编号从而使得TE与ETL过程模式元数据之间的关联性。

通过以上UML模型,可以得出实施元数据库的通用策略。每个类对应一个元数据表,相关的类间具有特定的联系,从而建立起面向ETL过程的元数据描述体系。

系统的构建从实施ETL元数据库模型开始,搭建描述某数据仓库ETL过程的系统架构 ^{[  12]}。但在具体实施时需结合具体情况分析,因它的属性往往还涉及到所用数据的粒度属性。如在电信部门,数据一般是按照某一月份和某本地网编号聚集,因此在ETL执行情况记录表里面必须加上这两个属性,以明确ETL实例执行情况所代表的时期和地方。

根据整个系统涉及到的数据,该系统结构依照ETL活动层——ETL元数据库层——ETL元数据系统分析功能层三层模式来构造。内部结构按照元数据库功能来划分,包括元数据库操作区和分析区。其中分析区包括ETL任务调度分析、主题性数据的数据流向图展示、数据问题溯源分析等,依照ETL的元数据库还可以进行更多的功能扩充,以便对数据仓库ETL过程进行多方位的管理。具体结构如 图5所示：

	Figure Option
	图5 ETL过程管理系统环境及结构

笔者根据某地区电信部门的集团上传任务中的“增值业务月数据分析”来设计文档和相关的源表、维表数据。按照上述模型建立元数据库,并录入相关“增值业务月数据分析”元数据,为每种元数据都赋予对应的业务描述。本文认为录入ETL元数据的执行者应该为ETL的设计人员。执行的步骤如下：

建立起模型对应的元数据库,一共8张表。分别是查询集表Query_ColSet、TA活动表Trans_Activity、TS步骤表Trans_Step、CM映射表Classifier_Map、FM映射表Feature_Map、CFM映射表Classifier_Feature_Map、TE执行记录表Trans_Execution以及更改预警记录表Modi_Metadata_Alarm_Info。

录入与该ETL整个活动有关的元数据,设置其编号为“TA001”,录入情况如 图6所示：

	Figure Option
	图6 ETL活动任务元数据录入情况

录入该ETL活动所包含的ETL步骤,按前面的描述该ETL活动共包含4个ETL步骤。录入情况如 图7所示：

	Figure Option
	图7 ETL活动步骤元数据录入情况

ETL活动的Trans_Step表新增了一个字段,OBJECT_ID。这个字段表示ETL步骤与数据库中的存储过程的对应关系。另外,ETL_S2与ETL_S3是同时进行的,所以它们的优先级是一样的,是该ETL活动中的第二个步骤。

录入每个步骤中表与表之间的具体映射过程描述。该描述存储在Classifier_Map表里。录入情况如 图8所示：

	Figure Option
	图8 表级映射元数据录入情况

可以看出每个ETL步骤中源表与目标表之间的对应关系。在ETL_S1步骤中,目标表是由三张源表整合得来;在ETL_S2和ETL_S3中,它们的目标表是相同的,并且从TM_ID字段中可以看出它们有一个源表F_2_JTSC_SERV_M的变换也是相同的,即TM04。

对于每个TM（Transformation Map）变换来说,它是字段级的多个映射关系的集合,这种映射关系可以是单字段与单字段间的FM（Feature Map）映射,也可以是单字段与多字段间的CFM（Classifier Feature Map）映射。同时,模型在这里得到扩展,增加维表映射关系。表中增加了D_QCS_ID\D_FEATURE_SOURCE与D_FEATURE_TARGET三个字段,分别表示维表的查询记录集编号、维表的源映射字段和目标映射字段。其中,查询记录集代表这样一类数据集合,它们没有被命名,属于表数据的一部分。查询记录集通过对表加入一定限制条件得到。以TM02变换为例,它在FM表、CFM表中的变化如 图9、 图10所示：

	Figure Option
	图9 字段级映射元数据录入情况

	Figure Option
	图10 列集-字段映射元数据录入情况

可以看到,以上包含维表信息的元数据描述是白盒映射。比起只描述源字段和目标字段的黑盒映射来说,它能够更清楚地表示出字段的转换关系,从而为数据溯源分析提供可靠保障。

此外,查询记录集的录入情况如 图11所示：

	Figure Option
	图11 列集元数据录入情况

在查询记录集里面,包含有记录集来源表、限制条件和条件描述等信息。在限制条件里面,select开头的可以看作是列限制条件,where开头的可以看作是行限制条件。这个限制条件字段可以改进成更加细化的描述,比如细化为两个字段,一个字段记录行限制条件,另一个字段记录列限制条件。但在该ETL案例中,因不涉及到行限制,因此没必要作此改进。该ETL活动中使用到查询记录集的情况有两种：作为FCM映射中的多列端;维表中映射所需的字段列。

记录ETL活动实例执行操作的TE（Trans_Execution）表的数据录入情况与其他ETL元数据的录入情况有所不同。由于它是记录ETL程序执行情况的,所以它的触发事件就是ETL程序的执行。因此,可在每个ETL程序中的开头添加向TE表插入实例记录的操作,在每个ETL程序末尾添加更新TE表对应实例记录的操作,以确保每次执行的情况都能全面地记录下来。

以展示ETL数据流向图为例,该部分功能的意义重在以全面清晰的方式向用户展示有关数据的ETL活动的所有元数据。最终用户在浏览分析数据时,系统用图形化的方式向用户展示分析数据的来源和流向。来源表和中间表以节点来表示,ETL每个步骤以有向箭头表示。如果用户想看到转换的具体过程,可以点击相关步骤,从而得到该步骤中字段级的映射关系。

当最终用户查看主题分析数据时,系统将绘制出该主题分析数据的来源与每步转换的描述。查询情况及图形展示界面如 图12所示：

	Figure Option
	图12 最终分析数据的数据流向图绘制