基于CWM的广域物流系统平台建模

来源:用户上传      作者: 易正江 刘三军

　　摘要:在开发广域物流系统平台ETL的过程中,一个突出的问题就是元数据管理混乱,往往是开发前没有一个统一的标准、开发中不断变更,最后导致开发出的产品难以维护。针对这个问题,本文提出了基于CWM这个元数据标准来开发ETL的思想,在开发过程中,一切都以CWM元模型为依据进行设计和开发,彻底解决了元数据混乱的状况。
　　关键词:广域物流系统平台 数据仓库 元数据 CWM(公共仓库元模型)
　　
　　引言
　　数据仓库系统的架构大体可以分为三部分:后台是数据存储和计算引擎,前端是数据展现的用户界面,还有一部分就是数据转换抽取加载(ETL)。ETL包括三个方面的内容:Extraction(抽取)、Transformation(转换)和Loading(加载),它在数据仓库和业务系统之间搭建了一座桥梁,确保新的业务数据能源源不断地进入数据仓库,同时用户的分析和应用也能反应出最新的业务动态。虽然ETL在数据仓库架构的三部分中技术含量并不算最高,但其涉及到大量的业务逻辑和异构环境,因此在一般的数据仓库项中ETL部分往往是牵扯精力最多的。
　　
　　CWM的结构分析及包的选择
　　作为一种公共仓库元模型,CWM必须能够描述各种数据源和数据仓库目标的元数据,CWM本身就是一个非常复杂的系统。要想将CWM运用到实际的数据仓库系统中,必须提供易于实现的、小的、便于理解的包。为了达到上述目的,我们将CWM组织成了21个单独的包。每个包都含有与在数据仓库和业务智能领域中的特定部分相关的类、关联和约束。在21个包中,有20个包要求在实现中依赖于其它一个或多个包存在,唯一一个不需要其它包支持的包是CWM中最基本的部分:核心包。其它所有的包最终都依赖于这个包。
　　基于CWM开发广域物流系统平台ETL过程中,我们本着通用性的需求,在CWM中选择相应的元模型(包),建立满足需求的系统模型。实现和使用整个CWM元模型的一部分。这样的使用方式是CWM的一个设计原则所决定的。
　　CWM的这个基本的设计原则就是:位于某一层中的元模型只依赖于其下层中的元模型。这种结构使得各个实现可以只使用与其问题空间紧密相关的那部分CWM元模型,从而使得同层元模型或底层与高层元模型之间很少存在或者根本不存在包之间的藕合问题。这也就意味着一个特定的CWM元模型只依赖于块状图中位于它下方的包(不一定是下方所有的包),同时,这些包不依赖于同一层中的任何其他的包。
　　广域物流系统平台ETL的根本目的就是从分散的应用系统数据库中抽取数据加载到相应的主题数据库中,也就是说,数据目的格式都是二维关系表,数据源格式大多也是二维关系表。所以,在数据格式部分,只需要支持关系型数据库即可。这样,在资源层中,只需要包括关系包就可以了,关于其他格式的数据源我们将在后续工作中完成。另外,我们需要建立和关系型数据库管理系统的连接,所以,在基础层中,我们还要考虑软件部署包。
　　
　　广域物流系统平台ETL元数据特点
　　构建广域物流系统平台ETL元数据管理架构之前另一个需要进行重点考虑的便是广域物流系统平台ETL元数据的特点,这会影响架构师的决定。
　　广域物流系统平台ETL元数据来源并非单一,而存在多样性。设计广域物流系统平台ETL元数据管理架构时需要慎重考虑元数据的特点。至少现在看来,广域物流系统平台ETL元数据所具有的这些特点依然存在,对元数据管理架构的设计影响非常大。
　　
　　构建广域物流系统平台ETL元数据管理架构
　　广域物流系统平台ETL元数据管理架构目标不是为了元数据的交换与共享,而是要针对上述的ETL元数据特点,并结合典型的元数据管理架构模式实现以下功能:
　　(1)元数据捕获,具体为元数据的收集、分类和整理。
　　(2)元数据存储,具有易于扩展的元模型存储元数据。
　　(3)用户访问接口,提供元数据的创建、修改、删除和查询功能。
　　(4)支持元数据基本查询、数据谱系、数据质量保证和影响分析高级应用。
　　(5)安全管理。
　　广域物流系统平台ETL元数据管理架构是一种集中式元数据架构,其结构元素包括元数据源、集成处理、灵活的元模型、元数据库、前端应用与用户接口和系统管理。我们可以发现在CWM中,包含了ETL过程需要的方方面面的元数据模型,虽然这些元模型在细节上不足以描述具体的ETL过程,但是已经把ETL过程的大概框架描述出来,我们只需要在这些元模型的基础上,补充一些和ETL过程相关的细节方面的内容,就可以完成对ETL过程的建模。
　　
　　结束语
　　本系统这种设计思想可以带来两个方面的效果:其一,使得系统建模部分实现了快速建模,CWM己经为我们的系统完成了大部分的建模工作,这有利于缩短我们整个ETL系统的开发周期。其二,由于ETL过程的建模是在CWM元模型的基础上进行的,所以,我们开发的系统中描述ETL过程所使用的元数据对象和CWM模型中的对象之间存在着对应关系。有利于广域物流系统平台ETL和其他数据仓库工具之间进行直接的元数据交换,节省了开发元数据桥的费用。
　　
　　参考文献:
　　[1] John Poole,Dan Chang,彭蓉,刘进译.公共仓库元模型[M].机械工业出版社,2004:1-13,413-429
　　[2] 那英朝,邓苏等.数据仓库元数据管理研究[J].计算机工程,2003,29:8-10
　　[3] 雷琦,宁洪.基于CWM的元数据管理系统的研究[J].计算机科学,2004, 26(5):52-54
　　[4] 毛禹忠,张迪.Internet数据库技术及现代物流管理信息系统[J].商业研究,2004,12:047
　　
　　作者简介:
　　1.通信作者:易正江(1972年9月),男,江西萍乡人,工程硕士,讲师,研究方向为:电子商务
　　2.刘三军(1975 年12月),男,河南焦作人,工程硕士,讲师,研究方向为:软件开发

转载注明来源:https://www.xzbu.com/5/view-1373945.htm