基于ODI的高校数据交换与共享平台的设计与实现
作者 :  陈熙

  摘 要:针对高校多业务系统异构数据库的情况,应用数据集成的方法,设计了数据抽取和共享应用架构,详细分析了Oracle数据整合工具(ODI)。本文再结合高校实际情况,用ODI作为主要工具建立了数据交换和共享平台,从而使异构数据库间的信息同步和共享。
  关键词:数据集成;异构数据库;数据交换与共享
  中图分类号:TP311.52
  目前很多高校在信息化建设过程中存在着一些历史遗留问题,各个部门之间的业务系统在不同的数据库平台上运行,随着学校信息化建设步伐的加快,各个部门应用系统之间的连接却越来越紧密,信息标准化和数据的共享及交换问题则越来越迫切。本文主要通过建立某高校的数据交换与集成平台基础上,对高校内各子系统之间的数据交换和共享问题进行研究。主要的着眼点在数据的清洗、转换和抽取的实现方法,并提出了一种基于ODI的高校数据交换与共享平台的解决方案。
  1 基于ODI的高校数据交换与共享平台的设计
  高校数据交换与共享平台需要把分散于各个部门的数据抽取到本地,形成逻辑上的高度集成的数据共享和交换中心,然后再提供给上层的应用系统,因此平台设计的重点对平台架构进行准确的定位和分层,本文把数据共享与交换平台架构设计成三层:
  (1)数据源层。该层为共享数据库提供学校内各类基础数据,由学校各部处和院系现有的各种业务处理应用系统组成。
  (2)数据处理层。该层存放抽取后的公共数据集,在学校统一信息标准规范下,这些公共数据集用于向上层提供信息服务。
  (3)数据服务层。该层用于实现各种业务应用服务。
  2 基于ODI的高校数据交换与共享平台的实现
  本方案中我们利用ORACLE的产品Oracle Data Integrator(ODI)建立一个资料库,建立数据共享与交换平台,它定义了元数据、业务规则、约束,然后连接到可用的服务器,使用服务器端对代码进行执行,并将返回的结果和消息存储到资料库中。
  2.1 ODI集成方式
  (1)ODI主要有全量集成和增量集成两种方式。全量集成是每次将数据源上的所有数据一次性同步到目标库中;增量集成是每次只将业务系统上发生变化了的数据同步到目标库中。
  (2)ODI主要有实时集成和定期集成两种周期。所谓实时集成通过轮询数据源数据的变化,一旦发生变化即进行数据同步。定期集成又分为绝对时间集成和相对时间集成,绝对时间是指在某一固定时间点进行数据同步;相对时间指设定为每隔多长时间进行一次数据同步。
  2.2 ODI集成处理策略
  (1)关系型数据集成
  在做数据集成时,首先需要根据数据源的特点,分类为关系型数据库和非关系型数据库,再根据类型的不同进行数据集成。
  对于关系型数据库,按照常用数据库种类有以下几种:DB2、Oracle、Sql Server、Mysql等,在对这些数据库数据进行集成时,需要考虑ODI工具的特性和集成策略。
  (2)非关系型数据集成
  1)ODBC数据源。ODI工具可以通过ODBC来捕获数据源,这就保证了ODI工具集成非关系型数据,例如:.xls、.xlsx、.mdb和XML文件等。
  2)数据文件。ODI能够通过JDBC方式访问有格式的文本文件(flat files,如空格分割文件,逗号分割文件,固定长度文本文件),提供读取文本文件上行到数据库及从数据库下发数据文本文件的功能。
  3)其他数据文件。除了前面两种文件之外,数据集成过程当中还会有其他一些需求和文件集成,如本地图片文件、远程图片集成和Web Service数据发布等,这些文件的集成都可以通过开发的一些LKM来实现。
  2.3 解决方案
  (1)非关系型数据库集成的解决方案
  因为该学校物资系统采用的是单机版数据库,无法进行数据同步,因此可以使用ODI工具来对相关数据进行集成和整合。
  先将为Excel表格配置为ODBC数据源,对相应Excel文件中的每个sheet页进行配置,然后在ODI自身提供的档案数据库创建物资数据库db_Wuzi;然后创建逻辑架构,系统根据我们先前所选择的数据源类型(ODBC),将在Designer中插入一个新的Excel数据模型,最后执行开发好的接口,将Excel中的数据同步至Oracle中。
  (2)关系型数据库集成的解决方案
  我校每年需要对辅导员进行年度测评,但是进行测评的平台是单独开发的,数据没有与学校的公共数据平台进行集成,而且由于辅导员的变动较大,造成学生和辅导员的对应非常的混乱,这就需要使用共享平台进行数据同步。如图1所示。
  图1 辅导员数据同步图
  目前辅导员测评系统需要从公共数据库和教务系统获取的共享数据主要有:辅导员基本信息、班级信息等,其中辅导员基本信息是从人事管理系统同步而来,其余都是由教务学籍管理系统提供。通过建立表关联、将字段进行相应替代、过滤数据库的记录,从而实现数据集成。先将数据源表与目标表通过主键和外键进行关联;再将数据源表中的字段与目标表中的字段建立一对一映射关系;最后执行数据同步,将准确的数据集成过来。
  3 结束语
  高校数据交换与共享平台的建立是校园信息化过程中的重要一环,在不影响现有系统的基础下,对IT新技术进行分析并加以应用,构建符合高校现实情况的数据平台是当务之急。数据交换与共享平台将分散的数据定时提取、集中存放,提高了数据的共享性,加强了数据的安全性。本文分析了数据交换与共享平台在高校信息化建设过程中的重要意义,提出了应用ODI技术构建数据交换与共享平台的方案。
  参考文献:
  [1]张静.高校异构数据集成的分析与设计[J].科技经济市场,2010(07):3-5.
  [2]Oracle. Oracle Data Integrator User's Guide 10g Release 3(10.1.3),2009.
  [3]PDI_CHINA@LIVE.CN.使用PDI和Oracle CDC来实现Oracle数据库向其他数据库的数据同步[EB/OL].http//fedora.iteye.com/blog/506915,2009-11-29.
  作者简介:陈熙(1981-),女,工程师,硕士,研究方向:项目管理、软件工程和数据库技术。
  作者单位:首都经济贸易大学 教育技术中心,北京 100070