数据整合技术在水路运政业务中的研究与应用

燕鹏飞，张厚保

（中国交通通信信息中心，北京 100011）

数据整合技术在水路运政业务中的研究与应用

燕鹏飞，张厚保

（中国交通通信信息中心，北京 100011）

本文主要从信息化的角度，在水路运政中进行数据整合技术的研究与应用。

水路运政；数据整合；提升

1 引言

在水运行业高投入、快发展和行业管理转型的双重变革环境下，水路运输业务不可避免的产生了一些问题，也为通过信息化手段进行改进提出了更高的要求和更好的机遇。具体而言，水路运政管理业务包括国内水路运输管理、国际水路运输管理、两岸水路运输管理等，而原有的业务系统存在很多不足。从业务层面看，各个业务系统相互独立，缺乏数据共享；从管理层面看，各个业务系统中存在数据不一致的情况，对决策的准确性造成影响；从信息使用层面看，大量的数据难以形成合力，无法发挥更大的效力。而这些通过分析，可以发现通过对数据处理方式的改变，是可以较好的解决的。

2 数据整合技术研究

2.1 基本概念

数据整合是共享或者合并来自于两个或者更多应用的数据，创建一个具有更多功能的应用的过程。数据整合在概念上根据不同的层次，存在系统整合、应用整合、存储整合、数据库整合等多种整合方式。在实际情况中，根据具体的需要，还有更多的类型，但都是从不同的角度实现数据整合的内涵和外延，通过这些方法，不断提高综合的信息建设。

2.2 技术选取

数据整合技术可以应用的很多，但是因为水路运政数据具有来源广泛、格式多样、业务复杂的特点，并且考虑到进行统一管理和标准化的迫切需要，所以经过详细的分析和研究，本文认为可以选用成熟的ETL和数据建模技术达到目的。

2.2.1 ETL

ETL（Extraction-Transformation-Loading）用来描述将数据从来源端经过抽取、转换、加载至目的端的过程，其基本的体系架构如图1所示。

图1 ETL体系架构图

由图1可知，ETL体系架构主要分为三个部分：

（1）核心组件：这部分是ETL的核心。数据抽取用来将数据从源端抽取出来，并分流到不同的目标。数据转换按照预设规则将抽取得到的数据进行转换，使得原本异构的数据格式可以统一起来。数据清洗负责处理冗余、残缺、错误、歧义、无效的数据，并将不符合要求的数据进行过滤。数据质量检查对源数据和清洗后的数据进行检查，并进行必要的验证，保证数据的一致性和正确性。最后数据加载将处理后的数据加载到目标中。ETL过程通常是自动化的，并且根据具体应用不同，数据清洗和质量检查并不是必须的，但其必须保持一个闭合的处理逻辑，以确保各个任务的执行有条不紊。

（2）ETL流程调度：这部分会对ETL处理过程进行更好的调度和监控。日志管理引擎记录调度中的过程日志、执行日志、时间日志等主要过程和异常信息，并可对日志进行操作。任务调度引擎对整个ETL过程进行调度，提供分段提交处理和自动提交处理功能。

（3）通用服务：这部分主要包括传输管理、服务管理、配置管理、规则管理以及组件监控、审核验证、异常管理、日志记录等服务。

2.2.2 数据建模

数据建模是一个用于定义和分析在组织的信息系统的范围内支持业务流程所需的数据要求的过程。因此，数据建模的过程需要专业建模工程师与业务人员和信息系统潜在用户的紧密合作。

图2 数据模型建立过程

由图2可知，整个过程可以分为5个部分：

（1）目标制定：通俗的讲就是明确业务人员想要实现的目标。

（2）数据处理：获取所需要的数据并进行必要的处理。

（3）变量处理：在搭建模型前，先要从业务逻辑和数据逻辑方面考虑选用哪些变量来建立模型。而在变量本身不适合直接拿来建模时，需要进行重构，以便于后续建模使用。

（4）模型搭建：建模的目标是为了解决实际问题，所以需要选择适合的算法，如果确定了算法以后，发现变量不满足要求，还需要重新回到变量处理这一步重新进行选择。算法确定后，根据不同的模型，需要调整参数。在算法和参数都选定以后，通过加载算法进行流程测试，如果算法不能满足需求，需要更换算法；如果测试结果还有提升空间则可以进一步优化参数。

（5）结果输出：当模型可以满足目标需求以后，就可以输出结果了。在输出之后，需要向业务人员确认模型是否解决了他们提出的问题，如果没有，则需要重新建立模型。

3 水路运政业务数据整合技术应用

在水运行业高投入、快发展和行业管理转型的变革环境下，水路运政业务也需要随之不断转变：包括增强行业管理的宏观调控能力，提升行政许可行政效能，提高水运市场监管水平等。可以促进这些改变的因素有很多，从信息化的角度来看，一是更多的掌握行业运行状况的信息，二是研发更新的适应业务工作的信息化处理工具，三是深入挖掘信息资源的潜在能力，从而更好地发挥辅助决策的支持作用。

可见，问题的核心在于对数据的利用方面，而数据整合技术的应用恰恰可以在很大程度上解决这些问题。

3.1 水路运政数据整合模型设计

在实际中，数据整合技术在包括银行、电信、金融等行业中都有很多成功的应用，对其整个运行系统的提升都起到了很好很正面的影响，并促进了决策水平的提高。而水路运政系统与上述行业相比，数据及业务复杂度都更小一些，再加上相关技术已经非常成熟，所以在水路运政系统中应用数据整合技术，非常具有建设和实施方面的可行性。依据水路运政业务特点，结合ETL及数据建模技术所设计的模型如图3所示。

图3 水路运政业务数据整合模型

模型说明：

（1）源系统：包括水路运政业务中的国内业务系统、国际业务系统、两岸业务系统等，这些系统构成了数据整合的源系统，也提供最终进行数据展现和数据应用的源数据。

（2）ETL过程：负责将各个分布的、异构的数据源中的数据抽取、转换、加载，成为数据建模和分析的基础。

（3）数据建模：将ETL处理后的数据通过建模进行分析，并进行模型测试，如果通过则可加载模型进行应用。

（4）展现：将数据来源、数据量、模型结果、研究方法以及需求背景和目的等内容整理并制作形成一份完整的报告展现出来。并且，数据的处理结果也可用于制作报表或者查询统计等用途。

3.2 水路运政系统总体架构

水路运政系统的建设紧密结合建设任务需求，充分考虑系统工作的实际条件和环境，确保了技术可行及功能适用，在设计上采用面向服务的设计思想和面向对象的开发方法，并通过分层体系结构提供各层之间的规范化接口，为系统的扩展提供有力的支撑。其总体架构如图4所示。

图4 水路运政系统总体架构

主要内容如下：

（1）基础设施平台：包括主机、存储、操作系统、数据库、中间件、公网、专网、安全技术等基础设施，从而保障系统建设的正常进行。

（2）应用支撑平台：包括组件管理、报表管理、业务流程管理及企业服务总线。组件管理平台用于各类组件的设计、开发、调试、部署、运行、维护和管控。报表工具用于设计及产生报表，并嵌入各业务系统功能中。业务流程管理平台用于各项业务流程的制定、执行、监控。企业服务总线用于高效的实现各系统之间的服务和信息的集成、共享和交换。

（3）数据整合平台：包括ETL和数据建模分析。ETL是承前启后的重要一步，负责将分布的、异构的数据源中的数据进行处理，从而为建模分析及应用提供高质量的数据基础。数据建模分析可以发现有用的信息、有建设性的结论，从而对决策的制定起到辅助作用。

（4）应用系统：包括申报审批、统计查询、数据归档等系统，为水路运政系统提供各类系统服务。

（5）共享服务平台：包括共享接口和信息调用功能，为系统中数据的共享和流转提供支持。

（6）门户：将水路运政系统中的各种内容和服务进行集成，并提供访问接口。

3.3 水路运政系统数据流程

水路运政系统的数据流程是描述系统中数据流转及处理的基本要求及说明，并反映出各类用户的职责和工作，其基本数据流程如图5所示。

此处按照不同的用户类型进行说明：

（1）系统用户：根据需要提供和取消资源，并进行字典管理、指标管理等。

（2）专业用户：确定所要达成的数据目标，采集所需的业务上报数据，并通过ETL及数据建模手段实现数据的处理及钻取，并对数据结果进行统计分析。

图5 水路运政系统数据流程

（3）核心管理用户：对系统处理的数据结果进行查询分析，并可对分析结果从事进一步的统计分析，从而保证决策的需要和准确性。

（4）企业用户：按照要求直接上报水路运政业务所需的业务申请信息和企业报表信息等。

（5）地方管理用户：上报辖区内水运企业的业务办理事项及相关汇总及报表数据。

（6）第三方用户：可以查看和导出系统发布的数据。

最终水路运政系统通过对数据的定义、采集、整合以及分析，提供更专业、更高质量的数据服务，从而达到对决策进行有效支持的作用。

4 结束语

本文通过对数据整合技术的研究，并结合业务发展现状，探讨了水路运政业务在这方面缺乏数据共享、准确性及不易形成合力等方面的问题。然后通过对ETL和数据建模等数据整合技术在水路运政业务中的应用，达到了预期的目标并提升了系统的服务能力。但同时，通过对水路运政业务的不断深入理解和挖掘，可以更清晰地发现，在通过数据整合技术将数据能力提升之后，业务的整合将是持续改进的关键。■

[1] 柏永斌，许利亚，冯震宇，黄爱军．基于XML和WebService的异构数据整合技术应用研究．电脑知识与技术，2009,5(8):1796-1797

[2] 钟华，冯文澜，谭红星，黄涛．面向数据集成的ETL系统设计与实现．计算机科学，2004,31(09):87-89

[3] 刘三满．基于ETL工具的数据集成和交换的研究．电脑开发与应用，2011,24(10):17-19

[4] 王方建．数据建模．北京 学出版社，2012

[5] 郑贤中，王乘．XML的数据建模及其应用．计算机工程，2003,29(05):35-36

Study on the Data Integration Technology and Its Application In Waterway Transportation and Administration Business

Yan Pengfei, Zhang Houbao
(China Transport Telecommunication & Information Center, Beijing, 100011)

The Article mainly makes a study on the data integration technology and its application in waterway transportation and administration business in the view of informationization.

Waterway transportation; Data integration; Enhancement

10.3969/J.ISSN.1672-7274.2016.08.007

TP392 文献标示码：A

1672-7274（2016）08-0027-04

燕鹏飞，男，1981年生，内蒙古乌兰察布市人，现任职于中国交通通信信息中心，研究方向为交通信息化。

张厚保，男，1989年生，河北邢台人，现任职于中国交通通信信息中心，研究方向为交通信息化。