数据集成在上海地震应急处置平台中的应用研究

丁睿

摘 要 目前在全国范围内运行的中国地震应急指挥系统，与一些发达国家高度集成的应急救援响应系统相比，功能单一，各类地震监测数据并未集成到地震应急指挥系统中，综合防震减灾各方面工作的应急处置集成平台尚未形成。因此，在上海地震应急处置集成平台建设的研究项目中，异构地震数据集成是关键和基础。针对地震行业数据的特点，论文采用数据仓库和基于中间件两种不同方法对地震异构数据集成进行了分析，并以中国地震行业关键业务测震JOPENS系统为例，进行了基于中间件的异构数据无缝迁移。

关键词 地震应急；异构数据集成；数据仓库；中间件；数据迁移

中图分类号 TP3 文献标识码 A 文章编号 1674-6708（2016）172-0078-03

我国防震减灾的三大工作体系由监测预报、震灾防御和应急救援组成。其中应急救援的作用是最大限度减少因地震造成的人员伤亡和财产损失，保持社会稳定。“十五”起，地震应急指挥系统在全国范围内开展建设，在震后快速响应、救援辅助决策、产品服务等方面发挥了积极作用。但是，地震应急指挥系统与实时观测类的系统，诸如测震、前兆、强震等相互独立，动态地震监测数据和静态历史背景数据在地震应急处置这一综合性工作中不能有效融合，共享应用，防震减灾的工作体系之间相对独立。相比之下，有些多震国家，如美国、日本、意大利等已建立了相对完善的综合性地震应急处置与响应平台[ 1 ]。这些系统的共同特点是集成了多源异构监测和背景静态数据，融合了动态评估、快速响应处置和辅助指挥决策等应用，机构横向协同互联，形成高度集中，信息丰富的应急处置大平台。相比之下，我国地震应急指挥系统则显得数据种类少，应用产出单一，实际保障能力较弱。因此，建立一套整合防震减灾各业务系统的集成应急处置平台，为政府进行抗震救灾快速响应和决策提供科学依据，已成为我国地震行业面临的重要战略课题。

上海市地震应急处置平台是在“十五”地震应急指挥系统的基础上，参考国外成功案例的研究项目。旨在是搭建一个综合处置平台，实现各类地震异构数据和不同地震业务系统的有效集成。其中，异构地震数据集成是整个项目的基础和关键。本文主要研究地震异构业务数据的集成方法，并设计一种适合实时监测数据的整合方案。

1 地震应急处置中异构数据的集成

地震数据有着不同于其他行业的特性。地震应急处置中同时需要动态实时监测数据和静态历史背景数据。因此，研究不同的集成方法，才能比较得出适合地震应急平台数据集成的方案。

1.1 地震行业的数据分析

在地震观测与科学研究中，需要采集不同类型的数据。上海地震监测三大台网（微震、强震、前兆）遍布上海及长三角地区近百个观测点，7×24小时实时数据流；长期地震科研工作积累了大量的地震目录、震情灾情和分析会商数据；同时，震害防御、应急救援业务部门拥有地理信息、人口、经济、建筑、地震构造、潜在震源、地震动区划等地震背景数据。基于这些实时、背景数据上所做的地震监测预报、地震活动性分析、震害趋势判断、震害防御安全性评估和应急救援决策等工作又会产生不同种类的结果数据。

地震科学数据的异构性主要体现在系统层面和数据格式及内容层面上。前者主要是相异数据源的硬件平台，操作系统和数据库管理系统的异构。后者是不同学科的数据均有自己严格的数据定义和规范，其数据库具有高度自治性。在震后72小时黄金救援时间内，需要多角度，综合各学科数据结果来分析与决策，进行应急处置工作。所以，数据集成在地震应急处置平添中的应用非常必要。

1.2 异构数据的集成方法

异构数据集成，就是将不同来源、格式、特点的数据在逻辑或物理上进行有效集中，并提供统一的表示、管理和存储。常用两种集成方法：物化法和虚拟视图法。物化法是一种物理集成模式，抽取出所有数据源中的数据，在数据仓库中用全局模式存储；虚拟视图法采用中间件技术，用统一的全局模型来访问各种异构数据源，用户对数据的操作不直接作用于数据源，而是通过中间件间接实现[ 2 ]。

1.3 异构地震数据集成方案的比较

根据地震科学数据的特点，分别采用数据仓库和基于中间件的方法进行异构数据集成方案设计，并比较其优劣。

1）基于数据仓库的集成方案。异构地震数据中存在城市地理信息、人口、经济、地震构造、地震动区划等，这是地震应急处置的静态背景数据。另外，测震、强震、前兆三大实时台网积累了大量的历史数据。对于静态、历史的异构数据比较适合采用数据仓库的方式进行集成。

将源数据经过数据抽取、加工、转换（ETL），以一个全局模式存储到一个集成的数据库中，称为数据仓库。数据在模型和语法等方面的差异被消除，数据仓库可直接被访问。用户可以通过联机分析处理、数据挖掘等数据仓库的应用工具对其进行查询分析或知识挖掘。[3]基于数据仓库的地震异构数据集成框架如图1所示。

数据仓库适合对历史、静态的数据进行分析，可用于较长期的震情趋势判断和城市灾后重建等战略决策。但由于它不能反映实时震情，而地震灾害具有瞬间性和变化性。地震应急处置需要在震后最短时间内做出灾情判断和救援决策。相对静态背景数据而言，实时监测数据的集成与分析更为重要。所以，数据仓库集成方案不能完全满足地震应急处置的需要。

2）基于中间件的数据集成方案。测震、强震、前兆的实时监测数据分别用来快速定位震源、显示地震破坏程度和进行地震预报。因此，在地震应急时，实时数据快速、准确的获取与分析，从根本上决定应急对策的正误。采用基于中间件的数据集成方式，为地震应急处置提供实时震情和最新的数据资料。

数据集成中间件的作用是整合分布式异构数据，屏蔽数据源的异构性并使其使动态可扩展[4]。中间件的部署模式可以是分散或者集中。前者保持异构数据源位置不变，中间件平台提供唯一数据访问接口，屏蔽异构的源数据。这种模式优势在于构建灵活，扩展性强。后者是将异构数据源通过无缝迁移，集成到唯一的健壮稳定的高可用环境下。这种模式的优势在于集成后的数据获取快速、精准。

根据地震应急处置的实际情况，基于中间件的集成方式较适合实时观测异构数据整合。数据集中存储的集成方式。将测震、前兆、强震异构数据通过无缝迁移，整合到核心监测数据库中。集成前各业务数据独立运行、存储和管理，系统利用率低，能耗大，维护成本高。

集成后采用高性能的数据服务器和大型商用数据库管理，统一存储备份，节能高效。基于中间件的地震实时易购观测数据集成架构参见图2所示。

对于既有静态背景数据又有动态监测数据的地震应急处置平台，数据仓库和基于中间件两种异构数据集成方式各有优劣。然而，从地震应急的时效性考虑，实时观测数据的集成与分析更为重要。所以本文重点研究基于中间件异构地震观测数据的整合。

2 基于中间件的异构数据无缝迁移

将目前数据存储环境较差的异构监测数据整合到稳定、高可用的数据环境下是所有业务数据集成的前提。针对全国数字测震台网通用的JOPENS系统，基于MetaMatrix中间件，实现MySQL数据库到oracle数据库的异构数据无缝迁移。

2.1 测震JOPENS系统的现状分析

测震JOPENS系统，是一套能够实现地震台网数据实施传输处理并对地震进行自动速报的系统。自2006年广东省地震局推出该系统的1.0版本以来，经过不断的升级改造，JOPENS系统在2015年已经更新至6.0版本。JOPENS系统具有地震速报、编目和数据服务功能，实现区域地震台网与中国地震系统采用开源的MySQL数据库作为数据持久化存储，包括地震事件数据、地震目录、震相，台站信息以及海量的地震波形数据。考虑到在地震应急处置平台中，数据库管理的统一化将有效提升数据共享交换效率，希望能将JOPES系统的MySQL数据库整合到稳定、高可用的Oracle核心业务数据库中

2.2 基于MetaMatrix的异构数据整合应用

测震JOPENS系统的异构数据无缝迁移，基于红帽MetaMatrix中间件，分为3个不同阶段来实现。

2.2.1 JOPENS持久层无缝迁移的中间件基础

测震JOPENS系统是防震减灾体系的核心系统，处理观测点数据采集器7×24小时的实时数据。因此，对于JOPENS系统持久层的数据迁移必须是一个无缝、平滑的操作，数据不能间断。设计的迁移过程，需要有Oracle和MySQL两种数据库并行协作，用户层的数据处理工作可以基于异构数据库进行，屏蔽掉底层存储的异构分布。数据整合基于红帽MetaMatrix中间件，作为一款功能强大的数据平台，MateMatix能整合各种异构数据源的访问，转换原始数据和需求数据的语义差别，并提供满足不同服务等级的性能要求[ 5 ]。

2.2.2 异构数据源无缝迁移的实现

地震监测核心JOPENS系统的异构数据无缝迁移过程分为3个阶段。

第一阶段：由中间件平台构建出双数据库协同工作模式，并行提供数据服务。

该阶段部署MetaMatrix数据服务平台，在其上对JOPENS数据的接口进行重新开发，在数据持久层建立Oralce数据模式。其目的在于用MateMatrix的统一数据访问接口取代原有的MySQL数据接口。原来应用的JDBC和JPA的数据访问服务由MateMatrix代理。为下一步进行的异构数据无缝迁移做好准备。

第二阶段：底层双数据库并行，数据持久层的功能重心转移。

本阶段旨在以应用层觉察不到的方式让Oracle承接数据库的功能。在MetaMatrix平台上重新配置测震实时波形数据的写入请求，数据流向Oracle数据库。同时，人机交互的数据请求分散到原来的MySQL数据库和新增的Oracle数据库。并且逐步让Oracle核心数据库逐步承接JOPENS的底层数据服务功能。原有MySQL数据库中部分数据变成只读，数据流程向Oracle数据库里逐步转移。JOPENS系统的基础数据采用ETL工具进行迁移。

第三阶段：数据源合并，Oracle数据库替代MySQL数据库承接持久层存储。

经过上一阶段的双数据库并行，数据服务功能转移，基础数据迁移，本阶段彻底停止MySQL数据库的服务，Oracle数据库成为JOPENS系统的底层数据管理。最后还需要将测震JOPENS系统中原有MySQL数据库中所有的历史连续波形数据和地震事件数据导入Oracle数据库，即完成了物理数据源的最终归一。

在本次对于JOPENS系统底层异构数据的无缝迁移，采用基于MetaMatrix中间件的数据集成方式，对于逻辑数据源和物理数据源有效隔离，整个迁移过程，地震实时监测，速报定位等工作从未发生过中断。

2.3 数据迁移整合中关键技术的应用

在地震应急处置平台中的数据集成，采用的是基于MetaMatrix中间件的异构数据整合。整个迁移过程包括两大关键技术，一是对于JOPENS系统的实时观测数据访问在数据持久层的切换；二是异构历史数据迁移以保证业务应用的完整性。

测震JOPENS系统底层数据持久层切换是将对原有Mysql数据库的访问切换到MetaMatrix平台提供的统一数据服务接口。JOPENS系统底层异构数据迁移的有效、平滑依托持久层的成功切换。这项技术的实施包括在部署的MetaMatrix平台上，设计MySQL和Oracle双数据库模式，通过配置的虚拟数据库，完成双数据库模式之间的转换。在对JOPENS系统应用层的关键模块，如流服务器、实时波形处理服务、速报定位与控制台等的配置文件，修改其数据服务连接信息，由对MySQL的数据访问改为对MetaMatrix统一数据接口访问。

历史异构数据迁移，需要首先分析被迁移数据的库表模式，数据质量，了解SQL语句、存储过程和函数等信息。然后选择合适的Oracle数据库类型，利用数据建模工具将DDL由MySQL数据库转换到Oracle数据库。最后，需要对迁移到核心Oracle观测数据库的历史数据进行内容和效能验证。采用脚本测试法，确保JOPENS系统的关键场景都能够正确运行。

3 结论

本文通过对地震业务数据的分析，比较了数据仓库与基于中间件两种不同的异构数据集成方法在地震应急处置中的应用，并对核心测震JOPENS系统的数据持久层，基于MetaMatrix中间件，进行了从MySQL到ORACLE的整合。由此，辅以应急背景基础数据的，核心观测数据库，将达成地震科学数据的有效共享，从而促进震后全面分析决策，科学高效地开展应急响应与救援决策。

参考文献

[1]帅向华，姜立新，王栋梁.国家地震应急指挥软件系统研究[J].自然灾害学报，2009，18（3）：99-104.

[2]Jin Qiang， Yong Li Guanyu， Zhang Jun. Development and present situation of heterogeneous data integration technology [J].Computer Engineering and Application， 2002， 113（11）：45-50.

[3]Jiawei Han， Micheline Cambers. Data Mining concepts and Techniques[M].北京：机械工业出版社，2008：67-96.

[4]Zhou S， Wang P.The integration of multi-source heterogeneous data based on middleware[J]. Information Science and Engineering （ICISE）， 2009 1st International Conference on p： 2213-2216；

[5]MetaMatrix Enterprise Data Services Platform[EB/ OL]. https：//www.jboss.com/products/platforms/ dataservices，2010.