基于数据物流服务思想的流域水环境监测数据交换与集成技术

李旭文，温香彩，沈红军，茅晶晶，郇洪江

(1.江苏省环境监测中心，江苏 南京 210036;2.中国环境监测总站，北京 100012)

·信息应用·

基于数据物流服务思想的流域水环境监测数据交换与集成技术

李旭文1，温香彩2，沈红军1，茅晶晶1，郇洪江1

(1.江苏省环境监测中心，江苏 南京 210036;2.中国环境监测总站，北京 100012)

提出了面向流域水生态监控预警的水环境信息完整性管理理念，分析了多源、多手段采集的流域水环境监测数据的交换与集成技术需求，重点针对中国环境监测部门流域监测断面管理存在的不足，提出了目录管理架构。基于数据物流服务思想，利用微软BizTalk平台和XML技术设计了支持多源水环境数据接入、可灵活配置并监控的水监测数据交换平台原型系统。在太湖流域示范区开展了示范应用，可加强流域水环境监测信息高效、快速、畅通的传输和交换，能大大提高水环境监测数据传输交换的及时性、安全性和准确性。

水环境监测信息完整性;数据物流服务;数据交换;集成;BizTalk;XML

流域水环境生态系统具有极其复杂的内部特征，生态驱动因子复杂且相互交织和因果关联。水环境与生态管理正在朝基于水生态功能分区、分级、分类、分时段的思想演变，这一趋势要求能够有序归集、科学组织、高度共享流域水环境的多学科、多因子、多手段、长时间序列的水环境监测信息，以便对流域水生态完整性进行科学的评价和监控预警。因此，应研究建立科学的流域水生态环境信息完整性保障机制和技术支撑能力，发展基于生命系统生命周期式信息管理、信息云服务的思想及技术方法来组织、集成和共享水环境信息，把散布在各部门(机构)、单一化、局部化的流域水环境数据资料，按时间进程、地理空间、业务关联等主题主线严密重组、集成与融合，成为反映历史、过程变化、现状格局，并揭示未来演化的综合性、完整性信息，成为对流域水生态环境问题进行诊断、监控的科学依据［1］。随着流域生态环境监管要求多部门步调一致、形成合力，生态测、管、控一体化成为必然趋势，应研究和构建满足多部门异构水生态环境数据集成与交换的公共服务平台技术，保证传输安全、信息无缝交换、数据共享，为流域水环境信息完整性建设提供坚实的支撑。

水环境监测数据是目前水环境与生态问题评价最为核心、也最为重要的信息，在流域水环境监测数据集成与共享应用系统中，监测断面(测点)的数据如何可靠、安全、完整、及时地交换到上级环境监测部门，其他行业的水环境监测数据以及水环境质量关联数据(如气象、水文、社会经济统计数据)如何定期或持续地汇集到流域水环境监测信息共享平台，都是系统设计的重点目标。基于数据物流服务思想的流域水环境监测数据交换与集成技术，可为各涉水部门提交自身产生数据、共享协作方监测数据提供有力的支持。

1 数据交换需求分析

1.1 环境监测部门数据集成需求

1.1.1 监测断面目录化管理及监测数据交换

经过近30年的发展，中国环境监测部门在流域水环境监测信息管理方面积累了丰富的经验，在水环境监测数据采集、审核、传输上报、综合分析评价等方面基本上形成了较完备的业务化流程和环境质量评价方法体系。在监测数据的管理体系和应用级别方面，构建了国控、省控、市控等级别的监测断面(测点)业务网络。省级管理的水环境监测断面，既要完全包括本省域内的国控监测断面，还要包括省级自身需要加强监督监管的次级水系水网的监测断面;地方管理的水环境监测断面，既要包括上级下达的所有监测断面(直接和间接上级监测部门，直至监测总站)，也要包括本级管理的小河支流上的监测断面。

环境监测部门传输水环境监测数据大多仍然通过简单的电子表格、文本文件或桌面ACCESS数据库上报文件，由此带来了一系列问题。一是数据表中的测站、断面、河流编码没有得到强制校验审核，缺填、乱码、数据奇异现象时有发生，数据规范性差，质量无法保证。尤其是测站代码和断面代码如果填报不准，则会导致监测数据发生跨越地域和流域错误，对流域水环境质量评价带来极大的困扰，甚至造成混乱。二是水环境监测数据传输的完整性得不到保障，手工方式传输上报监测数据由于工作人员专业能力水平、责任心等原因，有可能导致监测项目数据缺填、数据违反业务逻辑的问题。三是及时性不强，在上级监测报告制度规定的时限内不能及时上报数据，以致于难以开展水生态质量分析和监控预警，影响了为管理服务的时效。

基于断面目录化管理的数据交换平台将从手工传输操作为主转变为平台化的自动交换和严格的逻辑审核，对于数据交换平台而言，任何接入的前端都是水环境监测数据的生产系统。交换平台的核心任务就是把数据可靠快速地传送至目的地(目标应用系统、数据中心)，将数据交换系统与水环境监测其他业务系统相分离，成为可独立配置、管理和运行的水环境“数据物流”公共服务平台，实现水环境监测数据“速采、速审、速传、速用”，提高水环境监测数据管理能力。

1.1.2 多手段监测水环境数据的交换与集成需求

为了科学评价流域水环境健康状况，监测数据的类别既需要包括物理、化学指标，更应包括生物、底泥、生态类指标。在常规例行监测基础上，自动监测手段、卫星遥感监测手段的应用，使得流域水环境监测信息谱系更加多样，指标更加丰富，数据的时间和空间密度显著提高。因此更需要高效、可靠、安全、完整的数据交换与集成能力，使流域水环境监测信息在从宏观到微观的多尺度上关联、同化和集成，真正成为动态监视流域水生态健康的科学数据集群。

1.2 涉水部门水环境监测相关数据的集成需求

水环境监测信息主要来自环保部门的各级环境监测机构，同时水利、建设、卫生、农林、渔业等部门也开展了一定程度的水环境监测业务，积累了大量的水环境监测资料。很多水生态问题如蓝藻水华、湖泛、死鱼等现象与特定的气象气候条件密切相关，气象部门的数据也是众多水生态问题成因分析的关键数据。对于流域水环境与生态问题的分析而言，信息量越丰富，覆盖的部门越全面，就越有利于水环境与生态问题的深层次分析和深度挖掘、识别。开展涉水部门水环境相关数据的交换集成有益于流域生态完整性分析。

1.3 各类专项、非常规环境科研、环境调查性监测数据的集成需求

流域的各类专项监测、水环境科研监测工作，也布点采集了大量的数据，是常规监测的重要补充。长期以来，这些宝贵的数据资源由于缺少数据汇交归集机制，散落在各研究部门，没有充分发挥其应有的科学价值和史料价值，对于流域水环境问题演变分析及中长期生态影响分析而言，完成各种专项、科研、调查监测的数据集成十分有益于水环境问题演化规律的识别和解析，有利于找出不同时期、不同政策及管理措施主导下影响流域水生态的关键驱动因子。

2 水环境监测数据交换系统设计

现代物流服务(Logistics Service)是指物流供应方通过对运输、储存、装卸、搬运、包装、流通、加工、配送和信息管理等基本功能的组织与管理来满足客户物流需求的行为，这一思想在信息系统开发中逐渐得到重视。各专业信息系统专注于内部业务逻辑严密性和流程的实现，与外部的数据交互则借助公共的“数据物流服务”，不必考虑更多的数据向外部提交和共享的细节，减少与外部系统之间的耦合性，系统的安全性和稳定性大大提高，成本投入明显降低。基于流域水环境监测数据“物流式服务”的思想，以构建广泛适应、独立运行、平台化、可监控管理的水环境监测信息交换、管理框架体系为目标，利用微软的企业级数据交换及应用集成软件BizTalk产品，以太湖流域为示范区，通过流域水环境监测断面目录管理和基础信息同步机制，初步实现常熟—苏州—江苏省—中国环境监测总站纵向四级间的水环境监测数据交换架构，为例行监测、自动监测、重点水污染源在线监测数据的传输上报提供业务化应用示范。

水环境监测数据传输交换平台是基于成熟的BizTalk中间件技术，实现可靠消息服务，通过消息的异步方式集成各应用系统。同时在消息转换的过程中可以识别XML、文本文件、Office Excel文档等多种消息格式。大量基于各自业务流程的异构数据、水环境数据通过交换平台进行数据格式转换，交换到数据中心进行统一管理，实现水环境监测数据的共享(图1)。

在太湖流域开展了数据交换技术示范，首先利用VPN网关设备在Internet上建立了运行数据交换各节点的VPN网，在VPN网中采用Windows 2008的证书服务器技术，部署了一套准确反映全国环境监测业务层级关系的电子认证服务系统(CA)，为各级监测机构、内设部门、监测人员等对象提供准确的身份认证、角色、访问或操作权限管理，监测总站是CA服务器的根节点。

各级数据交换平台节点由交换桥接、前置交换、交换传输、交换中心管理等子系统组成，采用Windows 2003/2008 Server、SQL Server 2005/2008、FTP服务器以及Web服务器(可直接使用操作系统内置的IIS，包括了FTP和HTTP支持)为系统软件。

图1 流域水环境监测数据交换的技术实现机制

在数据交换平台中心服务器上部署微软的Biztalk 2009服务器软件、微软消息中间件以及微软应用和数据适配器，在各个交换节点部署相对应的适配器和消息中间件，数据适配器采用FTP、HTTP、平面文件(即结构化格式化的文本数据文件)、Web Service等多种成熟技术，本研究重点示范了基于FTP服务器的水环境监测数据交换。利用前置机实现中心平台(交换中心)与交换节点(前置机)之间的合理分离(部门业务职责分离、异构技术平台分离)和标准化交互(在中心和节点之间按照标准进行交互)，增加整个体系的可扩展性、可维护性、可推广性，将不同平台、不同架构和不同功能的业务部门的系统有机地连接起来，实现不同部门前置交换信息库之间安全、可靠、稳定、高效的信息交换传递系统［2，3］。

2.1 流域水环境监测断面目录管理架构

图2 流域水环境监测断面目录管理架构

水环境监测数据交换节点是严格对照年度水环境监测断面目录进行数据交换的，图2为流域水环境监测断面目录管理架构。在数据向上交换服务启动之前，应预先完成年度监测断面目录的初始化配置。其中，国控断面由总站维护，省控断面由省级监测站维护。在VPN网中设立了一个主节点，借助水环境监测信息共享系统CA平台的支持，负责统一管理和维护所有国控、省控、市控、县控监测断面目录信息，并以Web Service方式向所有的数据交换节点和水环境监测数据中心提供断面要素的目录服务信息。总站的国控断面管理员可在该节点新增、删除和修改国控断面编码以及基础属性信息，地方级别断面则由对应层级的断面管理员行使权限。这一管理架构十分切合流域水环境监测断面管理需求，在水环境监测信息集成、共享数据平台中能够确保监测断面编码的同步和一致。

2.2 数据交换流程

流域水环境监测数据交换流程见图3。在县级监测站，手工或自动监测数据平台产生的数据，对照断面目录，将应上报的数据送入数据交换节点。之后，县级交换节点与省辖市级交换节点自动完成数据交换的交互工作，不需额外的参与，自动按应上报断面完成数据的传输上报、纠错、重传等处理。在地市级站，下辖县级站数据从本级交换节点进入本级水环境监测数据中心，市级监测的断面数据也需入库。之后对照断面目录，将应报的国、省控数据送入本级数据交换平台，完成同省级数据交换节点的交互。

在水环境监测数据交换的过程中，可以实现必要的数据审核和传输统计功能，包括奇异值过滤和甄别、超限项目自动提醒等，构建数据交换平台的监控系统、记录下级站监测数据上报日志系统，实现环境监测数据传输交换质量的电子化考核能力。

2.3 基于XML的结构化数据映射

任何类型的水环境监测数据在进入交换平台之前，都应完成必要的数据结构化处理。XML技术是使水环境监测数据完成结构化的技术，大多数行业、部门对其产生的业务数据都制定了相应的数据标准规范，对业务数据项的信息分类、编码规则、数据类型、域值范围等进行了明确规定，因而各行业水环境监测及相关数据的结构化程度较好，便于在数据交换平台上完成数据的映射，只要进行简单的数据类型转换、拆分、重组等处理，建立基于XML的数据架构定义(XML Schema)，就能完成数据映射。例如，《水质数据库表结构与标识符规定》(SL 325—2005)给出了水利部门水质监测数据结构描述。对于水专项各课题中需要集成到水环境监测信息共享平台的研究性监测数据，则应由课题实施单位对其数据成果编制结构描述文档，以便于建立数据XML Schema。

对于结构化程度较低甚至非结构化的数据，如文本、多媒体信息，可以采用数据内容封装的方式完成结构化处理，再通过数据交换平台传输。

图3 对照监测断面目录的水环境监测数据交换体系和流程

2.4 数据交换的普适性、配置和监控

流域水环境数据交换平台的功能十分灵活且强大，不受限于行业和层级，也不受限于数据的来源、类型和内容。平台化运行的数据交换系统与其他任何水环境管理业务系统是业务逻辑相隔离的松散耦合关系，相对独立运行，只发生数据接入、数据路由、数据传出、数据安全保障关系，没有也不必关注数据如何采集、数据的物理意义、数据如何统计分析评价、数据如何展现这些专业角度负责的问题。根据数据交换的时效性要求，可以针对性地设置交换优先级。例如，水质异常时的超标报警信息可以更高的优先级即时传输，体现了先进的数据“物流服务”的思想。

流域水环境数据交换平台的灵活性表现为:通过简便的数据映射和交换配置，任何结构化数据记录，均能以XML方式在数据交换平台上传输到目的地的数据接收和应用系统，如上级环境数据中心、环境科学研究单位、监测站。此外，数据交换的过程可得到监控，有助于发现交换过程的性能问题、效率问题，更合理地调整和优化数据交换平台的参数设置。

3 结语

建立流域水环境监测信息采集交换与安全技术体系，充分研究数据传输网络、业务流程、网络安全等方面涉及的关键技术。一方面有利于实现涉水环境监测数据的动态管理，规范水环境监测数据的采集、传输、交换与审核流程，确保数据的及时性、完整性与准确性;另一方面实现统一的水环境监测数据采集交换系统与安全保障体系，实现多数据源、多层级、多部门间的水环境监测数据信息交换、共享与安全。

基于平台化的、数据物流服务思想的流域水环境监测数据交换平台，是高效、全面集成各路、各学科、各行业、各级别监测业务相关单位的流域水环境相关信息的关键支撑平台。它以数据基于XML的结构化为前提，专注于流域水环境数据的准确交换和“搬运”，与具体的流域水环境数据中心、专业的水环境质量综合分析平台、决策支持系统在整体架构上进行功能的逻辑隔离，减少依赖性和高耦合性，但又达到整体上基于网络的分布式集成运行能力、支撑保障能力，可更好地适应不断增多的异构、多源水环境监测信息集成与共享的需要，确保数据的精准和全面的服务能力。

［1］ 刘鹏.云计算［M］.北京:电子工业出版社，2010.

［2］ 戴文娟，王晓峰.基于XML和BizTalk数据集成平台的设计与构建［J］.计算机技术与发展，2008，18(10):162-165.

［3］ 王振宇，罗晓菁.基于MS BizTalk服务器实现数据集成［J］.计算机工程与设计，2010，28(10):2435-2438.

River Basin Water Environmental Monitoring Data Interchange and Integration Technology Based on Data Logistics Service

LI Xu-wen1，WEN Xiang-cai2，SHEN Hong-jun1，MAO Jing-jing1，HUAN Hong-jiang1
(1.Jiangsu Provincial Environmental Monitoring Center，Nanjing，Jiangsu 210036，China;2.The China National Environmental Monitoring Center，Beijing 100012，China)

Introduced the concept of water environmental information integrity management to meet river basin aquatic ecology integrity monitoring and vigilance.Analyzed the requirements for heterogeneous，multi-means water environment monitoring data interchange and integration.Specifically，a catalog management scheme was investigated to better support water quality sampling sites inventory.Based on Data Logistics Service concept，a prototype data interchange and integration system was developed on Microsoft BizTalk Server platform with XML technique，and was pilot-studied in Taihu Lake water system.It was shown that general-purpose data interchange platform could significantly improve the timeliness，security and authenticity.

water environment monitoring;information integrity;data logistics service;data interchange;integration;BizTalk;XML

X84

A

1674-6732(2011)-05-0026-05

10.3969/j.issn.1674-6732.2011.05.008

2011-04-18;

2011-05-17

国家水体污染控制与治理科技重大专项项目(2009ZX07527-004)。

李旭文(1966—)，男，研究员级高工，硕士，从事环境信息系统、环境遥感应用、生态监测工作。