重庆环境数据中心发展规划与思考

2013-10-15 06:07刘海涵
环境与可持续发展 2013年4期
关键词:重庆市数据中心环境

刘海涵

(重庆市环境保护信息中心,重庆 401147)

近年来,重庆市环保局经过多年的信息化建设,已开发了多个计算机管理系统和数据库系统,并积累了大量的基础数据。然而,丰富的数据资源由于建设时期不同、开发部门不同、使用设备不同、技术发展阶段不同和能力水平的不同等,数据存储管理极为分散,形成了“信息孤岛”。同时造成了过量的数据冗余和数据不一致性,使得数据资源难于查询访问,管理层无法获得有效的决策数据支持。建立环境数据中心可通过对现有的数据资源和处理流程进行综合分析,以信息资源规划为标准,通过数据层面的整理提炼,将分散在各个“信息孤岛”中的有效信息资源,形成完善的数据中心系统,全面支持数据共享、统一管理和分析决策[1]。

1 概况

1.1 研究现状

随着我国电子政务建设的不断推进,越来越多的应用系统投入使用,政府需要存储和共享的数据越来越多,应用于电子政务方面的数据中心应运而生。

目前,我国广州、上海、厦门等地的数据中心建设起步较早,发展也相对领先。厦门采用的是自上而下的方法构建数据中心,通过高层推动、中下层执行的方式进行,目前已经建成了“公共服务一卡通”;广州则采用的是“自下而上”的建设思路,执行从基层入手、高层协调建设方针,能充分发挥基层的积极主动性去发掘业务数据及高层的协调能力去共享数据;而上海则采用“一体化”的建设方针,打破传统的自建自管的思想观念,借助第三方建设和管理支撑平台,各单位都是应用终端,与已建的市级系统实现衔接,打通业务流程,实现跨部门协同[2]。

通过以上对电子政务数据中心现状的研究,我们可以看到数据中心技术的发展日新月异,综合技术支撑能力越来越强,这些先进的经验和技术对于各类数据库系统的升级和改造提供了良好的契机。重庆市环境数据中心需要解决的核心问题就是如何将各种先进的信息技术应用于数据中心建设,整合现有分散数据,以改变现有工作方式、实现业务协同,提高环境管理工作效率。

1.2 已有基础

目前,重庆市环保局已经构建了市、区两级环境保护网络平台、信息共享平台和社会服务平台等信息化基础设施,建设了环境保护基础数据库、行政审批和12369投诉及环境风险管理、环境质量监测等业务应用系统,实现了环境保护信息资源集中管理,向公众提供环境信息,为提升环境管理水平和科学决策提供有效的信息技术支持。到2010年,已建成县级网络平台,并延伸至乡镇街道,借助电子政务网扩大互联范围,支持协同办公,完善了网络和信息系统的安全体系和标准体系,扩建了环境保护基础数据库,完善业务应用系统和扩大应用范围,提供了网上申报等信息服务。

但是随着各项环保事业的不断发展,重庆市目前的信息化现状已经不能完全满足业务发展的需求。主要原因是信息化应用的构建主要围绕着业务的流程展开,应用的构建多是自下而上构建,主要以满足某个领域或某个部门的业务功能为主。这样就形成了“信息孤岛”,只能获得片面的信息,而不是全局的单一视图。

1.3 差距分析

重庆市环保局历来重视信息化工作,并根据国家环保部和重庆市政府的要求进行建设,具备了一定程度的信息化基础能力,但与国内其他环境信息化先进水平相比,仍存在一定差距。

1.3.1 信息化建设缺乏统筹规划和整体架构设计

环境信息化建设整体上缺乏总体架构的指导和约束,各部门在具体的工作流程管理、技术方法的采用、采集的数据认可、监察和管理等工作的计划和时间安排等方面差异很大,各部门业务信息系统相互之间在数据结构、网络传输、功能设计、服务整合等方面缺乏内在的有机联系,各系统零散地搭建在一起。随着各项业务对信息化依赖程度的不断提高,各系统势必各自扩展升级,这为应用系统的整合、未来信息资源的共享化方面带来一定的风险和问题。

1.3.2 信息资源分散

目前重庆市环保局已建成一期基础数据库、物种资源调查数据库等为主要内容的基础库建设工作,但各系统基于自行采集、自行使用的状态,尚未建立起一体化的数据收集、分析、处理、利用的共享系统,致使信息资源跨部门的交流困难。

1.3.3 基础设施不够完备

重庆市数据中心建设基础设施方面还存在一些不足。首先没有制定数据库标准、应用程序开发标准、信息共享接口标准、信息交换标准等一系列技术标准规范。其次针对内部网络安全的管理系统和设施缺乏,同时没有第三方的安全与认证以及没有完备的备份和灾难恢复措施。

1.3.4 开发应用水平不高

一直以来,重庆市环境信息工作仍停留在部门级应用的开发水平上,随着环境管理业务的不断发展,从宏观上对信息资源的加工分析提出了更高的要求。但是现有的环境信息开发应用水平仍难以满足不断增长的管理工作需要。

1.3.5 信息资源尚未得到有效开发利用和共享

目前,由于各部门管理业务的信息化建设工作常常是各自为政、分头立项、部门封锁、信息不通、人力物力资源严重浪费等一系列问题,使市环境保护局环境数据和信息资源的来源渠道不畅,环境管理应用系统相对独立,“信息孤岛”现象严重,难以实现环境信息资源的有效开发利用和共享,成为重庆市环境信息化建设的重大瓶颈。

2 环境数据中心规划

2.1 业务需求分析

重庆市环保局的主要业务包含污染预防、污染管理、污染监督、环境监测预警、综合管理等五大业务域,每个业务域下又可划分为若干业务线,包括环评审批、排污申报、排污许可、环境质量监测、污染源监测等。这几大主要业务域以及业务域内部的业务线,并不是孤立存在的,许多业务之间(尤其是与污染相关的业务之间)存在着协同。此外,市局和区县业务之间也有着一定的关联。

业务之间的协同必然会带来业务之间数据共享的需求。从业务办理层面,存在许多跨业务、跨部门的数据共享需求。进一步,在领导决策层面,更需要综合各方面的数据进行统筹分析。因此,需要将各类数据整合起来,统一管理,共享使用。

2.2 规划目标

重庆市数据中心整体规划目标为:以数据服务为核心,全面建设、充分应用环保数据资源,为环保精细化管理、规范化服务和科学化决策提供信息支撑。实现环境保护数据资源“四个看得见”和“四个能分析”。即:污染排放看得见、环境质量看得见、环境风险看得见、业务绩效看得见;污染状况与趋势能分析、环境质量趋势能分析、环境风险能分析、规划决策能分析。同时,实现与环保部、区县环保局和市级部门间的数据共享交换。

2.3 环境数据中心规划设计

重庆环境数据中心的定位是:

(1)作为环境信息资源数据的存储中心,存储环境信息基础性、全局性的信息库。

(2)作为环境信息资源数据的管理服务中心,满足各种数据应用的需求,实现可信环保信息的随需获取。

(3)作为环境信息资源数据的交换中心,负责系统内各部门间,上下级单位,环保局与其它单位和公众的信息共享交换。

(4)作为环境管理的决策支持中心,进行数据组织、建模,提供数据服务产品。

为满足业务协同、数据共享的需求,统一建设重庆环境数据中心,对孤立分散的业务数据进行整合,进而实现对业务应用的整合。重庆数据中心的总体架构设计如图1所示。

重庆环境数据中心在标准规范体系和安全管理体系的基础上建设基础设施层、数据管理层、数据服务层和数据应用层。

2.3.1 基础设施层

基础设施包括网络及软硬件设备、安全管理及数据应用相关软件等,为数据中心的搭建提供物理环境和功能支撑。

2.3.2 数据管理层

数据管理层是数据中心的核心资产所在,来自不同业务系统及手工采集的数据通过数据交换平台进入中心数据库缓冲层,在元数据的指导下,逐层构建起数据仓库,并在此基础上形成数据资源目录。其中,根据外部跨域共享数据的需求,映射交换出一部分放在前置交换库,作为共享交换的数据资源。

数据管理层解决数据资源的存储和管理问题,并在规则限定下与外界实现数据交换。其中,数据中心的数据根据格式可划分为结构化数据、空间数据和文档数据三大类,在使用相应的平台进行存储和管理的基础上,需在数据资源层提供统一的关联和服务管理,使不同的数据类型对上端用户透明,无需分别访问不同的平台获取不同的数据。

图1 总体架构图

2.3.3 数据服务层

数据服务层是数据资源与上端应用和展现之间的媒介,将数据封装为服务对外提供访问,既是上层易用性的需要,也是下层数据安全的需要。数据服务层分为主要针对市局内部系统和用户提供服务的数据服务共享平台和主要针对外部相关单位和人员提供服务的跨域前置交换服务平台,后者同时也是外部数据进入环保数据中心数据资源层的一个中介。

环保数据中心提供的数据服务分为通用服务、公共服务组件和专题服务三大类,其中,前两者主要面向应用系统开发,而后者则主要面向门户展现提供服务。三类服务在元数据管理支撑下形成统一的数据服务目录,并通过企业服务总线进行服务的注册和路由,最终实现数据的共享。

(1)通用服务

通用服务是基于数据资源本身提供的服务,是对数据资源访问的封装,与具体环保业务无关。

(2)公共服务组件

公共服务组件是指在环保多项业务中公用、常用的数据服务,将这类服务固化为组件的形式,能供不同的业务应用系统调用,可避免在多个系统中重复建设。

(3)专题服务

45专题服务又分为通用专题服务和业务专题服务两大类。通用专题服务包括综合查询、GIS平台综合服务、文档中心综合服务等。业务专题服务则是指在特定的环保业务中需要用到的数据服务,具有较强的针对性和专业性。

2.3.4 数据应用层

应用层搭建在数据服务之上,包括应用系统和门户展现两大部分。未来市环保局及区县环保局各项新建应用中涉及其它业务数据的访问和共享都将基于数据中心完成,不允许系统之间直接调用。门户展现包括元数据的查询发布及数据的综合展现。门户通过单点登录和统一认证,作为未来环保数据与应用集成的综合门户。

3 关键业务能力

3.1 联合监管、数据共享能力

通过重庆市环境数据中心的建设,利用统一的信息标准和技术规范,打破目前重庆市环境信息化建设中“重保密轻共享”的局面,建立“信息孤岛”之间的关联。同时,基于污染源“一源一档”、业务分析报表和专题分析页面等建设内容,形成了数据共享体系,真正实现重庆市环境保护系统数据共享机制的可持续运转。利用覆盖重庆市整个环境系统的共享数据,支撑各个环保业务流程的电子化和自动化过程,满足污染源联合监管、环境应急事件处理以及日常业务办理工作中的全方位数据需求,节约数据查找时间,有助于提高环保部门的工作效率[3]。

3.2 环境管理的快速响应能力

通过建立重庆市环境数据中心,提高环境监测数据分析的自动化程度。基于云计算、移动物联网等先进的信息化技术,从数量庞大的污染源企业、分布范围广泛的饮用水水源保护地和自然保护区、水网密集的河流湖泊、人口密集的城市中,快速划分环境管理的重点区域、锁定污染事故源头,提高重庆市环境管理的快速响应能力。通过数据加工服务能力的提升,从数据预警到问题源头查找,从锁定源头到原因分析,从分析问题到制定解决方案,利用多方位的数据加工服务,及时响应重庆市多变的环境管理需求。同时将各种信息组织成更容易理解和利用的方式,面向领导、工作人员及公众进行发布,有助于提高环境监管能力、重大环境灾害的预警防治能力和公共服务能力。

3.3 分析决策的数据支持能力

通过建立重庆市环境数据中心,挖掘数据的潜在价值,提升环境信息资源的开发利用水平,提高环境管理的工作成效。通过对数据的深层分析应用,可为重庆市寻找出新的、有引导意义的环境业务管理模式,驱动环境业务的优化和发展。通过数据的深层次应用,驱动重庆环境管理业务不断地创新,满足日益升级的环境管理要求,实现环境质量的改善。同时通过对重庆市各项环保政策的预测与分析,深入探索政策潜在的影响和结果,对环保业务规划和发展策略的制定提供科学的依据,减少政策的风险,扩大政策影响范围,最终实现利用信息驱动环保业务优化,达到提高分析决策的数据支撑能力的目的。

4 关键技术

重庆环境数据中心应采用先进的信息化技术进行规划和建设,包括SOA架构、Web Service服务、数据仓库技术、ETL技术等等,统一管理重庆市环保局各种环保业务信息。重庆环境数据中心的技术架构设计如图2所示。

图2 技术架构图

4.1 SOA面向服务的体系结构

环保数据中心的建设是一项大型和复杂的系统工程,需要实现多个应用系统的集成,各个应用系统之间需要进行数据交换和整合,因此每个子系统的设计应该遵循面向服务的体系结构,使各个子系统之间可以完整地集成在一起。

面向服务的体系结构(SOA)表示如何合理的使用Web服务。Web服务规范定义了实现服务以及与它们的交互所需要的细节。面向服务的体系结构(SOA)是一种用于构建分布式系统的方法,采用SOA这种方法构建的分布式应用程序可以将功能作为服务交付给终端用户,也可以构建其他的服务。面向服务的体系结构(SOA)可以基于 Web服务,也可使用其他的技术来代替。在使用面向服务的体系结构(SOA)设计分布式应用程序时,可以将Web服务的使用从简单的客户端-服务器模型扩展成任意复杂的系统。

4.2 Web Service技术

Web Service技术是目前软件开发领域中最为先进的技术之一。Web Services,以一种松散的服务捆绑集合形式,能够快速、低代价地开发、发布、发现和动态绑定应用。Web Services可以实现应用程序之间的函数或方法级的集成。

4.3 基于XML的数据交换规范

XML(eXtensible Markup Language,可扩展置标语言)是一种数据交换格式,允许在不同的系统或应用程序之间交换数据,通过一种网络化的处理机构来遍历数据,每个网络节点存储或处理数据并且将结果传输给相邻的节点。它是一组用于设计数据格式和结构的规则和方法,易于生成便于不同的计算机和应用程序读取的数据文件。

4.4 基于ETL过程实现数据的有效整合

ETL过程是环保数据中心建设的关键步骤,利用ETL工具实现各业务的异构数据库系统和文本、电子表格等文件系统格式的数据整合和集成,并针对具体的每个分系统编写具体的数据转换代码,来一起完成从原始数据采集、错误数据清理、异构数据整合、数据结构转换、数据转储和数据定期刷新的全部过程。

4.5 基于数据仓库技术的建模机制

环境数据中心已经集成了相对丰富的各类环境业务数据,这些业务系统大多是OLTP系统(联机事务处理系统)。这些系统中积累了大量的历史环境数据,其中蕴含了许多重要的信息。如果能对这些环境历史数据进行分析和综合处理,就可以找到对业务管理至关重要的业务信息,从而帮助相关环境管理部门做出更加合理的决策。

4.6 GIS服务聚合

GIS服务聚合技术应用于GIS领域中,通过将不同类型、不同来源的服务通过标准化流程进行一体化整合,并通过统一的方式发布给GIS客户端,更好地将SOA跟GIS结合,满足GIS领域对业务敏捷的需求。采用服务聚合技术,服务的类型和来源就不再是有限的和单一的,这些服务按照某些标准协议(OGC/ISO中的WMS、WFS等,SuperMap IS/iServer Service Interfaces(REST/SOAP/Binary)等)将服务发布出来。

5 特色与优势

重庆环境数据中心具有如下的特色与优势:

5.1 以提高环境管理业务支撑能力为最终目标

重庆环境数据中心以提高环境管理业务支撑能力为最终目标,加快信息技术在环境建设及管理中的应用渗透,实现数据集中存放,减少资源浪费,提高了数据的一致性。在地理信息平台支撑的基础上,实现环境数据的综合利用分析,推动政府行政管理、环境监管能力的进一步提高,为宏观管理和科学决策提供支撑,全面提升环保管理能力、政府的执政能力。重庆市环保数据中心建成后,将成为数据和应用集成的核心平台,所有业务应用系统将在数据中心建立的统一标准体系之下实现共享和协同。

5.2 以数据为核心、多项信息资源大整合

重庆环境数据中心系统规划设计紧紧围绕着环境信息的管理和整合为主题,以结构化数据、空间数据及文档数据的整合为中心,采用先进的数据检索技术,数据访问技术和组建技术,将结构化数据、空间数据及文档数据进行标准化梳理,统一编码,统一编目,从而实现三种类型数据的统一管理和关联关系管理,使三种类型对上端用户透明,能够进行整合提供统一服务。最终实现对重庆环保业务中的大量结构化数据、空间数据和文档数据,以及主题数据、元数据的统一管理和服务。

5.3 充分考虑重庆直辖市特殊数据管理需求

重庆市环保局既有省级数据汇总和交换的需求,又有针对管理对象的数据直接应用需求。重庆环境数据中心规划充分考虑了重庆地方特色的专项数据管理需求,实现对污染源和环境质量的基础信息数据、建设项目基础数据等公共基本数据以及环保知识库数据、GIS空间基础数据等环保业务数据的管理与应用。同时,针对业务数据,按重庆环保核心业务数据的分类,如各类行政许可类数据,污染源监测类数据,污染管理类数据等进行分类管理与存储。另外,集成各部委及各省相关部门已有的信息数据,实现了跨部门的数据交换、共享和整合。

5.4 开放式体系结构确保系统可扩展性

为了使重庆环境数据中心达到伸缩性与可扩展性,在规划设计过程采用基于通用标准和想用户之所想的产品开发理念,采用面向对象的技术、利用事件驱动和封装的思想为应用软件提供接口,并广泛采用目前业界流行的、支持标准的Web Service技术、XML技术等,使得系统的可扩展性有根本的保障。

另外,重庆市环境保护局已采购文档管理产品、空间信息服务平台、数据整合工具、多维分析工具、统一接入工具、应用中间件、身份认证等多种软件平台产品,对于数据中心的核心技术能力建设起到了很好的支撑作用。重庆市环境数据中心在利用先进信息化技术的基础上,对各类平台产品进行整合,构建具有良好开放性、可扩展性的基础架构,并通过整合环保业务应用、各类环境基础数据、建成一个技术先进、应用广泛、性能完善、安全可靠、运行高效的环境信息服务平台。

6 总结与思考

环境数据中心的建立能大大提高环境数据的使用效率,最大限度地达到信息共享,为环境管理决策提供依据。要想解决环境信息化及数据管理中面临的问题,应对环境数据利用面临的挑战,建设环境数据中心是必由之路[4]。随着全社会对环境问题的日益关注,社会各部门和公众对环境数据共享与服务的需求也越来越迫切,建设重庆市数据中心,整理整合并共享各类环境数据,不仅是重庆市环境管理工作的需要,也是重庆市环境保护工作的必然要求。

环境数据中心的建设对于整个环保行业的管理效率的提升有着重要的作用和意义,想要系统全面的建设一个具有战略意义的环境数据中心,可从以下三个方面开始入手:一是必须理顺好环保单位各个部门之间的业务关联关系;二是考虑好如何能够使用权限管理来解决数据安全问题;三是处理好上下级数据中心的连接、共享、交换、存储等问题。

[1]朱丽.浅谈利用数据仓库技术构建环境数据中心[J].环境科学导刊,2008,27(3):89-91.

[2]彭振龙,莫斌姿.电子政务数据中心的顶层设计[J].泉州师范学院学报,2001,29(4):15-19.

[3]徐富春.环境信息技术应用与管理实践[M].北京:化学工业出版社,2005,9:261-337.

[4]田阳光,潘瑜,李媛,李曦.吉林省环境数据中心管理系统建设初探[J].四川环境,2011,01:143-146.

[5]梅桂友.把环境风险防治摆在“十二五”规划落实突出位置[J].环境与可持续发展,2012,37(3):48-51.

[6]刘立媛,李蔚.国外推进信息化建设经验对我国环境信息化建设的启示[J].环境与可持续发展,2012,37(5):51-54.

[7]黎莹,钟晓红,傅涛.我国环境服务业发展路径的思考[J].环境与可持续发展,2012,37(6):48-51.

[8]刘志全.我国“十二五”环境服务业发展需求与思路及重点工作[J].环境与可持续发展,2011,36(6):5-7.

猜你喜欢
重庆市数据中心环境
酒泉云计算大数据中心
重庆市光海养蜂场
重庆市光海养蜂场
长期锻炼创造体内抑癌环境
浅析数据中心空调节能发展趋势
一种用于自主学习的虚拟仿真环境
孕期远离容易致畸的环境
铸造辉煌
——重庆市大足区老年大学校歌
环境
基于云计算的交通运输数据中心实现与应用