多源水利遥感数据的一体化管理机制研究

张 文 ，孟令奎 ，周 扬 ，赵 铭 ，涂振发 ，娄书荣

（1. 武汉大学遥感信息工程学院，湖北 武汉 430079；2. 北京北方数慧系统技术有限公司，北京 100080）

0 引言

为了更好地促进水利工作的效率和水平，遥感技术被引入到水利行业，并逐步得到认可和重视，应用日益广泛。我国的水利遥感部门从 20 世纪 80年代开始，就应用航天、航空遥感及卫星技术辅助开展水利工作，并将遥感技术逐步推广到旱涝灾情的监测，水质、水环境的动态监测，水利工程规划及水资源调查等各个领域，已发挥越来越关键的作用[1-2]。

随着国家对水利遥感工作的重视，遥感与水利的结合必将更加紧密。而遥感数据具有数据更新快、数据量海量、存储管理相对复杂等特点，面对不断增加的水利遥感获取手段，现有的管理方式已难以适应日益增长的数据管理与应用需求，迫切需要提升数据管理能力和效率，研究多源水利遥感数据的管理机制。

1 水利遥感数据的管理

1.1 水利遥感数据的特点

水利遥感数据是以遥感为数据的获取手段，综合地面、航空、航天和卫星遥感等多种技术手段，以地球表面为观测对象所获取的各种光学和数字影像数据。现阶段，水利遥感数据已经逐步形成以卫星遥感影像为主，其他遥感数据为辅，涵盖多源化、多光谱、多尺度和多时态遥感数据的数据集合。

水利遥感数据具有数据源多样，数据格式各异、海量及处理任务繁重，但数据处理产品的管理水平偏低，产品利用率较低等特点。许多水利遥感产品受到存储管理系统的局限，往往只能为小部分业务系统提供数据，使得大量经过处理的产品数据被闲置，造成数据资源的极大浪费。为了更好地利用水利遥感数据推动水利的发展，应当根据水利遥感数据的特点，结合水利业务需求，设计和建设合理的水利遥感数据管理系统。

1.2 水利遥感数据及产品的管理模式

水利遥感数据根据水利业务的应用需求进行处理后，所生成的产品包括矢量数字地图、遥感影像产品、水利相关的大量属性数据等，数据的类型较为复杂，数据量也很大。水利遥感数据及其处理产品的管理，是构建水利业务系统的重要数据支撑，直接影响水利业务系统的运行效率。因此，有效的数据存储管理模式，是水利遥感数据及其产品在水利行业中应用的重要保障。目前，水利遥感数据及产品的管理主要包括基于文件和数据库的 2 种管理模式[3-4]。

1.2.1 基于文件的管理模式

影像文件是水利遥感数据的基本单元，以文件为单位组织水利遥感数据，并通过多层文件目录的形式进行管理是传统的管理模式，目前仍在普遍使用中。基于文件的管理模式具有数据组织方式简单、访问便捷的特点，有利于维护数据的真实性。但是这种以文件为单位的管理模式存在着较大的安全隐患，容易发生数据泄漏或丢失。同时，基于文件的存储和组织模式本身不够灵活，提供数据的模式相对单一，不利于上层水利业务系统的应用和扩展。相对来说，基于文件的管理模式更适合于原始数据的管理，能够为各级处理产品的质量回溯提供可靠的数据源保障。但是，面对内容复杂、格式各异的各类加工和处理后的数据成果，文件管理则远远达不到要求。

1.2.2 基于数据库的管理模式

随着遥感在水利行业应用的不断普及，水利遥感数据及产品必将呈现出爆炸式增长的趋势。数据存储管理的安全性、访问的并发性和检索的高效性都成为水利遥感数据及产品管理和应用的极大挑战，数据库技术很好地解决了这些问题，是存储和管理水利遥感数据及产品的重要选择。数据库管理模式通过结构化的方式管理数据，支持数据块级的访问和检索。相对于文件管理模式，数据库模式更加易于扩展，能够灵活地为上层应用提供不同粒度和层次的数据服务，能更好地适应水利业务系统的发展需求。

在从文件管理模式向数据库管理模式的过渡中，还出现过文件－数据库混合管理模式，主要原理是利用数据库系统管理结构化和非结构化数据的元信息，采用文件模式管理非结构化的水利遥感影像等数据。尽管相比文件管理模式效率有所提高，但是采用文件模式管理水利遥感影像，难以解决数据的异构性和系统在安全性、并发访问、存取效率等方面的难题，因此并不普及。总的来说，基于数据库的管理模式不论是灵活性、安全性还是存取性能，都远远超越了文件系统，是水利遥感数据管理的必然发展方向。

2 多源水利遥感数据的管理机制

2.1 空间数据库引擎技术

水利遥感数据及产品是空间数据的一部分，除了结构化的属性信息，还包含大量半结构化、非结构化的空间数据，传统的数据库采用结构化的方式管理数据，难以直接实现对这些数据的管理。

空间数据库引擎是利用数据库进行空间数据管理的核心技术，位于应用程序和数据库管理系统之间，为各类空间数据在数据库系统中的输入和输出提供统一接口，是开放且基于标准的中间件技术[3-4]。空间数据库引擎主要提供空间数据的基本处理、存储、管理、检索和访问功能，是数据库系统的“空间”扩展模块。目前，市场上较为成熟的空间数据库引擎产品有很多，如 ArcSDE[5-7]，Oracle Spatial[8-10]等，可以说各有千秋。根据存取机理、系统结构、应用需求等方面的不同，不同的空间数据库引擎在具体的功能上存在着较大差异，但总的来说，都应具有以下特点：

1）支持海量数据管理。空间数据本身具有海量特性，作为空间数据与数据库系统之间的连接纽带，空间数据库引擎首先必须解决海量数据的存储和管理能力。

2）安全管理与并发控制。安全性和并发性是网络环境下数据管理的基本要求，空间数据库引擎必须解决数据的存取安全，保障多用户并发下的访问性能。

3）开放的数据模型。空间数据库引擎要保证多种异构的空间数据能够导入数据库，必须设计开放的数据模型，以支持异构数据的统一存储和管理。

2.2 基于空间数据库引擎的多源水利遥感数据一体化管理框架

空间数据库引擎技术为水利遥感数据及产品的数据库管理提供了技术保障，也使得多源水利遥感数据及产品的一体化管理成为可能。基于空间数据库引擎的多源水利遥感数据一体化管理框架如图 1所示。

空间数据库引擎可以在水利遥感数据业务处理、数据库管理和水利应用等系统之间建立桥梁。以开放的数据模型为支撑，空间数据库引擎向上层的水利遥感业务处理系统提供通用的数据存储接口，支持包括矢量、栅格和属性等多种类型的数据产品的存储需求。同时，空间数据库引擎能够屏蔽水利遥感数据产品的复杂性和异构性，向应用系统提供统一的访问接口。应用系统无需关心数据的格式、存储方式和位置，只需要向空间数据库引擎发出访问请求，系统自动根据请求对数据库中的数据进行检索，并将获得的结果以统一的方式返回。当水利应用系统有再处理的数据产生时，也可以将数据通过空间数据库引擎上传到数据库中管理，保证数据能被更多的应用访问和利用。

图1 基于空间数据库引擎的多源水利遥感数据一体化管理框架

3 多源水利遥感数据管理系统的开发与实现

结合水利遥感数据及产品的管理需求，以空间数据库引擎为核心，开发了面向 Oracle 数据库系统，支持多源水利遥感数据存储、检索和访问的数据管理系统。多源水利遥感数据管理系统采用 Visual Studio.Net 2005 为基本开发环境，基于 C# 语言开发。系统采用了 Client/Server 模式，支持对异构的水利遥感影像、数字地图，以及水利相关的属性数据等的一体化存储与管理。空间数据库引擎是服务器端的重要组件，主要支持多源水利遥感数据的存储、检索和访问，保证用户通过简单的用户界面操作就能够完成多源水利遥感数据的入库存储和访问、下载。

3.1 服务器端空间数据库引擎的设计

空间数据库引擎的设计主要借鉴 Oracle Spatial和 ArcSDE 的思想，同时考虑到水利业务的具体需求，形成栅格、矢量和属性 3 大数据管理模块，具体结构如图 2 所示。

图2 空间数据库引擎的结构图

3.1.1 栅格数据引擎

栅格数据的管理通过通用栅格数据模型实现，目前支持对 .bmp，.jpg，.tif 及 dem 数据的管理。其中，参考了 Oracle Spatial GeoRaster[9-10]的面向对象的思想，将每个栅格数据作为 1 个对象进行处理，并对数据模型的库表数量进行精简；存储策略上参考 ArcSDE 的方法，最终采用类似于 ArcSDE 并进行精简的“系统总表——栅格数据集——栅格数据块”的分层模式。

在入库的过程中，完成栅格金字塔的构建和数据分块存储，系统默认采用最邻近像元法实现金字塔的重采样。考虑到采用 128×128 的分块大小在存储空间利用率，存储、数据传输效率等方面综合效果最佳，系统选择 128×128 为默认的分块大小。分块和重采样的过程都利用并行机制进行处理，以提高系统的运行效率。栅格数据管理模块为水利遥感数据及其影像产品的管理提供了基本保障。

3.1.2 矢量数据引擎

矢量数据的管理通过通用矢量数据模型实现，目前主要支持 shpfile 和 dxf 数据的管理，并实现异构矢量数据的统一 KML（Keyhole 标记语言）输出。模型的设计主要借鉴 ArcSDE 的矢量数据模型。矢量数据文件的解析和入库过程通过并行机制进行处理，数据的输出能够支持基于图层的多文件数据输出。矢量数据管理功能为数字水利专题图的存储和管理提供支持。

3.1.3 属性数据引擎

考虑到水利遥感应用中存在着大量水利业务相关的属性数据，因此，空间数据库引擎的设计中保留了扩展的属性数据管理模块，支持通用数据库表的创建、删除、更新及表项的检索功能，支持面向水利属性数据的二次开发。

此外，为了保障数据的安全和系统的检索效率，在空间数据库引擎的设计中，还引入索引优化机制和双层的用户管理机制，这样有助于提升空间数据库引擎的存取管理性能。

3.2 客户端数据请求与浏览

客户端是数据浏览系统，数据浏览客户端向服务器发送数据请求，由服务器从数据库中直接取出请求的数据并返回给客户端，供用户浏览。数据浏览系统基于 OpenGL+ C# 开发，支持高效的影像及矢量数据的渲染和绘制。由于影像数据采用了分块存储及金字塔分层结构管理，矢量数据支持基于图层的管理和输出，同时客户端采用了高速缓存技术，因而能够提供高质量的浏览效果。影像数据会随着用户关注区域的缩小，不断调用更高分辨率的数据，为用户提供 1 种由粗到细的动态视觉效果，同时尽可能地减小数据传输量。为了满足用户在数据浏览过程中的编辑需要，客户端还能够支持对矢量要素的编辑。系统的客户端浏览效果如图 3 所示。

图3 系统的客户端实时浏览效果图

3.3 系统的运行效率

遥感影像数据是水利遥感数据及产品的主体，各级处理产品需要直接为不同的水利业务提供数据支持。同时，由于数据表现力丰富，能够真实反映地表的特征，正射遥感影像多作为水利应用系统的基础数据，在各种水利应用系统中普遍被作为底图使用。遥感影像数据本身数据量庞大，而且各级产品和新获取数据的更新相对矢量数据更加频繁，因此系统的性能主要取决于遥感影像数据的存取性能。

经过实际测试，系统的入库效率在影像分块大小为 64×64 和 128×128 的情况下，分别比 ArcSDE提高了 50% 和 30%。系统能够在 24 h 内，完成≥ 100 GB 数据的入库存储管理，这足以满足海量水利遥感数据的实时存储需求。同时，系统的数据出库效率明显优于 ArcSDE。在数据尺寸比较小的情况下相比 ArcSDE 效率提高了 15%～30%，随着数据尺寸的增大，入库效率较 ArcSDE 提高 30% 以上。在分块大小为 128×128 时，本系统的出库效率相比ArcSDE 进一步提高，平均提高幅度超过 50%，改进效率明显。

4 结语

针对水利行业中日益增长的遥感数据产品应用和管理需求，研究并提出了面向数据库的多源水利遥感数据的一体化管理机制，开发并实现了基于空间数据库引擎的多源水利遥感数据的一体化管理系统。该系统兼顾多种水利遥感数据及产品，能够同时满足栅格、矢量及属性等多源数据的管理需求，有效简化了多源数据的管理形式，将其统一采用空间数据库引擎和数据库技术进行管理，使得多源水利遥感数据的管理具有更好的灵活性、扩展性，也更易于维护和更新。经过系统测试，证明该系统具有良好的数据存取性能，能够为上层的水利应用提供可靠的数据保障。当然，目前系统仍然存在一些不足，需从以下 2 个方面进行改进：

1）目前，该数据管理系统主要面向 Oracle 数据库，作为通用的水利遥感数据管理平台，显然是不够的，因此，下一步的工作主要是面向多种常用数据库（包括 SQL Server 2000，SQL Server 2005，DB2 等）的扩展，使得空间数据库引擎能够屏蔽数据库系统的异构性，提供存储管理服务。

2）针对水利相关的属性数据，拓展属性数据引擎，保证整个系统能够结合水利业务实际情况，更好地满足水利遥感数据及产品的存储管理需求。

总之，遥感和水利业务的结合必将更加紧密，面向数据库为水利遥感数据及产品研究和开发适合的数据存储管理平台，是水利遥感发展的必然需求，也必将推动遥感在水利行业更多、更广、更深的应用。

[1]钟劭南. 水利遥感的应用现状与未来[J]. 中国航天，1999 (9): 8-12.

[2]路京选. 水利遥感应用技术研究进展回顾与展望[J]. 中国水利水电科学研究院学报，2008, 6 (3): 224-230.

[3]吴信才. 空间数据库[M]. 北京：科学出版社，2009: 92-114.

[4]孙忠华. 时空过程数据引擎[D]. 武汉：武汉大学，2004:3-10.

[5]Don Murray, Dale Lutz. ESRI's Spatial Database Engine[EB/OL]. [2011-01-05]. http://proceedings.esri.com/library/userconf/proc96/to100/pap094/p94.htm.

[6]Robert West. Understanding ArcSDE[M].USA: ESRI Press,2001: 2-51.

[7]夏凯. 主流空间数据库引擎技术分析和优化方法研究[D].杭州：浙江大学，2004: 24-37.

[8]黄成，丁琳，张保钢，等. Oracle GeoRaster 的数据存储研究及其与 ArcSDE 性能的对比[J]. 北京测绘，2007 (1):5-8.

[9]Chuck Murray, Dan Abugov, Nicole Alexander, et al. Oracle Spatial User's Guide and Reference 10g Release2 (10.2)[M].USA: Oracle Corporation, 2006: 27-197.

[10]Chuck Murray, Janet Blowney. Oracle Spatial GeoRaster 10g Release2 (10.2) [M]. USA: Oracle Corporation, 2006:3-17.