基于GIS技术的遥感测绘数据集成处理系统设计

2023-01-29 10:13陈天喜
经纬天地 2022年6期
关键词:实时性数据量时延

陈天喜

(福建亿力嘉禾信息科技有限公司,福建 福州 350100)

0.引言

随着遥感技术快速发展,遥感数据的应用范围不断扩大,而获取遥感数据的途径也逐渐增加。现阶段,在GIS技术的应用下,遥感数据的异构性提升较快,数据呈现出多尺度和多格式等特点,如何快速完成数据集成处理成为遥感数据应用的难点。文献[1]采用三维数据共享的方式,完成多方面数据集成系统的优化。从硬件方面安装转换器和中介器等多种设备,针对已经获取的三维数据,根据数据种类存储至不同数据库内。在硬件设备的作用下将信息调取出来,并完成数字化处理。这种数据集成处理方式增加了数据的共享维度,实现目标数据的数字化集成,但是该系统的实时性较差。文献[2]在设计系统整体结构时,将其划分为分布式三层体系:上层管理工作站用于数据透明访问,中间层包括查询、映射组件,进行传输数据,底层应用多个包装器,统一原始数据格式。该系统解决了数据之间的衔接的不足之处,但在实际应用中数据集成速度较慢。文献[3]利用Lab SQL数据库作为数据集成系统设计的核心环节,根据划分的逻辑层次设计系统架构,但这种设计方式使得系统没有可靠的并发任务调度。

本文利用不断发展的GIS技术,完成遥感测绘数据的集成处理系统设计。在基于GIS技术进行系统设计时,需要采用一些中间件技术辅助数据间的格式转换,以实现数据的集成和处理,并提升系统运行效率。

1.遥感测绘数据集成处理系统关键硬件设计

1.1 中介器设计

以GIS技术为基础获取的遥感数据,在集成过程中需要中介器实现数据的转换,从而确保数据集成效果。本文以XML的衍生技术为基础,通过以太网交换机、集线器等多种部件组成中介器[4-6]。中介器的应用确保了遥感数据的数据转换,并保证局部数据源之间相互独立,以中介器作为命令接收和发送的节点,从而提升数据集成处理效率。

1.2 封装器设计

在系统中包含数个独立的ESRI子封装器,共同构成封装器。其中,每一个封装器都负责一个相应的数据源,使得系统的数据源种类得以扩展。每一个封装器的构成都是以服务器为核心,通过函数调用遥感数据源内的数据,并将其传递至执行器进行后续操作。通过上述封装器的作用,辅助完成遥感测绘数据的处理。

2.遥感测绘数据集成处理系统软件设计

2.1 设计GIS数据集成模型

采用GIS技术设计综合集成模型,该技术以XML作为数据转换的重要工具,实现结构化数据集成。根据获取的遥感测绘数据,利用GIS技术将数据转换为三维模型,全方面地获取所需的信息,并将其存储至动态链接库之内,以便于后续集成处理。

在集成模型的设计中,中间件包含接口、驱动与核心三个主要部分。其中,利用接口规范和驱动程序设计设备配置库、采集函数库。而核心部分则是以监控子系统为基础获取数据,按照应用层的要求,更改监控子系统的命令。上层软件提出的命令传递至中间件后,可以将设备配置库内的信息读取出来,以便于对设备接口初始化处理。然后,利用数据采集函数在遥感数据中提取所需数据库,将其反馈至应用层,中间件的信息序列图如图1所示。

图1 中间件信息序列图

针对非结构化遥感测绘数据,通常以EXCEL表单或文件的形式进行存储。由于难以确定各类数据是否具有关键性,在应用中会根据应用层需求,提取遥感数据的关键信息并保存至XML文档。针对不同文件格式,制定不同的策略集成数据,并根据关键信息的所处位置,生成属性模板。因此,非结构化遥感数据的提取,需要依据关键属性提取的方式,将数据进行分类,并采用GIS技术将不同种类的遥感数据转换为同一格式,完成数据集成操作。

2.2 数据处理框架与结果展示

对于集成后的遥感测绘数据,采用基于负载的动态调度方法构建数据并行处理框架。利用心跳包分析子服务器负载状态,根据预先设定好的负载阈值,完成数据处理任务的分配。设计的数据并行处理框架以负载均衡算法为核心,为了明确节点配置和用户连接数,采用动态调度算法作为基础。在动态调度算法中最为常用的是加权最小连接法,由于多台服务器的处理能力大小不一,需要根据每个服务器的任务请求连接数量,获得负载情况。

遥感测绘数据集成处理系统应用后,通过ArcGIS软件生成数据处理的规则网格,从而完成数据的直接处理。应用Blower开发的WMS系统,将处理后的数据发布为WMS标准的可视化产品,在地图服务中将处理后的数据集成于GIS平台之内,提供数据和地图的服务。

3.系统测试

3.1 测试准备

为了保证数据集成处理系统在实际应用中性能良好,需要进行系统测试。利用无人机获取某一农业生产区域的遥感测绘数据,并将其作为系统测试数据。遥感测绘数据的获取如图2所示。

图2 获取遥感测绘数据

在数据获取过程中,首先需要依据农业生产区域实际范围确定无人机航线。检查航线的最高点重叠度情况,在保证不超过最大分辨率的情况下,抬高基准面确保航向符合要求。其中,最高处重叠度R与最小地面分辨率Q的计算式,如式(1)所示:

式(1)中,将基准面高程H减去最低点高程H1加上相对航高后的结果,与焦距θ的比值乘单像元的大小w,获得最小地面分辨率计算结果。最高处重叠度的计算则需要以航向重叠度C为基础,并结合最高点高程H2、基准面高程H、相对航高γ进行计算。根据式(1)和式(2)的计算结果,生成如图2(a)所示的像控点布设图,依靠无人机获取农业生产区域的遥感测绘数据,最终利用GIS空间技术生成如图2(c)所示的三维模型。

3.2 数据集成处理实时性测试

在系统测试过程中,分析系统集成数据实时性,并研究数据实时性随着数据量的变化情况,明确设计系统的应用稳定性。应用设计系统加载遥感测绘数据集,通过不同的数据量获取平均时耗与数据量变化关系,如图3所示。

图3 平均时耗与数据量关系图

通过上述系统实时性测试结果可知,数据集成处理的平均时延与单次处理数据量呈现反比例关系。在待处理数据量持续增长的情况下,系统的平均时延迅速减少,并且当数据量超过200条后,平均时耗变换开始平缓,并逐渐稳定。由于数据集成处理过程中,会触发数据抽取数据的更新,将抽取的数据发送至消息中介处完成数据转换和处理,转换过程中需要一个较为稳定的时间损耗,所以越小的数据量反而会使得系统的启动耗时更大。反而是数据量增大后,系统启动所需的时间在总消耗时间中的占比迅速减小,确保数据平均时延向真实化转变。文中设计的系统,在测试中产生的平均时延,从最初的3.42s开始降低,直至稳定在1s左右。系统测试结果表明,数据集成处理的时延保证在较小的范围内,可以达到实时集成数据的目的。

3.3 多任务并发数据集成处理测试

在测试过程中,将遥感测绘数据集划分为三个不同大小的集成处理任务,并根据集成处理的实时性分析,设置不同任务的优先级别,如表1所示。

表1 并发任务优先级

多任务并发数据集成处理测试过程中,在数据集成系统测试时,设置同一时刻同时执行两个任务,一共完成4个实验组测试。首先不设置任务优先级,直接开始数据集成处理,获取图4所示数据集成处理的平均时延对比。

图4 未调度数据集成处理平均时延对比

由图4可知:三个任务的数据集成处理时间均有很大变化,并不稳定。这种数据集成处理效果无法保证实时性。由于三个数据集成任务同时进行,但是系统设置中只能同时完成两个,每一次的数据集成处理均为随机进行。这种处理方式使得数据集成处理毫无规则,造成平均延迟较高,系统执行效率较低。

采用数据并行调度的方式设置优先级,并对比两种集成数据的实时性。统计集成数据平均时间延迟,测试结果如图5所示。

图5 %调度后数据集成处理平均时延对比

从图5的数据集成处理平均时延对比可知,文中系统设计过程中,融入了GIS数据集成模型和数据并行调度处理技术,使得系统执行效率大幅提升。由于任务1优先级最高,任务3优先级最低,所以文中系统在应用中会优先集成处理任务2和任务3数据,最后处理任务1。可知:任务2和任务3的数据集成处理拥有较强的实时性,但是任务1的平均时延较高。综合来看,文中设计的系统使得数据集成处理执行效率提升了35%。确保遥感测绘数据可以得到及时处理,有效应用于其他领域。

4.结束语

在现代社会发展中,遥感测绘数据的应用开始深入各个领域。而数据的集成处理更是成为当前面临的最大问题。文中采用GIS技术,进行数据集成处理研究。依靠现有的数据集成技术,结合当前遥感测绘数据获取和应用的需求,设计一个新的遥感测绘数据集成处理系统。数据集成处理作为数据分析应用的基础,可以为后续的数据应用提供较好的支撑。文中设计的系统在测试中显示出良好的实时性,将系统应用的执行效率提升了35%。但是,遥感测绘数据的集成处理依旧存在一些不足之处,未来可以针对GIS技术在数据集成方面的应用进行深入研究。

猜你喜欢
实时性数据量时延
基于大数据量的初至层析成像算法优化
高刷新率不容易显示器需求与接口标准带宽
5G承载网部署满足uRLLC业务时延要求的研究
宽带信号采集与大数据量传输系统设计与研究
基于GCC-nearest时延估计的室内声源定位
航空电子AFDX与AVB传输实时性抗干扰对比
计算机控制系统实时性的提高策略
SDN网络中受时延和容量限制的多控制器均衡部署
简化的基于时延线性拟合的宽带测向算法
一种车载Profibus总线系统的实时性分析