基于大数据的时空环境分析模型框架设计与验证

2023-11-20 10:59彭伟锋黄飞龙
火力与指挥控制 2023年10期
关键词:分析模型时空框架

彭伟锋,黄飞龙,李 超

(地理信息工程国家重点实验室,西安 710054)

0 引言

时空环境影响决策支持分析模型是抢险救灾、突发事件、安保活动实施的重要支撑。时空环境影响决策支持分析模型,已经实现了地形量算分析基础类模型和面向越野机动等典型应用于有限类型数据的栅格量化计算模型。但与实际应用还存在较大差距,主要表现在:1)在数据来源上,现有时空环境影响决策支持分析模型主要基于有限类型的基础框架数据开展,难以支持纳入多源、异构、实时大数据参与分析;2)在模型方法上,现有时空环境影响决策支持分析模型方法主要基于数据栅格量化方法开展,难以纳入基于大数据的实时计算、高维计算等新模型计算方法;3)在实现应用上,基于大数据的时空环境影响决策支持分析模型还没有体系性成熟成果可用,没有试验验证支撑。

针对该问题,许多专家学者进行了相关研究,从不同角度提出了优化解决方案。张丰源研究了地理分析模型的类型和特点,提出了地理分析模型服务化共享方法、网络环境下地理分析模型复用方法、基于模型共享与复用的分布式模拟等[1]。杨慧等设计了地理分析模型元数据的标准框架,提出了利用XML Schema 技术表达模型元数据标准框架结构的方法和知识本体的语义映射模型[2]。单继城建立了动态战场环境对军事行动影响在线分析框架,提出了通过模糊影响图评估方法对战场时空环境影响因子合成分析方法,实现了多种战场环境因素的综合分析[3]。冯长强、赵俊三等开展了地缘时空环境分析模型图形化建模框架设计、数字湖泊空间分析模型和算法耦合模型架构设计等[4-5]。

上述文献从不同角度针对不同设备选址问题进行了研究,提出了问题优化或解决方案,具有重要的指导借鉴意义。本文在时空环境分析模型分类研究的基础上,设计了基于时空大数据的时空环境分析模型架构,实现了面向辅助决策的环境分析系统,并以某水库溃坝淹没分析模型为例进行了模型分析试验。试验结果表明,本文所提基于时空大数据的时空环境分析模型框架的可行性和有效性,为基于静态框架数据的基础时空环境影响分析模型、基于大数据的时空环境影响分析模型融合探索提供了参考和借鉴,为形成基于大数据的时空环境影响分析能力提供了方法试验验证。

1 时空环境分析模型分类

时空环境分析模型可以按照环境类型、模型层次、任务领域等多种维度分类,比如,可以按照不同环境类型,将时空环境分析模型分为地理时空环境分析模型、气象时空环境分析模型、海洋时空环境分析模型、人文时空环境分析模型等。本文从大数据条件下活动决策对时空环境影响分析需求维度,将时空环境分析模型分为环境识别理解类、要素统计分析类、环境演变分析类和时空环境影响分析类4 种。

环境识别理解类模型主要是基于图像、文本等多源环境数据智能感知并判别设施的类型、几何位置和相关属性。包括建筑物、道路、水体、植被等典型地物提取,机场、港口和大坝等重点设施识别,地理位置、环境数据、主要设备等环境相关事件要素识别等。该类模型大多利用大数据、人工智能等方法实现,模型分析的准确度与数据类型、数据质量密切相关,其结果可作为其他模型分析的基础。

要素统计分析类模型主要是基于地形图矢量数据等统计关键地物设施的数量、长度等信息,支撑对环境特点的量化分析。包括路网统计分析、水系统计分析、居民地统计分析、植被统计分析等。该类模型利用统计学和分类方法就可以实现,其重点是基于矢量要素统计结果,结合业务需求,分析出环境的特点,支撑业务活动研判。

环境演变分析类模型主要是基于各类专业数据变化情况,分析当前各类环境态势现状及变化情况,支撑对环境变化趋势的分析。包括洪水淹没分析、生化污染扩散范围分析、气象环境态势分析、洋流海洋态势分析、环境要素演变分析等。该类模型需要综合利用多类型的环境数据,尤其是能够反映环境变化规律的时间序列历史数据进行分析,模型比较复杂。

时空环境影响分析类模型主要是基于各类专业数据和设备参数、活动要求等条件,计算分析时空环境影响条件下设备运行或活动实施最佳环境。包括设备部署选址分析、集结地域分析、直升机低空航线分析、飞机积冰颠簸分析、海洋水声传播损耗分析等。该类模型与业务活动和相关设备参数密切相关,影响因素很多,往往还需要专家知识辅助研判,是其他三类模型分析结果的综合运用。模型类型及特点分析如表1 所示。

表1 时空环境分析模型分类Table 1 Spatio-temporal environmental analysis model classification

2 基于大数据的时空环境分析模型架构设计

基于大数据开展模型分析是构建综合性、体系性时空环境分析模型集的有效途径。基于大数据的时空环境分析模型框架采用4 层架构设计,从下到上分别是时空大数据层、基础模型层、元模型层和综合模型层;模型计算框架负责基础模型、元模型和综合模型的管理、调度、编排等;模型规范通过制定模型参数规范、模型服务接口规范、大数据格式规范等,约束不同层次模型在统一规范下设计和实现,以支持元模型复用、综合模型扩展等;模型验证主要采取理论方法核验、仿真试验与真值对比、现地核验等方式,从理论依据和设计、软件编码与试验、实际应用与能力等层面,递进验证模型的正确性、科学性等,如图1 所示。

图1 基于大数据的时空环境分析模型架构图Fig.1 A spatio-temporal environmental analysis model architecture based on big data

2.1 模型计算框架

模型计算框架,以大数据计算框架为主体,集成矢栅数据并行计算框架,通过对模型、算法的统一管理、参数调优与模型训练、复杂模型流程编排等,打通算法模型从框架到骨干网络,再到服务能力的全链路,实现对各层次模型计算的统一支持。其中,算法管理提供典型或自定义的时空分析相关算法的管理功能;模型训练通过构建模型算法框架、资源组件化聚合、参数配置与调优、模型算法迭代学习等核心功能,实现计算分析模型快速构建、组合;模型管理提供可视化模型管理工具,通过提供对算法模型的基本评估能力,为不同类别算法模型和任务的测评核心能力提供支撑,同时构建用户基于模型管理库,实现从模型部署到运行,再到调度的能力以及对模型进行发布和统一管理能力;模型编排通过可视化的模型编排工具,将业务上存在关联的多个算法模型进行组合,将各个算法模型间的输入、输出参数进行关联,从而贯通算法接口形成新的组合模型,以支撑复杂处理任务。

模型计算框架的运行流程主要是:按照模型计算的特征,模型计算框架会自动分配调动对应的计算框架进行处理。如果调用模型是已有模型,则直接调取;如果调用模型需要基于元模型编排,则利用模型编排工具,选择所需的环境分析元模型,设置元模型输入输出参数,建立元模型之间信息流程,然后通过模型参数校验、流程校验确保综合模型可执行。同时,如果需要模型训练,则需要先用试验数据进行模型训练,训练结果达到要求后,可进行试用。模型流程如下页图2 所示。

图2 模型计算框架模型流程图Fig.2 The model flowchart of model calculation framework

2.2 基础模型和元模型

基础模型和元模型是综合模型编排和实施的基础。基础模型主要是指与环境分析密切相关的、通用性、基础性的算法模型,包括线性插值、阈值计算等基础算法模型,适用于要素统计分析类模型的直方图统计、频度统计、聚类算法等统计类算法,以及环境演变分析类模型的线性回归、支持向量机、随机森林等大数据、机器学习算法等。

元模型是面向环境分析专业需求,基于基础模型,按照最小单个模型计算原则,设计数据要素分析类元模型、地理环境分析类元模型、时空关系分析类元模型3 类。其中,数据要素分析类元模型主要包括矢量要素提取、矢量要素属性提取、矢量要素栅格化、栅格数据叠置分析、基于文本的时空要素提取等,是环境理解与认知的基础模型,是地理环境分析类元模型和时空关系分析类元模型的支撑。地理环境分析类元模型主要包括:坐标计算与坐标系换算、地表距离、大圆线距离、坡度计算、坡向计算、剖面分析、缓冲区分析等,该类算子是地理环境分析的基本模型,是时空关系计算的支持。时空关系分析类元模型,主要通过分析多时相专业数据的时空演变情况进行分析,包括环境要素状态分析、环境要素演变分析、可通行能力分析等,为后续应用提供辅助决策。

2.3 综合模型与模型编排

综合模型是面向业务分析专业需求,基于基础模型和元模型,通过模型流程编排,构建形成的综合的、复杂的环境分析综合模型。

综合模型是按照业务流程对环境分析元模型编排实现的。按照业务操作流程将复杂业务分解为多个子业务处理步骤,直至每个子业务步骤能够通过一个环境分析元模型或其他综合模型实现;然后按照业务处理步骤,将元模型组合起来,并设置每个元模型的输入输出参数,通过综合模型的流程校验、参数校验后,构建形成综合模型。基于机器学习等算法的复杂业务综合模型,一般需要训练、调优之后才能以较高准确率执行。模型编排流程如图3 所示。

图3 综合模型流程编排流程图Fig.3 The organization flowchart of integrated model process

2.4 模型核验

模型核验是模型分析结果可信、模型算法可用的重要保证。本文针对不同类型模型的特点,综合运用理论依据校验、软件编码试验和实际能力验证3 种方法,从3 个层面分别验证模型的正确性和可用性。理论依据核验主要适用于基础模型,该类模型一般具有数学计算依据,通过模型的逻辑性分析、数学模型分析等核验其正确性。软件编码试验主要适用于元模型,该类模型与环境数据密切相关,可利用试验数据进行模型分析试验,用模型分析结果与真值进行比较,校验该类型模型的正确性。实际能力验证主要适用于综合模型,该类模型通常具有环境相关专业业务依据,通过实际业务运行结果和产出效益,校验该模型的正确性和可用性。校验方法分析如下页表2 所示。

表2 时空环境分析模型分析校验方法分析Table 2 The analysis of spatio-temporal environmental analysis model checking method

3 面向辅助决策的时空环境分析系统设计和试验

3.1 系统框架设计与实现

系统以大数据采集汇聚、综合治理、存储管理等基础设施为依托,采用微服务架构和设施智能识别、自然语言处理、复杂模型计算等技术,构建面向辅助决策的时空环境分析系统,提供时空环境特征分析、态势演变分析、设施变化与险情预警等功能,支撑业务应用智能化、知识推荐精准化,提升时空环境分析支撑业务决策的能力。

系统采用多源异构时空环境数据存储架构,构建时空环境大数据框架,实现遥感影像、系列比例尺地形图、DEM、DSM、地名、地质图等测绘地理专业数据,气象预报信息、气候背景资料、气象探测资料等气象水文信息,百科、新闻、舆情等开源泛在时空信息等多源时空环境数据的统一组织管理;设计统一访问引擎,支撑时空环境分析模型对时空大数据的调用。

围绕辅助分析需求,系统设计实现了二三维环境可视化、地理环境量算分析、地理要素统计分析、时空大数据综合查询与推荐、典型设施识别与变化监测、业务流程模拟和辅助分析报告生成等应用功能,支撑业务活动筹划过程中时空环境分析和辅助分析计算,如图4 所示。

图4 面向辅助决策的时空环境分析系统Fig.4 A spatio-temporal environment analysis system for auxiliary decision-making

3.2 模型试验验证

本文以某大坝泄洪淹没分析影响为例,基于多源时空环境数据,利用该系统开展了环境分析,拟制形成了某溃坝泄洪对环境影响分析报告,辅助制定抢险救灾方案。

3.2.1 分析内容设计和模型编排

根据抢险救灾方案制定需求,围绕溃坝后泄洪对周围环境的影响分析,设计需要提取水库边线、大坝位置和泄洪通道沿途大桥等设施的位置,分析该水库及周围环境的特征,开展泄洪后淹没区域及影响分析等工作。利用该系统按照业务流程进行了模型编排,形成了水库淹没分析综合模型。模型分析流程如图5 所示。

图5 水库溃坝淹没分析模型流程图Fig.5 the model flowchart of a certain dam-break inundation

3.2.2 水库、桥梁、医院等设施识别与提取

基于高分卫星分辨率遥感正射影像,分别利用水库和桥梁识别算法和样本库,识别并提取该水库边线和泄洪通道沿途桥梁21 座;利用地形图矢量数据,分析统计得出大型医院15 个,学校10 个。通过与地形图、交通图比对融合,确定了识别桥梁的名称。水库边线和桥梁识别结果如下页图6(a)、图6(b)所示。

3.2.3 水库及周围环境特征分析

综合利用地形图、交通图、数字高程模型、气象水文、气候及百科、新闻、舆情、地质、灾害等多源环境数据资料,分别利用地貌统计分析、地物要素分类提取、建筑物超高分析、文本实体标注与识别、大数据特征分析等工具,分析得出水库周边属于丘陵地带,干流水系2 条,附近城市道路网密集,城市30 m以上高层建筑物较多;分析该水库蓄水量约28 亿立方米,属于大型水库;并分析该水库大坝与中心城市高差超过100 m,泄洪河道狭窄、流程短,暴洪将会冲击两侧山体,形成泥石流。另外,该地区夏季多台风、暴雨等季节性恶劣天气,可能会进一步加重溃坝淹没影响范围。

3.2.4 溃坝淹没区域分析

基于30 m 格网数字高程模型,在不考虑临时气象条件情况下,利用淹没分析模型,计算得出在最低洼地区蓄水约10 m 情况下的洪水淹没区域。泄洪通道两侧沿途桥梁较多,部分桥梁将被毁,大部分桥梁将被洪水淹没;多个医院、学校等都处于洪水淹没区。分析结果如图6(c)所示。

3.2.5 分析报告自动生成

根据辅助决策分析需求,拟定分析报告模板,主要描述该任务所需的数据名称、数据类型、数据来源等参与模型分析数据信息,每个模型分析步骤的图文结果等内容。最后,通过专家研判等方式确定模型分析结果,并给出综合性意见建议。

4 结论

基于大数据的环境模型分析是业务活动量化分析和辅助决策的有效工具。本文设计了基于大数据的时空环境分析模型框架,构建了面向辅助决策的时空环境分析信息系统,开展了试验验证,为时空环境分析模型的研制和应用提供了参考和借鉴。下一步,将丰富完善时空环境分析模型架构,优化面向业务的模型编排策略,选取更丰富场景和实例试验验证模型的可信性,提高模型的可用性和准确性。

猜你喜欢
分析模型时空框架
基于BERT-VGG16的多模态情感分析模型
跨越时空的相遇
框架
镜中的时空穿梭
广义框架的不相交性
玩一次时空大“穿越”
WTO框架下
层次分析模型在结核疾病预防控制系统中的应用
时空之门
全启发式语言分析模型