基于VR 和MR 技术的火控系统虚拟仿真平台构建

吴正龙，赵忠实

（陆军炮兵防空兵学院兵器工程系，合肥 230031）

0 引言

随着科学技术的发展，数字化火控系统已成为现代自行火炮、火箭炮和高炮必不可少的重要组成部分，武器系统的“大脑”和作战效能“倍增器”是武器系统先进性的重要标志［1］。可以说，火控系统是武器平台中最具技术含量、集成度最高、工程实现最复杂，光、机、电、信息、控制系统等技术交叉融合最深的分系统，包含了一系列为实现火控全过程所需的各种相互作用、相互依赖的设备（单体）［2］。这些火控设备（单体）数量多，完成的功能各不相同，原理复杂多样。以某型号火箭炮为例，火控系统在火箭炮上分布广泛，其部件和单体主要安装在仪器舱、驾驶舱内和舱外车体等多个间隔较远的内外部位；同时，各部件和单体必须要在全炮工作环境下才能操作使用，这使火控系统实装训练难以做到实时、实地和多次重复。因此，围绕火控系统的建模、仿真和模拟训练研究，具有重要现实意义［3-5］。

近年来，如何提高具有复杂抽象结构与原理的兵器训练效果已经成为兵器教学与训练研究实践的热点［6］；同时，以受训者智慧发展为目标、以信息技术无缝支持受训者深度学习全过程的智慧教学，已成为当前我国教育信息化研究的热点之一［7-8］。若可以充分使用虚拟现实与混合现实技术，则可在可控成本下，实现多人同时在线、脱离实物装备、高仿真、沉浸式、虚拟化、可交互、可探索、智慧化的火控系统模拟训练环境，使技术切实助力武器装备训练。利用先进的计算机视觉成像和交互手段，不仅可以将复杂火控单体和系统的部件组成、内部结构、整体形态、工作原理通过逼真的实时三维渲染技术真实地呈现在受训者眼前，还可以通过人体的双手与虚拟现实/混合现实中动态生成的三维部件进行自然交互。此外，受训者还能借助混合现实环境进一步开展虚拟自主实验，以试错的方式深刻探索火控单体与系统的原理与运用。虽然基于MR_VR 的模拟训练环境软硬件体系结构较为复杂，可探索设备价格较高、维护困难，但与武器装备相比，建设与维护成本是完全可以接受的。

1 基于MR_VR 技术的火控系统虚拟仿真平台总体架构

1.1 总体架构

基于MR_VR 技术的火控系统虚拟仿真平台总体架构如图1 所示，主要包括三大组成部分，即智慧模拟训练硬件环境层，智慧模拟训练软件系统层，智慧模拟训练应用层。

图1 火控系统虚拟仿真平台总体架构Fig.1 The general architecture of virtual simulation platform for fire control system

其中，硬件环境层、软件系统层是虚拟仿真平台的基础层和技术层，为智慧模拟训练应用层提供服务。智慧模拟训练应用层是整个模拟训练环境的主导层和核心层，为火控系统模拟训练提供服务，通过VR/MR 技术手段实现“3 个层次、5 个阶段”的知识体系训练，“3 个层次”即仿真层次、交互层次和探索层次，“5 个阶段”即感知→认知→习知→用知→验知逐步递进的认知阶段，从而实现闭环的模拟训练反馈过程。

1.2 硬件环境层

硬件环境层提供多个模块自下而上的底层硬件支持，其整体架构如图2 所示。

图2 硬件环境层Fig.2 The hardware environment layer

1）网络通讯设备，提供底层TCP/IP 通讯，在智慧模拟训练环境中，主要为实时/非实时两种大容量高速数据通讯提供硬件支撑。

2）智慧服务器，为多人网络、无组训者VR/MR条件（受训者沉浸式自主学习）提供基于AI 的人工智能辅助学习的硬件AI 逻辑运算支撑。

3）高性能GPU 实时渲染计算计算机，用来提供基于Unreal4 引擎的实时渲染计算画面，具备GTX2080 或以上性能的显示核心，能提供超过120FPS 帧率的VR 画面运算能力，为整个系统提供运行支持、运算服务、图像渲染服务等。

4）VR 可探索设备，使用HTCVIVEPRO/HTC Cosmos 沉浸式虚拟现实设备和Index 手部自然交互设备，提供基于手部操作的互动式可交互硬件支持。VR 眼镜是提供视觉环境的输出设备，营造360°无死角的虚拟观感，让学习者仿佛置身于真实的战场环境或装备中。手部识别手柄可以通过传感器捕捉用户握住手柄时每个手指的位置信息，从而达到手指识别的效果，增强操作的精细度。

5）MR 可探索设备，使用Microsoft Hololens 2 代混合现实头戴式眼镜系统，通过人工智能手部识别技术，提供基于手部操作的混合现实交互硬件支持。

6）多屏幕融合硬件，针对20 人的多受训者训练需求，提供最多40 路终端设备的输入和融合能力，支持最多40 路三维画面进入最终输出设备同时同屏幕显示，或由组训者指定显示位置和方式。

7）3D 大屏幕硬件，基于LED/多屏幕拼接技术的3D 大尺寸屏幕，提供训练、演示、展示、多人观摩的视觉呈现。

1.3 关键技术

1.3.1 引擎开发

采用虚幻四引擎作为视景开发平台。虚幻四是一款全球顶级的三维游戏开发引擎和虚拟现实引擎，具有先进的实时渲染、全局光照、基于物理的材质、GUP 粒子模拟、延迟着色等技术，这些高效完整的开发设计工具以及大量模块化系统，给整个火控系统内部构造虚拟现实开发提供了理想的解决方案和视觉构造。

1.3.2 空间定位技术

通过光栅定位器检测获取物体真实环境的位置信息，通过高精度建模技术，还原物体的3D 模型，利用虚拟环境的空间定位技术，将3D 模型和实体模型进行位置匹配，受训者就可以通过操作实体控制虚拟世界中的模型。

1.3.3 手部识别技术

Index 手柄搭载87 个传感器，可识别压力、触感，还能识别光学数据。Index 手柄配有固定带束缚，在使用时不需要握住手柄。每一个物理按键下都安装了电容传感器，主要包括扳机键、外部按钮、内部按钮和系统按钮，以此来确定用户拇指的位置，以及扣动扳机键时食指的位置，通过光学传感和触感传感，可以追踪用户中指、无名指、小拇指3 根手指是放在手柄上还是张开，从而达到捕捉5 个手指运动追踪的效果。

2 火控系统内部构造虚拟交互系统

火控系统内部构造虚拟交互系统是智慧模拟训练的核心，它不仅能虚拟演示火控系统大部组成与内部构造，提供基于VR 的火控系统沉浸式体验，而且采用实体和半透明的显示模式，以可视化UI的方式展现每个火控单体的位置、功能、原理与基本操作（或界面），以及与其他单体的关系，帮助受训者全方位深刻了解火控系统构造与原理。受训者借助该虚拟交互系统，可以通过手柄在虚拟环境中漫游，改变自己的位置，从不同距离和不同视角来观察火控单体与系统的内外部构造。为实现探索与交互，受训者还可通过手部识别设备进行基本的操作控制。该虚拟交互系统硬件组成见1.2 节所述。

2.1 软件系统层

软件系统层包括组训端软件和受训端软件，组训端软件提供各类模拟训练管控功能，受训端软件提供多名受训者同时学习功能，如图3 所示。

图3 软件系统层Fig.3 The software system layer

组训端软件主要功能：

1）内容编制功能，提供视频、3D 动画、图片、文字等火控系统构造与原理内容的编辑与保存功能，从而使得组训者可以根据受训者的实际学习情况或训练实时反馈情况，对训练内容进行动态调整。

2）内容发放功能，组训者在环条件下，向受训端软件发放训练内容，受训者不能自由选择训练内容，此时，模拟训练形式为组训者统一安排训练内容。

3）模式管理功能，组训者可切换离环训练模式或在环训练模式，离环训练模式下受训者可自由选择学习内容。

4）受训者管理功能，组训者对受训者的信息进行添加、删除、修改等管理工作。

5）分组管理功能，组训者对受训者进行分组，并以分组形式进行模拟训练实施与管理。

6）成绩管理功能，对受训者的考核评价结果进行管理与统计分析。

7）Web 系统功能，组训端软件所有功能可通过Web 页面管理。

8）画面管理功能，管理大屏幕的多路画面输入和输出，以切换投放不同的受训端软件界面，展示每一位受训者交互或探索的实时过程与结果。

9）训练内容分类，将训练内容划分到“感知、认知、习知、用知、验知”5 个类别，从而便于组训者管理训练内容和受训者选择学习内容。

根据组训者在环与组训者离环模式的不同，受训端软件分为两种运行流程。

1）组训者在环训练模式

该模式下，受训者不能自主选择训练内容，当受训者进入软件后，学习内容由组训者推送发布。受训者可以根据组训者设置的内容和学习步骤，进行相应的火控系统构造与原理的VR/MR 学习，在学习过程中，组训者可随时进行远程干预和指导，也可以将受训者操作过程和结果切换投影到大屏幕上进行分析与点评。

2）组训者离环训练模式

该模式下，受训者可自主选择训练内容。受训者进入软件后，可以自行选定不同的学习内容和学习步骤，例如，进行若干知识点的感知学习，或者针对某个具体知识点进行完整的“感知、认知、习知、用知、验知”5 个步骤的学习。为减少受训者自主学习的盲目性，该训练模式提供人工智能闭环辅助功能，即学习过程中由基于上下文敏感的人工智能Assistant 软件，对学习内容和进度进行有效的智能帮助和指导。

2.2 软件功能

该虚拟交互软件功能主要包括场景漫游、虚拟演示和探索交互。

场景漫游支持学习者在各种场景中的自由行动，可以通过手柄选择位移位置，从而在武器周围进行大范围的移动；当在武器内部进行火控单体或系统的操作时，通过空间定位，可以小范围地在武器内部移动，进行内部实景的漫游。某型号火箭炮场景漫游如图4 所示。

图4 某型号火箭炮场景漫游Fig.4 Scene exploration for a certain type of rocket launcher

虚拟演示主要包括可视化UI 设计和虚拟动画设计，通过可视化UI 可以对火控系统的各个结构部位进行悬浮式注释，让受训者在观察结构的同时，学习火控单体与设备的基础工作原理，如图5所示。各仿真模型支持实体和半透明的显示模式，通过三维动画的方式，生动形象地表现火控系统工作时各个单体的工作原理与相互关系，帮助受训者全方位深刻了解火控系统的构造和原理。

图5 火控系统内部构造虚拟演示Fig.5 Virtual demonstration of the internal structure of fire control system

仿真交互采用手部识别的交互方式，通过Index手柄上的传感器捕捉每一个手指的运动，从而达到更加精密的手部操作，如图6 所示。通过手柄可以实现对武器的外部进行整体位移、炮塔操控等功能，在武器内部则可以通过手指对火控单体或系统进行与实装操作一致、精密的操作。

图6 利用手柄进行火控单体探索交互Fig.6 Exploration of the interaction with the single unit of the fire control system by the handle

3 结论

基于VR/MR 技术的火控系统虚拟仿真平台，使用沉浸式虚拟现实技术和混合现实技术，将火控原理、火控单体与系统的组成、结构、工作原理、操作使用以及故障案例等，通过VR/MR 技术三维具象地呈现出来，通过手指的空中触控、拿捏等方式与“虚拟装备”进行自然的交互操作，摆脱了传统武器装备模拟训练中文字、图表、模型模具等“静物口授”式的训练模式，实现了训练技术和手段的飞跃。该平台既是一个高仿真的虚拟仿真环境，也是一个可交互、可探索的智慧化模拟训练环境；既支持组训者在环统一内容和进度进行训练，又支持受训者自主探索和学习。

目前型号装备均随装配有模拟训练器材，采用与实装尽量一致的工作界面与操作环境，强调对具体型号装备操作技能的训练。本文采用VR 和MR技术构建的火控系统虚拟仿真平台，实现了3 种型号装备火控系统的虚拟仿真，在一种环境下能够开展3 种装备火控系统的模拟训练，具有一定先进性。