基于增强现实的士兵系统研究进展*

龙知洲，陈珺娴，唐荣富，邓宝松，马 天*

（1.军事科学院系统工程研究院，北京 100010；2.军事科学院国防科技创新研究院，北京 100071）

0 引言

士兵系统是指为士兵、尤其是徒步士兵研制的，包括武器、头盔、防护服、电台、计算机及有关软件等在内的一体化作战系统。增强现实（augmented reality，AR）技术作为近年来蓬勃兴起的颠覆性交互技术，能够将虚拟信息和真实世界融合在一起，为用户提供虚实融合的场景并实时进行交互，在军事领域具有广阔的应用前景。该技术能够在不影响正常观察、机动、射击等战术动作的同时，在士兵眼前呈现出作战所需的各类信息，进而成倍提升士兵的感知力、杀伤力、机动力和防护力。增强现实技术与士兵系统的有机融合，将颠覆未来士兵近距离作战模式，极大增强未来士兵的训练与作战效能，使其成为各国士兵系统的重点发展方向。

1 增强现实系统概述

1.1 增强现实系统概念与组成

增强现实技术又被称为扩增现实技术，是一种新型计算机应用和人机交互技术，它由虚拟现实技术发展而来，使用者看到的场景和人物部分真实、部分虚拟，通过把虚拟的信息带入真实的世界中，达到能超越现实的感觉，创造出一种新的观察世界、与世界交互的技术手段。该技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪与注册、场景融合等技术和手段，自诞生以来，被广泛认为是最有可能成为继移动手机之后的下一代计算平台，对生产方式和社会生活产生了深远影响，备受各国政府和企业的关注。

增强现实系统一般由视频采集设备、头戴式显示器、跟踪系统和移动计算处理单元4 部分组成，视频采集设备如摄像头等，负责获取真实环境中的各种信息；头戴式显示器如智能眼镜等，通过感应人们眼部活动、肢体动作或实际按钮操作来接受指令，呈现所需图像；跟踪系统用来识别这些运动，并且准确呈现出用户在任何时刻看到的真实世界与虚拟模型相融合后的图像；移动计算处理单元则是用来进行计算、创建三维立体图形等工作。

1.2 增强现实系统发展沿革

增强现实系统从诞生至今已历经60 余年的发展，按照性能及设备特点可划分为三代。第一代增强现实系统可追溯到Morton Heilig 在20 世纪五六十年代根据电影拍摄经验所发明的Sensorama Stimulator 机器，它可以同时使用图像、声音、气味和震动等让人们感受到在街道上骑摩托车的场景。随后美国计算机科学家Ivan sutherland 在1968 年创建了The Sword of Damocles（达摩克利斯之剑）系统，用于实时显示计算机生成的图形，被普遍认为是头戴式显示设备以及增强现实系统的雏形。随着技术的进一步发展与硬件价格的急剧降低，第二代增强现实系统以1990 年波音公司Tom Caudell 研究员正式提出（augmented reality，AR）这个词组开端，增强现实系统朝着小型化、实用化迎来了新一轮的研究高潮。1992 年美国空军首次研发出了虚拟帮助系统，哥伦比亚大学在同一时间推出了机械师修理帮助系统，1996 年Steve Feiner 利用可穿透的显示屏创建了世界上第一个户外可移动的增强现实系统，1999 年日本的Kato Hirokazu 开发了一种适用于桌面级的增强现实跟踪注册工具包，即AR Toolkit 项目。第三代增强现实系统以2012 年Google Glass 的诞生为里程碑，移动式增强现实系统真正进入到人们生活中，开始向规模化应用迈进。

2 军事领域增强系统的技术方法

2.1 增强现实系统的关键技术

增强现实系统的主要任务是进行真实世界和虚拟物体的无缝融合，需要解决真实场景和虚拟物体的合成一致性问题。为确保士兵系统增强现实技术的有效性，需解决好以下3 个关键技术。

2.1.1 三维跟踪注册技术

三维跟踪注册技术是实现移动过程中增强现实系统的基础技术，可以在三维空间中将虚拟信息与真实环境进行配准注册，实现虚拟信息和真实场景的无缝叠加。该技术包括两方面，一是使用者的空间定位跟踪技术，二是虚拟物体在真实空间中的定位技术。跟踪注册技术首先检测需要“增强”的物体特征点以及轮廓，跟踪物体特征点自动生成二维或三维坐标信息，利用跟踪技术确定移动设备摄像头与虚拟信息的位姿关系，从而保证虚拟信息能够实时显示在屏幕的正确位置。三维跟踪注册技术的实时性、稳定性和鲁棒性直接决定着增强现实系统的成功与否，常用的三维跟踪注册方法有：基于跟踪器的注册、基于机器视觉跟踪注册、基于无线网络的混合跟踪注册技术3 种。

2.1.2 虚实融合显示技术

增强现实系统就是构建一个虚拟模型与真实场景相融合的三维立体场景，但是简单地将虚拟模型显示在真实物体前方不能保证二者的有效融合，实现增强现实系统的可用性。为了解决这个问题，需要对虚拟模型和真实物体的遮挡进行处理，保证阴影和光照的一致性，能够适应环境的真实光照变化，同时要考虑真实模型和虚拟物体间的阴影、虚焦模糊等情况，使得虚拟模型产生如同真实物体一样的光照和阴影效果。另外还必须解决虚拟融合显示的延迟问题，保证系统应用的实时性要求。

2.1.3 自然人机交互技术

为实现用户与真实环境中虚拟模型自然直观的三维交互，需要设计针对增强现实系统的交互工具，并能够跟踪定位到交互工具的位置信息，从而正确执行用户指令，提升用户友好性。增强现实系统的交互方式主要有基于硬件设备和基于视频处理两种方式，基于硬件设备的方式是通过外接设备如鼠标键盘、数据手套等进行人机交互，基于视频处理的方式如基于计算视觉的自然手势交互方法，借助人手识别算法对人的肢体动作等进行识别，进而进行人机交互。

2.2 士兵系统中增强现实技术的优势

士兵系统增强现实技术的核心思想是建立一种以士兵为中心的信息呈现和交互的方式，从而达到先敌发现、先敌打击的目的。其主要优点包括：

2.2.1 作战行动更加顺畅

传统士兵信息终端一般采用平板电脑或军用手机。士兵在查看战场态势或作战信息时，必须暂停或中断作战行动，双手脱离武器低头操作终端，增强现实技术可将地图、方位、敌我位置等战术信息直接呈现在士兵眼前，从而解放士兵双手，加速作战行动。

2.2.2 呈现方式更加直观

在现代战场上，信息呈现方式通常是基于战场坐标系或大地坐标系进行全局显示，然而士兵的观察、机动、打击能力均有较大限制，因此，其作战决策往往依赖于自身方位进行判断，两种视场之间的转换带来不直观、不便捷等问题。增强现实技术可以融合士兵方位和战场坐标，建立一种以士兵为中心的信息呈现和战场理解方式，从而有效提升士兵决策效率。

2.2.3 交互手段更加丰富

增强现实技术能够提供一种新的装备交互控制方式，在按键、触摸等传统交互控制方式的基础上，可进一步融合手势、语音、眼动、脑机接口等新型交互手段，从而成倍提升人机交互效率。

2.2.4 实战训练更加高效

传统的实兵训练或模拟训练方式均有其局限性，增强现实技术具有虚实融合的天然优势，可将实兵训练和模拟训练结合形成一种新的沉浸式训练方法，具有高效率、高保真、快部署、低成本的综合优势，这也正是美军近年来推动合成训练环境（synthetic training environment，STE）建设的动因。

3 基于增强现实的士兵系统成果应用

随着增强现实技术军事应用前景日趋明朗，主要国家政府和军队陆续将其纳入士兵系统未来发展规划，从而在未来战场上进一步扩大与对手的技术鸿沟，取得非对称信息优势。

3.1 美国研发“集成视觉增强系统”

美国在20 世纪90 年代率先提出将士兵作为一个系统（soldier-as-a-system）理念，也是较早探索在士兵系统中运用增强现实技术的国家之一。2013年，美军特种作战司令部启动“轻型战术突击作战服”研制工作，其中盔载视觉增强系统作为7 个子系统之一，具备目标获取、宽视场多光谱融合显示等功能，能够提升特战士兵对复杂环境的感知能力。2018 年，美国陆军士兵杀伤力跨职能小组主导开展增强型双目夜视仪（ENVG-B）开发工作，该装备能够与现役“奈特勇士”士兵系统完全兼容，不仅具备微光/红外融合夜视能力，而且能够将自身方位、敌我位置等战术信息显示在目镜内，如图1 所示。另外一款由该小组负责研发的集成视觉增强系统（integrated visual augmentation system，IVAS），如图2 所示，是士兵增强现实技术历史上的里程碑成果。

图1 美国增强型双目夜视仪

图2 美国IVAS 系统

3.1.1 发展概述

IVAS 系统是由美国国防部领导、美陆军主导的一个高优先级项目，融合了先进传感、增强现实、人工智能等先进技术，总体目标是提升士兵以及分队的合成训练效果和全天候作战能力，同时与现役“奈特勇士”系统完全兼容。

美国陆军士兵杀伤力跨职能小组主导IVAS 系统研制工作，他们打破了传统的装备研发流程，加强与院校、私营企业合作以快速推动前沿技术应用。2018 年11 月，军方选择微软公司作为合作伙伴，基于商用HoloLens 眼镜打造原型系统。为保证项目推进达到预期效果，美军启动了一项名为“士兵接触点”（soldier touch points，STP）的计划，包括陆军特种部队、游骑兵、第25 步兵师、第10 山地师和第82 空降师，以及海军陆战队等部队士兵使用原型系统进行训练，再将意见反馈给研发团队用于系统迭代。在整个研发过程中，美军为IVAS 系统定义了4 个阶段的能力集（capability sets）测试：

能力集1：微软HoloLens 2 集成热成像传感器、战术突击软件包（tactical assault kit，TAK）和地图等，以Wi-Fi 通联，2019 年3 月交付50 套原型系统；

能力集2：在能力集1 的基础上，集成GPS 和战术无线电功能。2019 年10 月交付300 套原型系统；

能力集3：在能力集2 的基础上，进行军用加固设计并集成微光传感器和热成像传感器。2020 年6月交付600 套原型系统；

能力集4：在能力集3 的基础上，具备量产能力，可增强分队杀伤能力。2020 年9 月交付1 600套原型系统。

2021 年4 月，微软公司通过军方测试后，获得一份采购量超过12 万台、总额约219 亿美元、时间长达10 年的IVAS 供货合同，标志着士兵增强现实技术即将真正走向战场并形成新质作战能力。

3.1.2 主要功能

IVAS 系统主要功能归纳如下：

1）地图定位。士兵佩戴IVAS 系统时，低头可以看到作战场景的俯瞰图（birds-eye view）以及敌我作战单元在地图上的位置及标识；

2）任务预演。对于任务规划和预演，指挥员可以使用IVAS 上传目标的3D 地形图，从而在出发前向所属部队进行任务简报；

3）夜间导航。系统融合非制冷红外和被动微光夜视等传感器，能够支持士兵完成夜间徒步导航和环境感知等功能；

4）目标识别。IVAS 系统采用人工智能技术，能够对典型战场目标进行自动检测和敌我识别，依托通信网络，完成该目标信息的快速流转和共享，同时支持脸部识别、典型目标识别、文字自动翻译等功能；

5）辅助瞄准。IVAS 系统能够同步显示枪械瞄准具上的十字分划线，士兵手持武器即可通过眼镜进行瞄准和射击；

6）实时监测。IVAS 系统能够记录士兵训练过程中的各项身体数据，一方面提升训练水平，另一方面指挥中心可以根据士兵上报信息，判断其身体状况并适时提供帮助；

7）系统控制。IVAS 系统在士兵前胸安装了控制面板，外壳内置“触觉参考点”，士兵无需低头即可点击按钮进行操控；

8）协同感知。IVAS 系统可实时下载来自无人机、直升机、地面车辆和其他传感器的图像、视频等数据，为士兵提供丰富的战场态势信息；

9）训练复盘。IVAS 系统可将参训士兵位置、射击、地图、操控等训练数据记录在训练系统中，事后进行全面复盘分析进而提升训练效果；

10）合成训练。利用增强现实技术虚实融合特点，士兵在使用IVAS 系统进行训练过程中，可以在真实场景中叠加虚拟对象，从而增加训练的可重复性和提升效率。此外，采用人工智能技术还可以不断提升虚拟智能体的对抗水平，从而增加对抗难度、提升训练效果。

3.1.3 系统评价

IVAS 系统在设计和集成过程中，始终遵循以士兵为中心的系统工程理念，充分考虑了重量、结构、穿戴、环境等因素，开展充分测试和部队试验，并采取技术中立、客观实用的评价标准，与现有设备装备进行充分比对。经过有效组织和多轮迭代测试，成效显著，已经获得美军高层的认可。在训练方面，IVAS 系统已经初步成型，能有效融入美军合成训练环境；在作战方面，由于尚未批量列装部队，其作战效能仍有待进一步观察和验证。但无论如何，IVAS系统的实际订单已经为士兵增强现实技术的军事应用指出了一个重要方向，值得国内相关研究机构和人员长期跟踪和重点关注。

3.2 英国展示“未来士兵愿景”概念

英国国防部国防科技实验室（DSTL）在2015 年英国防务展览会上，展示了未来士兵愿景（future soldier vision，FSV）概念。主要面向2025 年前后的徒步士兵，提升其生存能力、态势感知能力和网络通联能力。与2003 年启动的“未来集成士兵技术”（FIST）项目相比，引入了大量的内置传感器、智能织物和信息化装备。其头盔子系统除了盔体、传感器以外，还配备了与骨传导耳机一体化集成的增强现实眼镜，如图3 所示，通过士兵携带的计算单元融合处理后，可以在眼镜上呈现无人机侦察图像、敌我位置、生理监测等信息。

图3 英国“未来士兵愿景”概念

3.3 新加坡展示“陆军单兵轻型生态装备”概念

新加坡ST Engineering 公司在2018 年法国防务展上展示了陆军单兵轻型生态装备（the army individual eco-lightweight equipment，ARIELE）概念，该士兵系统集成了先进的战术通信、侦察和防护技术，并可从C4ISR 网络中获取信息以提升士兵态势感知能力。ARIELE 系统包括系列模块化组件，其中作战头盔集成了高级护目镜系统（the shielded advanced eyewear system，SHADES），如图4 所示，运用增强现实技术将态势、导航、指挥控制、敌我识别等战术信息投射到单目镜片上，并可根据算法和热传感器调整显示亮度。

图4 新加坡“陆军单兵轻型生态装备”士兵系统概念

3.4 以色列推出“统治者”士兵系统

以色列ELBIT SYSTEMS 公司在2012 年首次推出面向特种部队的统治者（Dominator）士兵系统，并于2019 年发布了最新的升级版本，用以提升指挥员和士兵指挥控制能力，其重要特征是在智能眼镜、瞄准具和夜视仪中广泛应用了增强现实技术，如图5 所示。智能眼镜（SmartEye）具备目标图像识别能力，并可显示武器瞄准具、无人机和其他侦察部队提供的图像信息；智能瞄具（SmartSight）融合了激光测距、指南针等信息，有效提升射击精度；智能夜视仪（SmartNVG）能够叠加导航信息，从而提升士兵夜间作战能力。

图5 以色列“统治者”士兵系统

3.5 俄罗斯发布“战士-3”士兵系统

俄罗斯中央精密机械制造研究所于2017 年发布最新型“战士-3”（Ratnik-3），如图6 所示，士兵系统样机，计划于2025 年开始全面替换其现役“战士-2”系统。该系统将包含突击步枪、外骨骼、生命监测与防护系统等59 个组件，其中，智能头盔系统作为关键组件承担系统信息中心角色，不仅内置了生理监测系统，还具有自动瞄准功能。头盔集成的增强现实护目镜，能够显示侦察、健康、生理、温度、目标、地图等信息，查看地图、射击范围内的图像、射击点、无人车拍摄图像等。

图6 俄罗斯“战士-3”士兵系统

3.6 我国的应用探索

国内士兵增强现实技术研究大多集中在装备信息化等相关应用，而较少从士兵系统角度进行整体分析。黄天智等较早从系统设备、工作环境、显示优先机制、可穿戴计算机等方面分析了军用增强现实系统的总体需求。王爽英等设计了单兵智能头盔的基本组成，重点分析了头盔的态势信息显示、融合信息处理、信息交互等功能在武器打击中的应用。王海龙回顾了军用智能可穿戴设备发展，对智能综合头盔、人机交互技术、传感技术进行了较为深入的分析。马文秀等针对应急指挥和态势掌握等需求，设计了基于手机和华为AR 引擎的单兵战场态势生成软件。2021 年6 月，红隼防务公司发布了自主研制的单兵智能战术系统2.0 版，如下页图7 所示，该系统采用衍射光波导技术，已从1.0版单目显示系统升级至双目系统，提出了士兵增强现实技术系统级应用方案。

图7 “单兵智能战术系统”2.0 版

4 基于增强现实的士兵系统功能分析与前景展望

4.1 功能特征分析

4.1.1 全面精细的态势感知

增强现实系统的头戴式显示设备能够给士兵提供全方位各角度的战场环境信息，不局限于传统情况下士兵本人眼前所见场景，从而极大地增强士兵的态势感知能力。

4.1.2 准确灵活的指挥控制

通过士兵系统增强现实技术，指挥员可以直接将作战命令下发到每个士兵，有利于准确执行作战命令，加强士兵间的协同作战，实现单兵融入战场体系的现实需求。

4.1.3 快捷高效的火力打击

士兵可以在瞄具等装备的辅助下对战场目标进行识别与检测，通过增强现实技术的辅助瞄准技术有效提升射击精度，实现快捷高效的火力打击。

4.1.4 多型模块的集成设计

士兵系统增强现实技术可以与导航、夜视、监测等模块集成设计于一体，拓展士兵系统功能与兵种特色，满足新形势下全时全域作战的多样化需求。

4.2 未来军事应用前景

4.2.1 合成军事训练

军事训练作为军队建设的重要部分，是实现作战潜力向作战实力转化的重要途径。士兵系统增强现实技术应用于军事训练领域，有别于利用虚拟现实技术创建“沉浸式”训练环境，它可以构建虚拟的人员、装备、目标，并与真实作战环境相融合的合成训练场景，一方面减少对时间、地域、成本等因素的限制，另一方面由于训练与真实场景紧密结合，实战中使用的枪械、电台等装备器材均可以得到应用，参训人员“虚拟感”更弱、代入感更强，做到训练和作战无缝转换。运用人工智能技术，还可以不断提升虚拟蓝军的对战水平，从而大幅改善实战化训练效果。

4.2.2 实际战场作战

在实际作战过程中，士兵们可以利用士兵系统增强现实技术来丰富战场环境，通过头盔或眼镜等穿戴式设备直接获取战场地图、敌我态势、指挥命令等信息，实现整个战场信息的共享化与可视化；在瞄准镜、夜视仪等装备上应用增强现实技术，可以极大地提高士兵的精确射击与夜战水平，满足士兵全时作战的需求。通过士兵系统增强现实技术可以拓展士兵的态势感知能力，增强分队间的协同作战，有利于士兵快速作出战斗反应，及时准确执行指挥员命令，完成相应作战任务，进一步提升士兵与分队的作战效能，实现在未来网络信息体系下信息优势向作战优势的转变。

4.3 军事应用中的发展建议

士兵系统增强现实技术在军事领域的应用前景广阔，作为相关领域研究人员，除了密切跟进其研究进展，还应当充分汲取其系统建设经验教训，实现国防尖端科技的创新超越：

1）必须始终贯彻以士兵为中心的设计原则，重视研发、测试、迭代的科学规律，全程汲取作战人员意见建议，以免开发出不符合实战要求的装备或产品；

2）集成新技术于士兵系统时，应避免过分追求高科技含量，充分考虑重量、结构、功耗、使用环境等因素并开展充分测试，正确、客观评估新技术在军事训练与作战的效能，切实将高新技术有效转化为部队装备和战斗力；

3）注重与现有士兵系统装备的综合集成，提高装备适应性和兼容性；

4）充分发挥地方高新企业的技术力量，探索成熟货架产品向军事装备的转化应用，缩短研发流程，提高转化效率。

5 结论

增强现实技术作为一种新兴的人机交互技术，在改变人机交互模式、增加决策效率、提升士兵和分队作战效能方面具有重要发展潜力。以美国为代表的世界主要军事强国，正在加快推进增强现实技术在士兵系统中的应用。随着现代社会人工智能、大数据、融合感知等技术的进一步发展，士兵系统增强现实技术必将大幅度提升新一代士兵系统的作战效能，在未来信息化战争中发挥重要作用。