增强现实在装甲装备基层级维修中的应用

张 雷，马金盾，郭理彬，张 杰

(陆军装甲兵学院 兵器与控制系， 北京 100072)

装甲装备作为地面突击力量的主要组成部分，其组成系统多，系统组成单元之间电气信号连接复杂，基层级维修过程中需要测试的信号数量大、类型杂，维修和故障诊断人员无法完全记住所有技术资料和操作流程，维修难度较大。长期以来，基层装甲部队通常利用装备维修教材、便携式维修检测设备(Portable Maintenance Aids,PMA)[1]等资源开展装甲装备维修工作，而目前装备信息化程度不断加深，现有的维修技术、保障设备已经难以满足新装备的维修保障需求，急需在装甲装备维修领域引入新兴技术。随着计算机视觉、图像处理等技术的发展，增强现实(Augmented Reality，AR)[2]技术应运而生，AR技术最早是在1994年由Paul Milgram和Fumio Kishino给出明确定义，是指在真实场景中叠加虚拟模型或信息，实现虚拟场景与真实场景的精确融合，以加强人们对真实场景的感知和处理，近年来取得了很大的发展。AR技术的出现给复杂的装备维修带来了生机，产生了维修引导[3-4]的新概念。增强现实维修引导系统[5]是利用AR技术对维修过程中所用到的检测数据、操作步骤、技术资料等复杂、多样化信息进行实时的“增强”显示，以实现辅助维修人员进行故障检测和维修操作的目的，从而大幅度提高维修的效率。目前基于AR技术的可穿戴式引导维修是国内外大型机电设备的主流维修方式，诸如波音公司、哥伦比亚大学[6]、浙江大学[7]、南京航空航天大学[8]、空军工程大学[9]等多家军内外单位都对增强现实维修引导系统及其关键性技术做了一系列的研究，并且取得了很好的成果，而国内对装甲装备维修引导系统的研究较少。因此本文提出了一种基于增强现实的装甲装备基层级维修引导系统设计方案，以坦克火控系统为研究对象，通过系统详细设计，系统移植调试，验证了该系统在基层火控系统维修中的可行性和实用性。

1 可穿戴式维修引导系统功能分析与总体设计

1.1 系统功能分析

目前，我军主流的PMA设备虽然能够为维修人员提供故障诊断与预测、维修任务管理、技术文档查询等功能，但是也具有很多问题[10]。当前装甲装备维修使用的PMA设备大小与尺寸不等，有的设备重达十几公斤,不能被称为真正的“便携式”设备。在维修时维修人员需要携带笨重的、非可穿戴式的维修设备进入装备内部进行操作，而多数测试设备测试手段有限，是面向某个特定部件的测试设备，且技术资料不全，因此还需维修人员携带其他各式维修工具和测试仪器往返待修装备和维修工间，由于PMA设备与装备系统间的信号传输采用的有线连接的方式，因此每次更换测试设备都需要进行线缆的连接，又加重了维修人员的操作负担，严重阻碍了维修保障效率的提升。此外PMA设备采用的触屏与按键的操作方式在占用双手的同时也不方便调用各类信息，无法兼顾维修操作和资料查询。

反观国外，以增强现实为基础的维修引导系统已经广泛应用在装备维修设备中，极大地提高了维修的便利性和准确性。2007年美国的增强现实维护修理(Augmented Reality For Maintenance And Repair，ARMAR)[11]研究计划研发的原型系统具有虚拟维修培训、真实环境操作维修、监控维修进度和增强现实引导维修等多种功能，并且创新性地采用机会控制的人机交互策略，此原型系统在面向LAV-25A1式装甲运输车炮塔维修中得到了成功应用[12]。2015年，美国国防部组建的数字化制造和创新机构，将基于AR和可穿戴设备的生产车间布局作为研究的重点，该研究计划不仅可以实现传统的AR辅助维修，而且可以实现异地多人实时交互，实现了信息的实时共享。同年微软公司的Hololens眼镜一经发布就获得了美国国家航天局(National Aeronautics and Space Administration，NASA)的青睐，成为Sidekick项目的核心工具[13]，随着SpaceX公司的太空飞船进入太空。此眼镜具有远程专家功能，地面操作者可以实时获得航天员视角，然后在航天员眼前提供注释和图示，具有很高的辅助性。

为了使维修检测设备更好地实现装备维修功能，综合分析国内外研究现状，面向装甲装备火控系统的可穿戴式增强现实维修引导系统应具备以下功能：

a) 具有电气信号采集、无线传输功能；

b) 具有故障诊断操作引导、维修操作培训功能、现场离线维修操作引导功能和远程实时交互指导多重功能；

c) 具有手势、语音等自然的人机交互能力；

d) 具有开放性，方便升级和更新；

e) 系统设备整体体积小、重量轻，具有可穿戴式性。

1.2 系统总体框架

装甲装备可穿戴式增强现实维修引导系统采用模块化和开放化的设计原则，系统整体包含用户层、界面层、功能层和基础层4个层级，系统总体层级结构如图1所示。

图1 增强现实维修引导系统总体层级结构框图

基础层是系统各功能模块实现的基础，包含硬件单元和软件单元两部分。其中硬件单元包括携行具、AR眼镜主机(包含摄像机、人机交互模块、信息处理单元)、便携式无线维修检测适配器、蓝牙式万用表及其他附件5个部分构成。设备携行具是系统设备的载体，采用便于穿戴的对开马甲方案，利用“身体总线”和“身体网络”，将各个硬件设备合理的分布在人体结构中，腹部两侧放置便携式无线维修检测适配器和蓝牙万用表，胸部分别放置AR主机和移动电源，腰部两侧放置万用表线、相关检测电缆以及拆装工具，维修时维修人员可以穿着此马甲进入坦克进行维修，方便快捷。AR眼镜主机是目前增强现实系统实现的主要载体，它可实现对维修环境信息的采集、处理以及维修检测引导信息的显示，是高集成度的可穿戴设备。可穿戴式无线维修检测适配器是被测部件/信号与故障诊断模块之间的桥梁，用来实现将装甲装备部件测试口信号通过无线传输的方式传输到AR眼镜的处理单元中来辅助故障诊断，可以减少维修人员的测试操作次数，解决现场空间小测试操作不便的问题。蓝牙式万用表是对维修检测适配器的补充，实现对非测试口的信号进行测试，也以无线传输的方式将测试结果传输到AR眼镜的处理单元来辅助故障诊断。其他附件包括移动电源、通用拆装工具、专用工具、万用表笔、探头等配合检修的工具配件，当AR眼镜电量不足时，则可用携带的移动电源对AR眼镜进行充电，保证系统的正常运行。软件单元负责调用硬件单元的相关信息进行算法的开发和应用，主要包含增强现实模块、故障诊断模块和维修引导信息模块。其中增强现实模块是整个系统的核心，是实现诊断引导、维修引导信息叠加的核心模块。包含三维注册、虚实融合和人机交互3个模块，三维注册用来实现虚拟引导信息和现实维修环境的几何一致性，即随着用户视角和移动的变化，实时计算出虚拟场景在该视角下的投影坐标，实现在真实场景中的准确融合。虚实融合模块主要保证虚拟引导信息的真实感，通过对光照一致性计算、遮挡处理、纹理制作来实现“以假乱真”的效果。人机交互模块主要实现对虚拟信息的交互控制，目前主要使用的有手势交互、眼动交互、语音交互等新型交互方式。软件单元的故障诊断模块主要是确定故障诊断流程以及对故障的位置进行判断和确定，以故障树为总体诊断流程框架，配合万用表以及信息采集卡的数据进行综合判断从而输出维修目标。维修引导信息模块是指对维修所需的技术资料进行系统地描述与建模，包括从故障测试到维修过程中所涉及的图形、文字、视频、标记、动画、虚拟样机等形式不同的所有操作步骤细节信息，同时还包括对信息的分类，当确定故障目标后对维修资料的快速查找和确定。

功能层是系统应具有的基本功能，包括维修培训、故障检测引导、现场离线维修引导和远程实时交互指导四个功能，功能层的所有功能都是针对装甲装备多系统的。

界面层用来对系统整体进行封装，按照系统的功能和基础层流程设计良好的用户显示操作界面，主要包括系统登录界面、功能选择界面、分系统子界面、维修目标选择界面、维修信息查询界面。

用户层是面向用户使用的层级，主要包括帮助和用户数据记录两部分，帮助模块主要包括系统的介绍、操作方法以及相关注意事项，用户数据记录模块包括对不同用户的使用数据的保存和查看。

1.3 基础层工作流程

基础层是整个系统功能实现的关键，不同的功能实现将调用不同的基础单元，基础层信息传输流程如图2所示。

图2 维修引导系统基础层信息传输流程框图

当维修人员佩戴AR眼镜进入维修引导系统后，通过手势、语音等交互命令进行功能选择，当选择故障检测引导功能时，使用交互命令驱动交互模块使系统首先进入故障诊断模块，故障诊断模块将故障检测流程引导信息发送至增强现实模块，增强现实模块从AR眼镜获得场景数据，通过三维注册，真实感渲染将虚拟的注册信息准确发送至AR眼镜进行实时的呈现，以辅助维修人员进行故障检测。当需要调用蓝牙信号采集卡数据和万用表数据时，通过交互命令将测得的实时数据通过蓝牙无线传输至AR眼镜主机进行显示，结束一次操作后，再次通过交互命令进入故障诊断模块进行下一次操作引导，直至获得故障目标，也就是维修目标。从而完成维修检测引导。

当知道维修目标时，维修人员直接选择进入现场离线维修功能，通过交互命令直接进入信息检索模块，检索关于维修目标的所有维修资料，通过交互命令选择所需维修的故障点相关维修操作资料，然后将操作引导信息传入增强现实模块，在AR眼镜主机实时显示，当结束一次操作后，通过交互命令再以相同的步骤进行下一次引导，直至维修结束。

当系统无法诊断出故障信息或信息检索模块未检索到故障点的维修资料时，则选择进入远程实时交互指导功能，通过网络向远程专家发送帮助请求，系统将远程传来的检测和维修操作指导意见显示在AR眼镜端，一步步辅助维修人员完成维修操作。

当进入维修培训功能时，首先通过交互命令调用故障诊断模块、维修引导信息模块、增强现实模块进行故障目标检测，得到维修目标，然后进入信息检索模块、维修引导信息模块、增强现实模块进行维修操作引导，直至维修培训完毕。

2 基础层详细设计

2.1 三维跟踪注册模块

三维跟踪注册是基础层最关键的一环。在维修检测过程中，要求三维注册模块实现虚拟引导信息与维修目标在世界坐标系下的位置和姿态相对保持不变。要实现此要求，首先需要对虚拟信息位姿进行初始化，然后再对摄像机位姿进行跟踪求解，进而通过坐标变化得到实时的虚拟信息位姿，从而保证虚拟信息和真实目标的几何一致性，达到指导维修的目的。本系统采用基于模板匹配的LINE-MOD[14]算法和ORB-SLAM2[15]来实现精确的三维注册。LINE-MOD算法是一种使用快速模板匹配、针对弱纹理物体的识别和检测方法，适合纹理单一的装甲装备系统部件识别。基于视觉SLAM(Visual Simultaneous Localization And Mapping，VSLAM)技术的摄像机位姿跟踪算法在静态场景中效果极好，并且不需要预先布置场景，其中基于特征点的算法发展比较成熟，是目前使用较广的位姿跟踪估计算法，2016年Mur-Artal等[15]提出的ORB-SLAM2是目前SLAM算法中非常完善且易用的算法之一，极其适合AR/VR的应用。

2.1.1虚拟信息位姿初始化

在计算机视觉中，通常采用第一帧图像下的摄像机位置作为世界坐标系原点，初始化虚拟信息的位姿也就是确定在此世界坐标系下的各维修目标的三维坐标。由相机投影模型可知像素坐标与三维坐标的变换关系为

s1p1=KP

(1)

其中：s1为点P的深度值；K为相机内参矩阵；p1和P分别为该点的像素坐标和三维坐标，相机的内参可以通过提前对相机标定确定，像素点的深度值可以通过深度相机获得，因此虚拟信息位姿初始化关键核心是通过检测与识别得到图像坐标系下的目标位置。

本系统采用基于模板匹配的LINE-MOD算法在图像中进行维修目标的检测，确定其在图像中的位置，进而得到它的三维坐标，并以检测到维修目标图像时的摄像机位置作为系统的世界坐标系原点，将此图像作为进入SLAM模块的第一帧图像。由于实际装甲装备中各部件的位置相对固定，因此只需进行一次识别，然后通过测量就能得到其他部件的三维坐标。

它将RGB图像的主梯度方向和深度图像的法向量方向结合作为特征子，首先采集待检测目标图像，提取特征子模板：

T=({Om}m∈M,P)

(2)

式中：O为模板特征，表示RGB图形中的梯度方向或深度图像中的法向量方向；P为参考图像中特征所在位置r的集合。之后网格化待检测图像，通过检测窗口滑移进行模板匹配，以提高匹配速度。提取待匹配图像I在位置t处的特征，与模板作相似性比较：

(3)

式(3)中：

fm(Om(r),Im(t))=|rad(Om(r))-rad(Im(t))|表示待匹配图像I在位置t的特征方向弧度与参考图像O在位置r处的弧度差的绝对值。

当εs(I,T,c)高于阂值γ时，认为该模板被匹配上，画出检测结果的包围盒，将包围盒的几何中心作为维修目标中心点的二维坐标，通过P=K-1·s1p1得到维修目标中心点的三维坐标，进而得到所有部件的三维坐标。以坦克操纵台为例进行验证，实现了对操纵台的检测，检测流程如图3所示。

图3 操纵台检测识别流程示意图

2.1.2基于ORB-SLAM2的摄像机位姿估计

摄像机的位姿估计是对每一帧图像下的摄像机旋转矩阵和平移矩阵进行估计。本系统采用ORB-SLAM2特征点算法的来实现对摄像机位姿的跟踪估计。ORB-SLAM2系统流程如图4所示。

图4 ORB-SLAM2系统流程框图

ORB-SLAM2对光照、动态物体不敏感，可在CPU上直接运行，包含单目、双目和RGB-D相机实现方案，还包含跟踪、局部建图和回环检测3个平行线程。如图4所示，系统首先进行跟踪线程，接收检测到维修目标后的RGB图像，寻找帧图像的ORB特征，利用尺度金字塔和灰度质心法使特征具有尺度和旋转不变性，通过候选关键点搜索和比例阈值筛选缩小匹配范围，之后进行匹配剔除误匹配，得到正确匹配关系的特征点，然后通过对极几何进行运动估计，求解变换矩阵后运用BA算法最小化重投影误差，进行跟踪和定位每帧的相机。同时还建立局部地图，运用局部的BA算法设置局部地图并且优化。而且还可通过回环检测执行位姿图的优化来更正累计漂移误差。在位姿优化之后，会启动第四个线程来执行全局的BA算法，来计算整个系统最优结构和运动的结果，当跟踪失败后，会启动位置识别模块，进行重新定位。在坦克内部环境使用此方法进行摄像机位姿估计，效果较好。

2.2 故障诊断模块

2.2.1装甲装备系统故障树

本系统采用基于故障树分析的方法来实现故障流程的梳理，故障树分析法[16]是以设备故障点为起点，逐层分析设备产生故障的原因，用“逻辑与”和“逻辑或”将故障现象和各级故障原因连接而成的因果关系图分析法。故障树由顶事件，中间事件和底事件组成，顶事件是故障现象，中间事件为故障现象判断，底部事件为故障原因。明确故障树顶事件是合理推算的关键，合理的顶事件能够保证顺利推理到导致其发生的故障底事件。

对于装甲装备系统来说，系统整体结构及工作原理非常复杂，因此首先通过查看相应资料和询问专业人士对装甲装备系统装置进行结构、功能层次分解，了解系统及分系统的工作原理，然后确定装甲装备故障集，明确典型故障现象，最后对故障影响关系进行分析，确定故障之间的逻辑关系，将存在的逻辑关系事件用与门、或门连接起来。以火控系统为例，建立坦克火控系统启动故障树。由于坦克火控系统启动时各部件会按照一定的顺序上电工作，具有明显的声音信息，并且各部件有明显的指示灯亮灭，因此选择2、5、6号部件上电声音以及1、3部件上的指示灯亮灭作为故障树的顶事件，进行故障原因的推理。坦克火控系统启动过程部分故障树如图5所示，其中蓝色为顶事件，红色和白色为中间事件，黄色为底事件。

图5 火控系统启动故障树示意图

2.2.2可穿戴式维修检测适配器设计

本系统选择蓝牙作为可穿戴式维修检测适配器的无线通信方式，并且针对装甲装备测试口信号设计了一套蓝牙采集信号卡。蓝牙技术具有抗干扰能力强，安全性能好，软硬件实现简单的特点，适用于噪声大的装甲装备维修环境。此板卡从装甲装备部件测试口取26V电作为供电电源，采用ALTERA公司的FPGA作为中央处理器，选用AD7687作为AD采集芯片，选择HC-02作为蓝牙串口模块，对采集卡的复位电路、时钟电路、JTAG电路、RAM扩展电路、Boot启动引导电路、电源电路、ADC接口电路、蓝牙接口电路分别进行设计，同时对采集卡的软件单元进行设计，最终实现了对3路交流±36 V@400 Hz、3路直流0～150 V和30路直流±30 V的信号采集，在坦克实车上成功实现了对炮控箱测试口信号的采集与传输。其硬件结构如图6所示。

图6 蓝牙采集卡硬件结构框图

2.3 维修引导信息模块

维修引导信息模块主要是用来存储包括二维的文字、图片、视频辅助引导信息和三维的虚拟模型引导信息。二维维修引导信息主要包括火控系统部件名称、检测维修操作步骤和工具等基础信息，三维的虚拟模型引导信息主要包括火控系统部件模型，维修检测的操作动画等三维模型信息，二维的维修信息可直接在Unity3D中以贴图方式进行渲染，三维模型信息则需要首先利用3D MAX对装甲装备系统各部件进行建模，重点对装甲装备的故障点进行从内部到外部的精确建模，同时还包含对这些故障位置的维修动画制作，然后将建好的模型与信息分类存储，再导入unity3D中进行使用。建立的坦克火控系统操纵台模型如图7所示。

图7 坦克火控系统操纵台模型示意图

3 实验验证

系统的硬件环境为HoloLens眼镜、JABE-36B蓝牙万用表、惠普 Z8 G4 Workstation计算机等，编程开发环境为Unity 3D、3D MAX、Open CV4.0、Visual Studio2017。其中HoloLens眼镜是系统的实现载体，具有眼动、语音、手势的交互方法。首先在计算机上利用Unity 3D和VS 2017进行系统的开发，而后再移植到HoloLens眼镜进行测试。系统相关硬件设备如图8所示。

图8 系统相关硬件设备

对于“2号部件工作，1号部件SA1指示灯未亮”故障现象的故障检测引导信息显示流程如下，维修人员通过语音或手势交互命令进入系统的检测模块，系统通过三维注册模块得到维修信息的精确位置，系统将第一个中间事件的虚拟信息“SX8-29接口的电压是否为26V”显示在3号部件右侧位置，并用虚拟箭头指引维修人员将视角移动到3号部件位置，而后系统将通过蓝牙接收的电压值显示在当前界面中，维修人员判断后通过语音交互或手势交互选择“是”或“否”，若“是”则将“1号部件HL1灯或与3号部件连接线缆故障”的诊断信息显示在界面中，并用虚拟箭头指引维修人员将视角移动到1号部件前；若“否”，系统将“SX8-30接口的电压是否为26V”显示在3号部件右侧位置，系统再次调用蓝牙接收电压值，维修人员通过交互命令进行选择，若“否”，则将“固定器24SB或与③连接电缆故障”诊断信息显示在界面中，并用虚拟箭头指引维修人员将视角移动到固定器位置，若“是”则再进行下一步判断，直至进行到故障树终点，找出故障。实验结果表明：该系统能够完成维修过程中的引导。

4 结论

1) 本文设计的增强现实维修引导系统一定程度上实现了增强现实技术与装甲装备维修保障工作的结合，具有较高的实用价值。

2) 系统具备较强的开放性和通用性，能够实现对不同对象和任务的诱导维修。基本实现了“以人为中心”的维修，为解决战场快速抢修问题提供了思维和途径，在提高我国军用装备维修性、保障性方面具有价值，但此系统对部件的识别能力弱，三维注册还不够准确，系统整体延迟较大，还需要进一步完善和提高。