Hololens混合现实Leap发动机诱导维修系统开发

向锦鹏 蒋思毅 许永嘉 薛焱洁 刘涵 张健 张超智 郭庆

摘要：隨着5G通信、人工智能（AI）、虚拟现实（VirtualReality，VR）、增强现实（Augmented Reality，AR）和混合现实（Mixed Reality，MR）等技术的发展，结合多媒体体系交互得新型信息教学方式变得可能。基于当今民航维修业发展趋势，顺应混合现实技术在国内的迅速发展及大环境下互联网技术的发展模式，本系统研究并开发了以用户为中心的人性化、智能化的Hololens 混合现实 LEAP发动机诱导维修系统，帮助用户完成复杂的维修工作。以虚拟集成开发平台Unity3D核心，结合Solidworks、3Dmax、C4D等对场景中的机械以及人物进行建模;在CPU层面借助Visual Studio编辑器采用C#脚本语言为核心的多语言开发，结合在GPU层面的图形渲染编程语言，突出虚拟中的优点以及重点的视觉效果;利用混合现实交互技术以及Vuforia进行实物扫描与识别，实现虚拟和现实的对接，形成视觉、听觉、触觉结合的多媒体交互体系，突破空间、时间和现实约束，在现实世界中投射出全面、逼真、可交互的航空发动机模型，构建以Hololens为基础的三维混合现实维修体系。

关键词：混合现实诱导维修多媒体交互机务培训

中图分类号：TP391.9文献标识码：A        文章编号：1672-3791（2022）01（b）-0000-00

Development of Induction Maintenance System for Hololens Hybrid Reality Leap Engine

XIANG Jinpeng   JIANG Siyi   XU Yongjia  XUE Yanjie  LIU Han

ZHANG Jian  ZHANG Chaozhi  GUO Qing

（College of Aeronautical Engineering， Civil Aviation University of China， Tianjin， 300300 China）

Abstract： With the development of 5G communication， artificial intelligence （AI）， VirtualReality （VR）， Augmented Reality （AR） and Mixed Reality （MR） technologies， it is possible to integrate the interaction of multimedia systems into new information teaching methods. Based on the current development trend of civil aviation maintenance industry and in line with the rapid development of hybrid reality technology in China and the development mode of Internet technology in the general environment， this system studies and develops a user-centered humanized and intelligent Hololens hybrid reality Leap engine induction maintenance system to help users complete complex maintenance work. Taking the virtual integrated development platform Unity3D as the core， combined with Solidworks， 3Dmax， C4D， etc.， to model the machinery and characters in the scene; At the CPU level， with the help of visual studio editor， the multi language development with C# script language as the core， combined with the graphics rendering programming language at the GPU level， highlights the advantages of virtual and key visual effects; The hybrid reality interaction technology and Vuforia are used for physical scanning and recognition to realize the connection between virtual and reality， form a multimedia interaction system combining vision， hearing and touch， break through the constraints of space， time and reality， and project a comprehensive， realistic and interactive aeroengine model in the real world， Build a three-dimensional hybrid reality maintenance system based on Hololens.

Key Words： Mixed Reality;Induction of maintenance;Multimedia interaction;Maintenance training

在航空航天领域，MR 技术可构建出逼真的航空发动机模型，结合全息影像，并通过手势识别、触觉反馈、生理计算和语音交互技术实现发动机零部件的拆解、尺寸/材料设计、组装和运行模拟[1]。由于发动机内部结构复杂，零部件极多，维修难度较大，机械零件昂贵，发动机的性能深受维修质量的影响，故发动机维修对维修人员的操作技术要求极高。现阶段，民航发动机维修教学主要依靠翻阅纸质文档或查阅电子手册这种单一的书面教学形式，该方法可读性差且不易理解和使用，在维修过程中易出现装配差错，无法及时得到纠正和指导.在现实教学中，同学们进入实地维修场地机会较少，不利于学生的学习与维修技能和经验的累积。面对民航发动机维修拆装教学不便进行实地操作以及操作教学精确度不足的问题，迫切需开发一种人性化、智能化的辅助维修教学工具，辅助学生准确掌握技术手册中要求的各种操作流程和要领，使操作者以第一人称视角享受身临其境的发动机拆卸体验，并参与到操作虚拟环境中的仿真模型中[2]，掌握民航发动机维修装配工作。而MR 技术具有“现实”和“虚拟”的可互动性，利用混合现实技术的多媒体交互方式以及对于三维模型的可视化功能，结合便携式头戴设备Hololens的实物识别技术，保障教学精确度，减少因缺少实地操作而使学生出现操作误差的现象。

1 基于Unity-Android平台发动机诱导维修

1.1 高通识别

高通（Vuforia）是一种基于Unity的开发平台使用的插件，结合运用特征点辅助扫描坐标纸、安卓端程序Scanner以及高通官方网站，通过手机端摄像机实现2D图像或3D物体特征点的提取与扫描，同时利用Vuforia图像的灰度处理功能，在导入Unity平台前对图像信息进行预处理，将Vuforia用于Unity-Android、Unity-Hololens等平台的混合现实开发当中。在预先认识了解LEAP发动机及其各个部件的结构和功能的前提下，项目组成员经过实验对比分析，最终发现作为组成零部件之一的发动机阀门部件因其外形可提取特征点较多且体积较小适用于扫描，将其作为高通识别的研究对象。（1）准备好1：1高还原度的发动机阀门零件，随后为实验研究所用移动端通讯设备配置Scanner特征点识别扫描软件（2）为Unity配置Vuforia插件并设置开发环境（3）为实验场地布置全方位单色光照灯，避免阴影或其他光照因素影响对零件特征点的掃描（4）使用Scanner对发动机阀门部件进行三维特征点提取。在导入到Unity平台前通过灰度处理以及色差调整，当开启摄像机后获取到物体的TrackingStatus后，根据实际需求设置可跟踪状态为Extend或Limited，自定义物体在识别成功前后的状态参数，实现诱导型维修的虚实叠加环节。

1.2 虚拟按钮

虚拟按钮是高通插件中自身配置的一种可用于Unity工程项目中增强现实开发的一类功能。将其添加入工程项目中时表现为一块用以遮挡已导入2D图片/3D物体数据部分特征点的四边形薄片。当该被遮挡部分特征点被设备摄像机发现并且识别时，触发虚拟按钮在真实物体上的附加呈现效果。该功能又将上述四边形薄片覆盖区域分出一块相似形状的小区域模块用于模拟虚拟按钮触发与否的判定，即当该区域内特征点被遮挡时触发按钮“按下”时的效果;当该区域内特征点未被遮挡且被摄像头成功采集时触发按钮“松开”时的效果。如此达到了按钮随实体零件而走的虚拟按钮控制的混合现实交互效果。预先在Unity开发平台配置适用于Unity-Android发布的功能场景项目，并为该项目进行文件优化与安全检查，保证手机APP软件的成功发布、正常、流畅运行且不对使用者手机非硬件设备造成不可逆损害。虚拟按钮可触发的交互效果多样，例如但不限于以下效果的开发实现：用户将开发完成的安卓端程序导入并启用之后可以通过手部遮挡控制现实物体中附加的虚拟按钮来达成如下交互效果：当按钮被按下时，显示半透明的功能介绍UI菜单;当按钮被松开时，隐藏该功能介绍UI菜单。开发者可在导入程序之前主观自由编辑菜单内容，任意设计字体格式、菜单边框、开启音效/动画等个性化效果。

1.3 UI菜单

UI菜单是基于Unity平台自带的交互功能。与虚拟按钮不同的是，UI按键归属于工程项目场景，在安卓端程序中表现为固定在现实屏幕中的UI板块。虚拟按钮跟随摄像机视野中的特定事物移动，而UI按键跟随使用安卓程序的移动式便携设备的操控界面移动。开发者可为其添加的交互效果相比于虚拟按钮更加多种多样。例如但不限于如下交互功能的开发：用户将开发完成的安卓端程序导入并启用之后，将摄像机对准实体发动机阀门零件，这时可在手机屏幕中观察到附加在实体零件静止的虚拟扭动扳手以及附有文字说明“开始装配”的固定UI按键。用户可通过手部动作在移动设备屏幕进行点击达成与UI按键的交互。当按钮被按下时，启动虚拟扭动扳手转动动画，扳手将进行符合常识性的-90°至+90°的匀速定轴往复旋转，并将按键附加说明替换为“结束装配”字样，模拟用户使用工具与发动机阀门零件对应螺钉的交互行为动作;当按钮被松开时，即刻停止虚拟扭动扳手转动动画的播放，并将说明提示字样替换回“开始装配”字样。开发者可在导入程序之前主观自由编辑动画，任意设计按键说明字体格式、按键点击音效/动画等个性化效果。

2 基于Unity-Hololens平台发动机诱导维修

（1）利用SolidWorks以及3D Max建立发动机模型，通过对模型几何信息的获取和发动机工艺信息的获取，建立虚拟维修信息库。（2）通过Unity平台调节虚拟引导信息在维修环境中显示的内容、时间和方式、Unity中语音、手势等交互命令的设置及其对应的触发事件、整体场景环境以及各虚拟控件对应的触发事件形成虚拟维修引导管理系统。（3）通过识别现实中的物体，调整实物与发动机部件之间的相对位置关系，实现虚拟引导信息与真实模型之间精准配合。基于Hololens开发平台，在混合现实中结合C#语言以及MRTK实现对应功能，满足维修过程中人机交互的需求。通过手势识别技术在较短时间内完成高精度的维修操作，同时通过UI提示标识和语音的有机结合搭建多媒体混合现实维修体系。

可用于混合现实功能开发的MRTK是一种基于Unity开发平台连接Hololens头戴显示设备一类具有强大功能的插件。开发者在为Unity工程项目导入MRTK插件时，需要根据开发需求以及硬件产品设备信息限制进行详细的设置与调整以适应于工程项目的开发。MRTK插件为用户提供能够应用于混合现实诱导维修LEAP发动机系统中的交互功能，我們主观上将其分为以下两个主要部分。

2.1 语音交互

Hololens头戴显示器自身配置了声音接受硬件，MRTK插件为用户提供了多种感官的交互体验功能，在传统视觉交互的基础上添加了听觉、触觉等交互手段，二者使Hololens端混合现实诱导教学系统的体验丰富而沉浸成为可能。在众多交互功能中语音交互无疑成为了一大突出亮点。开发者可根据自身需要主观能动地进行语音交互的触发关键字Keyword的自定义设置，但是由于插件本身的限制，语音指令只能以标准的特定英文格式存在。同时，开发者可以自行设定丰富的触发效果，以如下对虚拟维修系统的开发为例：加入MRTK插件并为其配置适配软件环境，在程序开发时设置关键词“Start”与“Stop”并为其创建触发效果。用户在导入工程软件并载入后，用户可在视野内观察到Leap发动机整流罩三维模型。可当用户下达语音指令“Start”时，开启Leap发动机整流罩爆炸视图模型，直观展示发动机三维立体结构，便于用户对发动机部件的学习与理解;当用户下达语音指令“Stop”时，恢复发动机原型结构。模拟运用Hololens端混合现实诱导维修系统中发动机结构零件的现场教学。

2.2手势交互

Hololens手势识别可以通过两种方式来进行：（1）基于空间位置，检测到手指在 3D 空间的位置变化，并由此来推断出各种手势。这种方法容易实现，但结果并不准确。（2）基于机器学习，利用计算机的计算能力来学习手势并进行识别，但需要提供大量的原始数据进行训练。HoloLens2 已经通过机器学习将用户需要的基本手势在硬件中建立起来，可以直接调用[3]。

MRTK为用户提供了多样的手势交互功能，例如手势跟随、UX菜单展示及划动翻阅交互、虚拟物体放缩调节、进度条拉伸控制等。以如下对虚拟维修系统的开发为例：佩戴Hololens头戴显示，配置Unity-Hololens段发布的软件工程。用户在导入工程软件并载入后，可在视野内观察到Leap发动机整流罩三维模型。用户可通过手势动作与该模型进行交互。通过为可抓取部件添加碰撞域以及抓取状态监听脚本，当手部两指触碰到该部件时，可实现自由抓取/移动任意组成零部件，当动作指示为捏合动作时，对应物体跟随手部位置进行移动;当捏合动作取消时，对应物体停止跟随。同时开发者可为任意交互效果添加自定义音效或者动画，丰富整体体验感受.在基于Hololens的混合现实中，用户只需要佩戴轻便的头戴显示器便可以通往现实与虚拟结合起来的奇妙世界。通过与现实物体上附加的虚拟三维模型进行包含视觉、听觉、触觉等的多样化交互形式，结合高度还原的LEAP发动机及其各部分组成零件模型，用户可以深入且自由地开机械结构知识及其维修理论知识的学习。

3 MR技术应用于航空发动机维修的优势

3.1趣味性教学形式

混合现实技术是一种结合虚拟现实和增强现实的新技术，其将 CT、MRI等传统影像数据通过高效智能化图像分割算法进行 3D 重建渲染，进而将3D虚拟模型通过头戴式3D眼镜投射至现实世界场景中[4]。4MR 技术超现实的感官刺激，能够让工业生产中的机械结构和加工过程直接投射到现实世界，让学生有置身于其中的沉浸式体验。基于多媒体交互体系，获取到现实世界中用户的手势、语音、眼睛注视等多个状态参数后，生动形象地将课堂知识展现在学生面前，摆脱传统教育方式的刻板印象以及枯燥的教学形式，刺激学生的感官，让学生去主动学习。

3.2 空间扫描与跟踪定位

通过空间锚点以及空间扫描技术建立Hololens虚实定位体系。Holenlens具有深度摄像头，可对用户所处的房间或空间进行三维实时扫描，在混合现实的空间中建立虚实定位体系，解决维修引导系统中虚拟模型和真实发动机部件的配准精度低的问题。在空间中的某一个锚点中显示出相应的发动机模型，保证在发动机部件运动时虚拟模型配准的实时性。同时，通过跟踪定位技术使虚拟引导信息在真实维修环境中保持正确的位姿，解决虚实对象之间的遮挡问题，这不同于 AR 技术中影像的简单叠加，而是将现实中所获取的信息与虚拟世界对应，实现虚拟引导信息与真实机身段缩比件模型之间的精准配合，避免影响维修人员的正常维修操作。

3.3远程协同

互联网技术（例如云服务器、5G通信）在近年来飞速发展，使得实时的多用户、大流量、高稳定性传输变得可能。而MR技术可以构建多人协同式教学虚拟课堂，打破时间和空间的限制，使身处各地的学生能够在同一虚拟区域学习，在虚拟环境中实时漫游，查看飞机的结构、系统、设备信息及运行原理[5]，同时当某一用户操作被动物体时，其形态的各种改变会同步到所有场景内的人物[6]。通过便携式头戴显示器Hololens共享虚拟空间中的发动机模型以及工作参数，将科研数据直观地展现出来，使学生对发动机原理与构造有更深层次的认识。

4 结语

该系统以虚拟集成开发平台Unity为核心，结合Solodworks、Photoshop、Substance painter等对模型材质进行视觉美化和教学重点突出处理，增强用户交互时的融入感。通过Vuforia进行实物识别，完成虚拟和现实的对接;通过空间锚点以及空间扫描技术建立Hololens虚实定位体系;利用结合MRTK插件与Leap motion手势识别加入语音控制、跟踪定位、手势交互等功能体验。用户在开启工程软件后可以与LEAP发动机的虚拟3D模型进行近距离、多维度、高自由度的交互体验，搭建起完整的三维混合现实维修体系。Hololens混合现实 LEAP发动机诱导维修系统开发脱离传统单一的书本教学模式，实现了教学方法的多样化。在保证用户安全、避免实体操作发生危险的同时，使学习更加有趣、有效。

参考文献

[1]  杨晓龙，凌莉.混合现实技术在机械课程教学中的应用研究[J].高教学刊，2021，7（28）：90-93.

[2]  张青，郑岩，郭庆，赵洪利.航空发动机设备拆装快速装配仿真研究[J].计算机仿真，2018，35（3）：257-262.

[3]  吕秀琴，张生海.基于HoloLens2的DEM空间分析实验教学混合现实环境研究[J].实验技术与管理，2021，38（10）：124-129.

[4]  闫晓冬，侯建存，田青，等.混合现实技术在外科领域的应用研究进展[J].山东医药，2020，60（35）：112-114.

[5]  李荣强，文爱兵，花斌，等.航空装备虚拟维修训练仿真模型快速开发技术[J].系统仿真学报，2021，33（5）：1167-1176.

[6]  柳有权，王愿超，徐琨，等.基于混合现实的远程协同式装配维修引导[J].图学学报，2021，42（2）：216-221.