基于MR(混合现实)技术的城轨车辆智能运维教学平台建设与应用研究

姜辉 郭玉臣 李育灵

摘要：为了解决城轨车辆专业在智能运维教学中出现的实训设备几乎空白、教学效果不佳等问题，提出建设一种基于混合现实技术的城轨车辆智能运维教学平台。阐述了智能运维教学的背景，分析了混合现实技术用于城轨车辆智能运维教学的可行性，利用MR技术和计算机智能化手段设计并实现了集教学、实训、考核、评价与远程协助等功能于一体的教学平台，弥补了国内城轨车辆智能运维实训环境的空白，显著提高了智能运维教学效果和评价效率。

关键词：混合现实;智能运维;远程协助;城轨车辆教学

中图分类号：TP311      文献标识码：A

文章编号：1009-3044（2022）22-0060-04

1 背景

随着我国城市轨道交通建设高速发展，国内部分一、二线城市已经形成网络化运营，面临着建设与运维的双重压力，借助智能技术发展智能运维成为当前各大城轨运营企业更好地适应城轨交通网络化运营需求、提升设备设施运维管理水平、推动创新技术装备落地應用的主要方式[1]，这样的发展趋势对城轨车辆相关专业职业教育提出了新的要求。

2008年起，我国教育部门颁布一系列文件，明确指出职业教育要“遴选和开发1500套虚拟仿真实训实验系统”“支持与专业课程配套的虚拟仿真实训系统开发与应用”“建设高速校园网络及各种数字化教学装备，建设职业教育虚拟仿真实训基地”，从而确立了虚拟现实技术在职业院校实践教学中的重要地位[2]。目前应用最广泛的现实新技术有虚拟现实（VR） 、增强现实（AR） 和混合现实（MR） [3]，其中MR可以突破VR、AR的局限，具有更高的交互性和沉浸深度[4]。在轨道交通行业的相关专业教学中，引入 MR技术用于城轨车辆智能运维教学过程中，特别适用于车辆关键部件故障诊断、拆装、维修等实际操作，因此，基于MR技术的城轨车辆智能运维教学平台在提高教学效果、弥补城轨交通智能运维实训教学空白等方面具有重大的意义。

2 平台需求分析

2.1 现状分析

目前，城轨车辆专业高职学生培养仍局限于传统运维理念的灌输，无法适应智能运维发展的需要，经调研，系统的轨道交通智能运维实训平台在我国高职城轨车辆专业教学中几乎空白。

为此，本课题基于城轨车辆传统课程教学，力求将城轨车辆智能运维概念融入教学，构建全新的数字教学实训平台，实现城轨车辆关键部件智能运维教学过程理实一体。实训平台是主体结构基于混合现实技术（MR） 的教学系统，涉及城轨车辆故障频次较高的部件故障诊断、拆装、维修等实际操作，并通过存储、应用部件知识库和既有故障信息，实现故障树分析，通过 AI 云计算方法，模拟故障处置的专家决策，为学生提供智能运维全过程实训环境。

依托该智能运维教学平台，通过对城轨车辆特性建立完整、精细的三维模型，从原理、操作、维护等方面构建学习体系，实现知识的一体化、动态化;基于信息化技术手段，按照城轨车辆专业人才培养目标，实现以工作过程为导向的学习，帮助学习者完成特定工作领域、环境、条件下的综合性工作任务，促成“工作过程中的职业学习”[5]。

2.2 功能分析

MR与3D交互展示功能：系统将课程中智能运维教学内容涉及的城轨车辆关键部件外观和结构利用MR和3D建模技术创建出来，并在MR环境中添加文字、语音和交互控制，全方位地讲解演示相关部件的工作原理、故障模式和智能运维方式。

沉浸式实训环境与过程实训结合功能：系统基于车辆关键部件的故障诊断、拆装、维修等实际操作知识和智能运维概念，结合故障树分析和云计算模式，实现故障诊断和故障智能决策仿真以及智能运维流程仿真。通过获取周围真实环境中，学生的操作数据与虚拟的动态画面相结合，构建深入的交互式实训环境，同时实时追踪学员的操作进行智能判断与评价，在实训结束后提供实训成果记录，便于学员复盘反思二次学习。

教学测试功能：为检验教学与实训成果，系统还将设置测试模块。系统将为教员提供设置题库的权限，题库等数据存储在数据库中供MR眼镜端获取，操作考试过程与实训相类似，考试全程也将自动进行实时监测并允许教师360度视角查看、检查各处操作细节，操作考试与理论考试加权相加进行智能综合评价，提高效率、弥补传统教学的不足并优于传统教学。

远程协助功能：当学员遇到复杂的故障识别和检修场景时，可能无法独立解决问题，系统将设置远程协助模块为学生提供指导[6]。远程协助中二者将共享虚拟空间画面，远程教员结合实际场景和学生反馈给出意见和建议，系统还允许教员上传图像、文字至虚拟空间和在虚拟空间做标记，辅助学员解决问题。

3 平台总体设计

3.1 设计思路

结合城轨车辆智能运维和MR技术的特点，在轨道交通传统课程教学的基础上，平台考虑以如下的思路设计实现。

1） 在MR环境中实现城轨车辆关键部件外观、结构认知仿真。

在基于混合现实的城轨车辆智能运维的全息化教学中，通过播放文字字幕、语音、视频，伴随着可以看得见的真实城轨车辆关键部件的运行原理、拆装过程，实现部件外观、结构认知仿真。

2） 在MR环境中实现城轨车辆关键部件智能运维实训过程评价。

在基于混合现实的城轨车辆智能运维的全息化教学中，通过设置实训模块和操作考核模块，实现城轨车辆关键部件智能运维实训考核预评价与最终考核评价。

3）在MR环境中提高3D渲染效率。

在MR控制系统中，在实现于编辑器中多轨道编辑语音、动画、物体显示等基本功能并编译至终端设备的基础上，通过平衡3D模型的精度或者面数与渲染之间的关系，提高MR环境中的3D模型渲染效率[7]。

4） 构建多人智能运维的教学环境。

利用MR技术所提供的平台软件，构建多人智能运维的教学环境，实现基于MR的多人智能运维的教学环境。

5） 在城轨车辆智能运维教学平台中嵌入各专业课程模块。

在基于混合现实的城轨车辆智能运维教学平台中，与相关教师团队一同研究智能运维相关原理的教学剧本，依据教学需要在平台中嵌入不同模块，分别对应不同城轨车辆关键部件的教学、实训和考核，提高平台自适应性，实现轨道交通专业多课程的嵌入和移植。

3.2 逻辑结构设计

逻辑上系统数据经过基础数据层处理后，形成规范的关系和非关系数据库，数据库经数据引擎被系统业务逻辑模块处理，处理结果供各应用模块调用，最后以PC端、MR端软件或手机端App形式供各类用户使用。

系统建设考虑现在和未来发展需求。现阶段解决轨道交通专业智能运维教学的痛点问题，同时做好接口等预留，为未来逐步引入其他专业课程教学数据进行全息体验式教学做准备。

基于MR的城轨车辆智能运维教学平台逻辑分为四层，分别是基础数据层、业务逻辑层、应用接入层、展示层。

3.2.1 基础数据层

基础数据层是城轨车辆智能运维教学系统的一个核心的部分，对城轨车辆关键部件，如受电弓、塞拉门等进行精确地建模，实现外观认知仿真的教学，需要收集课程理论资料、城轨车辆关键部件资料等，追踪学员实训和考试的行为、形成真实沉浸的交互并进行评判需要收集现实环境数据，检验学员理论知识的掌握程度还需要收集理论试题数据，对用户进行管理需要收集班级信息、学员信息等，系统会把这些相关的数据都存储在关系与非关系的数据库。

3.2.2 业务逻辑层

业务逻辑层是在数据的基础上完成任务的关键，以底层数据为基础，在此基础上实现故障识别、故障诊断、远程协助、人机交互、智能评价、实训流程引领、资料管理等逻辑功能。

故障识别和诊断主要是构造故障树，利用云计算模式分析得出现有部件是否有故障、故障的具体情况，以提出解决方案。远程协助是获取佩戴MR头显的用户看到的现实画面，与远程用户共享，远程用户根据现实画面做出提醒或标记在虚拟空间显示，协作实际环境中的用户完成操作。人机交互是结合用户周围的真实环境数据与MR虚拟环境，进行图像、语音、视频的渲染，给人身临其境的实训感受。智能评价是对比并分析学员操作过程、操作结果和正确的步骤、结果，给出评分和改正提醒。实训流程引领是在实训任务执行中对比维护流程和学员操作，进行正确的流程显示和指导。资料管理是通过构造权限哈希表在平台运行全过程维持有序性和规范性。

3.2.3 应用接入层

应用接入层包含城轨车辆智能运维教学的全过程逻辑。智能运维教学平台的实训教学遵循传统教学由浅入深、由易到难的方法，通过三维视频演示进行外观结构的理论教学，在此基础上进行MR环境下的虚拟操作引导和评价作为预考核，最终通过理论考试和MR环境下的操作考试来综合检验智能运维平台教学效果。远程协助依托MR技术，可将教员的远程指导在虚拟空间中显示，实现精准纠错和高效协助。

3.2.4 展示层

展示层方面分为两部分，教员系统部署于PC端，学员系统部署于MR眼镜端，另外远程协助软件资源可以部署在PC端和手机端。

3.3 拓扑结构设计

系统采用客户/服务器模式，分内网、外网两个部分。内网主要是平台子系统服务器、数据库和客户端。服务器和數据库完成数据存储和逻辑计算，客户端完成各系统使用;外网主要通过互联网方式提供给用户使用接口。

3.4 功能设计

1） 教学功能

结合所应用的城轨交通专业课的具体需要，直观展示和讲解每个知识点，如受电弓、塞拉门的结构认知和维护操作知识，根据其相应的机械特性和电气特性建立完整、精细的3D模型，利用MR技术播放。从原理、操作、运维等方面进行文字和语音相结合的讲解，并能够对视频做相应的播放、暂停、声音控制等常规操作。

2） 实训功能

在实训模式下，不同专业的学生可以选择相应的实训任务进入三维实训界面，界面显示用户和任务的基本信息以及任务的操作流程。用户可根据需要选取工具，在虚拟环境中按照操作流程进行操作，系统智能监测用户在平台实训环节中的实训行为，并做出实时评价。一旦学生出现错误操作，系统提示扣分并引导学生按照正确的步骤完成任务，完成后自动进行得分统计和评价，规范学生操作技能，提高教学评价的效率。

3） 综合测试评价功能

综合测试评价功能分别面向管理员、教员和学生，允许教员设置题目、记录设置历史、实时查看学生考试情况和考试结果记录，管理员设置测试环境。在测试模式下，学生选择理论考试或操作考试进入不同界面，理论考试结束后可实时查看成绩和解析，操作考试则进入相应的三维界面，正确选择工具进行操作，系统将自动记录操作并智能评价，给出测试结果和分析。

4） 远程协助功能

远程协助模式中，教员可远程为在作业现场遇到突发情况、疑难故障等复杂情况时的学员提供精准、高效的解决方案。现场学员通过智能头显设备创建房间、向远程教员发起视频协助邀请，远程教员将与学员实时共享虚拟空间图像、音频和视频，根据学员的实时反馈在虚拟空间中做标记、文字或上传文件，相应的标记转化为三维模型立体浮现在学员眼前，精确指示故障所在和提醒正确操作步骤，以辅助解决问题。

5） 管理功能

管理功能包括用户管理和数据管理。用户管理涉及用户的注册、登录管理和不同用户的权限管理;数据管理涉及教学资料，实训过程中学生的操作记录数据，测试过程中学生的答题数据、系统评价数据以及远程协助时参会人员数据等各方面管理。

3.5 流程设计

平台包含学员系统和教员系统两部分，分别部署在MR眼镜端和PC端，对两部分系统的流程设计进行分析。

学员系统的流程设计如图3所示，学员佩戴MR头显后登录进入模块选择页面，包含城轨车辆专业的多门实训课程，选择对应课程后进入项目，项目界面具有教学、实训、考核和设置四个子模块。教学、实训和考核三个子模块的使用流程相类似，点击子模块进入任务选择界面，选择相应的任务即可开始操作。设置界面则允许学员进行画质或声音等的调整操作。

教员系统的用户可划分为管理员和教员两种不同身份，具有不同的权限，笔者分别有针对性地设计使用流程。如图4所示为管理员的流程设计，管理员系统首页，包含班级管理、学员管理、教员管理和密码设置四个子模块，三个管理模块都包含对相应对象的查询、增加、修改、删除以及导入和导出的操作，密码设置则允许管理员设置登录的密码。

教员登录后进入系统，面向教员的子模块分别为学员监督、题库管理、试卷管理、考试管理、考试统计以及密码设置。进入学员监督模块可选择学员查看其当前在线情况和过往完成情况统计，进入管理模块可进行对管理对象的查看和编辑，考试统计模块提供考试总体统计情况和学员个人具体统计情况供教员查询，以判断教学效果。

远程协助的使用流程分析为，用户登录后首页包含创建房间、加入房间、个人信息和系统设置四个子模块，进入房间后，房主可以邀请用户，所有用户都可以在房间页面进行音视频的管理、主屏幕切换、窗口模式设定、文件管理和个人信息的编辑，PC端用户还可以在进入房间后进行截屏、录屏、空间标记和消息发送，双方可全程实时共享虚拟空间进行流畅的远程协助操作。

4 实现与应用

4.1 电客车受电弓教学系统

系统分为教师端和学员端，电客车受电弓MR软件资源部署于MR头戴式显示设备，教员软件资源部署于PC或台式电脑，两端可独立运行又能协作配合。

教员端初始界面为登录界面，通过登录信息，确定用户身份和权限。用户有两种身份，分别为管理员和教员，管理员拥有班级、学员、教员管理等权限，实现相应模块的数据的增删改查以及导入导出功能;教员拥有题库、试卷、考试管理及统计等权限，能方便快捷地在各个模块设置多种题型的题目，以及实时查看学员的操作情况，有效提高教学工作的效率。

学员端集成了教学模块、实训模块和考试模块三个子系统。教学模块通过对受电弓外观、组装、应急升弓、ADD风管断裂等关键结构和操作进行准确严密的建模渲染，得到“临场感”极强的三维演示动画，用户可自由选择进入相应任务的三维场景，并进行场景展示细节的调整，如图5所示，通过体验式学习使学习效率、知识理解和知识记忆持久度得到大幅度提升。

实训模块中包含受电弓组装、静态压力调整、升降弓时间调整、碳滑板更换四个任务，选择任务进入对应全息虚拟空间，开始任务后，系统启动倒计时并引领学员按照任务流程提示进行操作，系统智能实时检测操作规范性并给出评分和提示，每个任务的各个步骤都通过系统自定义的流程节点数据结构进行记录表达。测试模块包含理论测试和操作测试两个功能，操作测试中系统将全程追踪评价，同时允许教师进行全方位的监测和细节的查看，达到公正、全面的评价效果。

4.2 远程协助

系统还具备远程协助的辅助功能，为学员在实训中遇到的问题提供高效准确解答。学员无法独立解决复杂故障，需要寻求帮助时，通过MR头显进入远程协助模块，进入教员创建的答疑室，教员接受后可实时为学员答疑解惑。双方都可以设定合适的音频播放效果和屏幕画质显示效果，教员通过立体标记和文字提醒指出问题所在，标记和文字会在虚拟空间中全息实时展现供教员参考。教员还可以通过上传文件的方式为学员进行讲解，通过截屏和录屏记录答疑过程，留存以供学员进行课后复盘和学员间的知识共享。远程协助能够克服地点和人数的限制，达到身临其境的指导效果，帮助学员快速解决问题、掌握技能。

5 总结与展望

基于MR（混合现实）技术的城轨车辆智能运维教学平台在城轨车辆专业传统教学基础上，运用MR（混合现实） 技术，将抽象复杂的智能运维概念转化为具象的虚拟3D模型动画，在虚拟世界、现实世界和用户之间搭起交互反馈的信息回路，利用MR实时交互、三维配准的特点，结合云计算和故障知识库在体验式学习中引领学员熟悉和演练规范化的运维检修操作，有效提高学生对智能运维教学环节和理解和实训技能的掌握，并通过实训和测试全过程的追踪评价，减轻教学负担，提高教学效率。

为更好地发挥系统作用，后继需要做好以下工作：

1） 丰富平台课程资源，拓展平台适用面。通过与相关教师团队讨论、制定更多轨道车辆关键部件在MR环境下的教学剧本，使平台集成更多的轨交专业课程模块，横向拓展平台使用的专业适配性。

2） 提高平台MR环境交互效果。通过观察平台现有课程的实训和考核模块在使用过程中的3D渲染效果和交互性，总结效果不足之处进行持续改进。

3） 推广平台至轨交大类以外的职业实训教学中，助力数字教学模式的改革。尝试将其他需要职业工作情境作为教学辅助的专业课程植入平台，促进职业教育信息化变革。

参考文献：

[1] 张凌翔.关于推进城市轨道交通智能运维发展的几点思考[J].城市轨道交通研究，2021，24（S1）：4，197.

[2] 陈明选，黄浩，周潜.数字校园支撑职业院校教育教学改革的核心要点——《职业院校数字校园规范》解读之二[J].中国职业技术教育，2020（34）：10-15.

[3] 顾君忠.VR、AR和MR-挑战与机遇[J].计算机应用与软件，2018，35（3）：1-7，14.

[4] Kucera M.Mixed reality：ich sehe was，was du nicht siehst[J].Kma - Klinik Management Aktuell，2021，26（4）：47-49.

[5] 李曉东，师伟.论职业教育课程中的“学习型”任务[J].职业技术教育，2021，42（17）：30-33.

[6] 袁振霞，边亚东，赵毅，等.远程协助虚拟仿真技术在土木类实践教学中的探索[J].实验室研究与探索，2020，39（10）：203-207.

[7] 周念梅.基于折纸的混合现实英语教学系统的设计与实现[D].济南：山东大学，2019.

【通联编辑：唐一东】