基于混合现实技术探究工业智能运维系统的设计与应用

李海涛 林建雄 李秋婷 魏晋宏 韩宇

[摘    要]在工业智能化的过程中，混合现实技术发挥了很大的作用，其现实和交互层的运用，为机械设备的运行与维护提供拟人化的功能设计，具有很广阔的应用前景，文章基于混合现实技术，对工业智能运维系统进行了设计和研究。

[关键词]混合现实技术;工业智能;运维系统

[中图分类号]TP391.9;TP399-CA [文献标志码]A [文章编号]2095–6487（2021）10–00–02

Exploring the design and application of industrial intelligent operation and

maintenance system based on mixed reality technology

Li Hai-tao，Lin Jian-xiong，Li Qiu-ting，Wei Jin-hong，Han Yu

[Abstract]In the process of industrial intelligence， mixed reality technology has played a very important role. The use of its reality and interactive layer provides anthropomorphic functional design for the operation and maintenance of mechanical equipment. It has a very broad application prospect. Based on the mixed reality technology， the industrial intelligent operation and maintenance system is designed and researched.

[Keywords]mixed reality technology; industrial intelligence; operation and maintenance system

混合现实技术是当前所有主流先进技术的集成。其在运维系统的应用展示了很好的兼容性和交互性，为工厂车间的机床设备提供了全面的维护保养，高超的智能化完成了可以替代人的检修任务，值得推广和普及。

1 基于智能运维系统的搭建

1.1 整体系统架构

从整体看，混合现实技术（MR）是目前各种先进技术的集成（图1），MR就是VR技术、XR技术、AR技术等技术的聚集。混合现实技术由多层结构组成，主要包括数据接入、边缘设备、应用业务、存储数据、应用实践等结构层次。

边缘设备层的作用是采集安置在车间设备、车间监控、工控设计端的大量传感器输送的各类信息数据。这是本套系统得以顺利运行所具備的前提条件。

数据接入层是按照实际情况对数据实施整个过滤和分流管理，同时把数据全部存入相同的空间里，也就是智慧云平台。这个平台还能存储通过外部接口接入的外部信息数据，并且还能把通过上层应用分析而产生的各种数据存储起来，其中包括但不仅限于运维操作流程、故障案列数据和及巡检作业数据。通过智慧化认知分析网络实施处理后，这些数据会通过数据接口来对两大应用方向提供有力的支撑：①三大本系统里业务应用层的运维模块，②其他上级或平行系统里的应用内容，如智慧厂区系统和其子应用。

业务应用层是这套系统的核心部分，包括多个检修模块，可以说所有的检修和日常巡检工作这套系统都包括了，只要有一个地方设备出现故障，运维系统的应用层的模块就会迅速做出反应，代替人工进行巡检或设备维修。这些功能的实现施系统调用API和平台SDK相应数据来得以实现的，在不同的应用交互层设备上让业务的应用得到使用和运行。

应用交互层可以为应用提供交互设备，这些设备是为远程专家、车间管理人员以及企业客户提供查看、查找、实景展示等，主要有车间现场使用的移动显示设备与MR眼镜和监测所需的液晶屏、Web与电脑，让用户对辅助车间现场情况、设备状态与有关生产决策进行实时掌握。

1.2 系统的主要功能

（1）智慧车间的巡检就是由智能运维系统代替车间维修人员及设备管理者的工作，对车间内所有设备开展巡检。使用显示设备，使用者可以获得现实技术的支持，对车间和机床各部分的运行状态进行了解。显示的设备状态信息数据经过了信息密度和信息层级的变化，这样就达到了环视车间和检查机床个体的功能，并且还能对车间设备曾经出现过的故障或异常、维护保养等进行原始记录，以便随时查阅。

（2）智能安全预警系统。通过AR增强现实技术创建视频实景地图，并对实景信息进行标注，主要能识别车辆信息、人员违禁信息、对监控区域的关键基础信息进行监测、辨识和保护。然后将这些信息接入系统，形成系统、数据、信息的联动。这样就能基于视频实景画面，开展指挥调度，各类应急资源能够得到直观展示，促进应急指挥效率的提升，同时实施数字化的安全生产预案管理，迅速生成调度方案，开展实施的调度指挥。这样的安全预警指挥平台，可以对安装工作进行防范、处理以及事后的信息分析，对各类安全隐患或事件能够做好预知、预判、预警以及预防的高效处理。

1.3 远程专家协助

远程专家协助就是将车间现场的设备实施状况和采集到的一些数据，以视频或图片的方式传递给维修工程师的电脑或手机里。设备供应商工程师根据提供的视频与数据，进行实时指导，由车间现场设备维修人员按照工程师的指导对设备的故障进行查找和判断。这样就无须设备供应商工程师到现场进行指导故障的查找和维修，可以在几百公路，甚至几千公里之外进行指导，维护效率提升，维护成本大幅降低。设备供应商工程师持有的是专家端如图2所示，车间技术人员运行的是现场客户端，通过摄像头对现场故障设备进行拍摄，然后把视频和图片传输到运行在另一端的PC上的专家端。在专家端PC上显示的高清的三维图像，可以形成多个画中画界面，厂商工程师可以随意进行切换多角度地观察设备故障部位，一些故障点实施标注定位，同时也可以开展双向通信，将可能用到的相关信息，如设备原理图、故障处理方案等传输到现场客户端，同时通过语音通信系统和现场的技师开展交流和讨论，共同解决设备的故障。

2 智能运维系统的关键技术

2.1 实施数据驱动的车间运行虚拟仿真技术

在运维系统中还能用SolidWorks对现场的所有设备开展高度建模，同时运用PIXYZ优化减面后导入U-nity 3D进行开发。为得到现场设备的运行数据，实时智慧运维，这套系统会通过布置在车间多个设备的传感器将一些数据回传，并与设备的自身数据相互融合，完成后上传到云端的数据库里。经过中间层的筛选，这些数据就能输出，可以让各个应用层使用的数据，通过应用层调用API获得JSON数据进行解析后，在运用U-nity 3D引擎对应UI数据将设备实施动态画面呈现出来。

2.2 房间级混合现实空间定位叠加技术

混合现实技术就是将车间里设备的信息数据和用户显示设备里的信息数据准确地叠加在一起，形成设备的三维图形。实现这项技术需要可穿戴设备具备很强整合、叠加能力，即要精准并十分稳定地感知设备位置、空间环境结构、设备形态。鉴于此，这条系统设计并采取了融合定位算法来实现这些功能，可以把终端设备上面的红外摄像头拍摄的换面实施实时的SLAM结算，同时对一些关键设备，如巡检车、机床等运用Marker识别并标记，然后采用融合实现了混合现实空间房间级厘米精度的定位。

2.3 混合现实显示设备交互技术

（1）眼球凝视技术。在显示设备里有和人的眼睛相对应的跟踪设备，即由红外摄像头组成，对得到相关的数据开展分析，根据分析后数据，可以向系统提供人眼凝视物体的相关数据，同时去除其他无关物体的信息。采取这样的技术，能有效冗余信息，降低注意力被分散的可能性，提升工作效率。

（2）全景化直观视频实景应用。这项AR技术是通过安装厂区各处的视频摄像机以及可以进行高点俯瞰地面的球机，对这些区域设备层级进行叠加描述，形成可视化、立体化、实体化的视频实景，呈现所有监控区域的情况，对该区域监控目标进行视频画面标签添加，再通过标签联动技术实现低点视频、人脸卡口、车辆卡口的联动，可以在高点全局画面里以画中画的方式查看所有低点防控资源，实现高低两级协同，组建立体化的防控体系。

（3）语音识别交互。这项技术是自带的语言采集设备来收集用户发出的语音，交由人工智能来实施处理，变成执行代码执行控制任务。在增强现实系统里主要是用在输入大量文的进行控制的场景，以及画面中原本不存在的数据或设备的场景应用。

2.4 三维视频融合技术

三维视频融合技术是一种MR技术，由增强现实和增强虚拟环境组成，通过安放在车间里各个角落以及机床设备上摄像机、工控设计端的传感器、再加上头戴设备上红外摄像机，通过它们或投影设备，实时地将对象图像区域和三维表面以纹理的方式注册到三维虚拟环境中去，然后生成增强虚拟环境，让实时的真实世界和虚拟环境之间建立联系的纽带。这项技术能以三维的方式在客户终端展示车间某一区域设备运行的状态和机床设备关键部位的实时展示，可以在远程专家协助维护中提供更加三维多角度的设备故障部位细节，便于专家了解故障，判断故障和解决故障。此外，还应用了视频增强技术，通过摄像机获取相同动态场景的多个低分辨率视频序列，去重构高分辨率的视频序列，这样在客户端显示的都是实时的高分辨率视频图像，如厂家需要对机床某部位进行细微观察，可以采取放大操作，高分辨率图像可以清晰地展示机床故障部位的细微之处。

3 结束语

综上所述，运用当今世界比较前沿的设计，基于混合现实技术设计了工业智能运维系统，实现了设备维护所需的所有的自动化功能，更好解放了手工操作和人工设备维护，降低了企业的维护成本，提升了工作效率。

参考文献

[1] 魏一雄，张燕龙，张红旗，等.面向头戴式增强/混合现实设备的第三方视角技术研究[J].计算机工程，2021，47（06）：284-291.

[2] 孫臻，齐晓晨，孙海燕.混合现实设备助力图书馆设备运维——微软HoloLens在图书馆中的应用实践[J].大学图书情报学刊，2021，39（3）：120-124.

[3] 汤胜，刘华锋，彭钢，等.混合现实技术MR在电网应急抢修作业中的应用研究[J].电子世界，2020（20）：174-175.

[4] 顾鸿良，朱文华，蔡宝，等.面向工程训练的混合现实技术开发与应用[J].上海第二工业大学学报，2020，37（2）：159-164.

[5] 孙海渤，岳红原，魏刚，等.基于混合现实技术的变电站智能运检辅助系统的设计与实现[J].工业控制计算机，2020，33（3）：9-11，14.