特种复杂试验装置中模型动态建模系统设计

汤 瀑，何 福，汤春林

(中国空气动力研究与发展中心 计算空气动力研究所,四川 绵阳 621000)

0 引言

虚拟现实(Virtual Reality)[1]通过计算机对真实世界进行模拟，并利用人机交互装置提供丰富体验。将虚拟现实技术应用于试验中，可以为试验提供更丰富的体验，其中难点在于试验模型的三维重建[9]。但在特种复杂试验装置中，模型处于不可接触的环境，如密闭空间、有高辐射、高污染、病毒环境、超低温等。这给可视化数据的获取造成了困难。传统的建模方式，虽然更为精确，但是周期太长，不具备实时性。

运动恢复结构(structure from motion，SFM)是基于图像的三维重建方法，可以通过在不同视角获取目标的图像，从而获得目标的三维结构。运用运动恢复结构技术，可以方便快捷地获得特种复杂试验装置中模型的可视化三维结构，但面临着精度低和附加数据困难等问题。

本文设计了基于运动恢复结构的动态建模系统。通过在模型上设置标识点，使用智能寻迹车接近模型拍摄照片，然后经过运动恢复结构技术，自动将照片转化为三维模型，并附加温度数据，获得了数据丰富的三维模型。该三维模型经加工后，可以使用头戴式虚拟现实设备获得沉浸式体验。

1 系统结构及原理

系统为三层架构，自底向上分别为前端设备感知层、中心控制计算层和用户控制层，如图1所示。

图1 系统结构

前端设备感知层进行步进电机、轨迹摄像头、光学相机、红外相机等设备的控制和数据传输，搭载于智能寻迹车上。

中心控制计算层，主要位于应用服务器上，进行业务逻辑的处理。前端设备感知层轨迹摄像头传输过来的轨道图像和步进电机的状态数据，在轨迹控制模块进行处理，并将反馈数据传输回前端设备感知层。前端设备感知层传输的光学相机图像，依次经过环状编码识别和光学SFM，进行三维重建。前端设备感知层传输的红外相机图像，经过红外SFM，将温度信息加入三维重建的模型中。

用户控制层，用于与用户交互，包括两部分。一部分位于上位机，主要进行智能寻迹车的控制。另一部分位于应用服务器，主要进行虚拟现实渲染。

2 系统硬件设计

2.1 智能寻迹车

智能寻迹车采用树莓派4B，其硬件配置有64位1.5 GHz四核CPU和Broadcom Video Core VI 500 MHz的GPU。智能循迹车操作系统采用树莓派官方操作系统 Raspbian，具有较好的稳定性。

试验装置内部如图2所示。装置底部为白色平面，智能寻迹车轨道为黑色车道线。为避开装置底部障碍物，智能寻迹车轨迹不规则。智能寻迹车上搭载用于轨迹识别的摄像头，使用OpenCV实现循迹。

图2 智能寻迹车轨道示意图

智能寻迹车上配置云台，搭载CCD相机和红外相机，用来拍摄模型图像。图像数据通过无线网络传输至服务器端，再进行三维重建。

光学相机采用GoPro MAX全景运动相机，可拍摄5.5 MP平面照片。

红外热像仪采用FLIR E6-XT，分辨率为160*120，测温范围为-20度到250度，环境温度为10度到35度时测温精度为±2度。

智能寻迹车具有边缘计算能力，将感知的信号进行预处理，再提交下一层进行计算和控制等。

2.2 应用服务器

应用服务器处理器为Intel Xeon CPU E7-4850，安装windows server 2016操作系统和SQL Server 2016数据库。

2.3 虚拟现实

成熟的虚拟现实设备有多种，包括CAVE投影系统和多种头戴式设备。CAVE投影系统由围绕使用者的三个以上投影面组成，并配有动作跟踪装置，可以用于虚拟现实的多种应用场景。CAVE投影系统虽然沉浸式效果最佳，但造价高昂。头戴式设备主要应用于虚拟现实游戏，通过对使用者双眼呈现不同的影像产生沉浸式效果。

由于本系统采用了西门子Teamcenter系列软件，综合考虑软硬件兼容性、显示效果和经济性，本系统采用HTC Vive头戴式设备作为虚拟现实显示硬件。HTV Vive头戴式设备，包括一个虚拟现实头盔和两个定位器，需要在固定的规划空间内使用，并连接一台专门用于虚拟现实的计算机。

虚拟现实计算机安装NVIDIA GeForce GTX 1060显卡用于虚拟现实渲染。虚拟现实体验房间用于设备使用的规划空间需要至少2 m×1.5 m，推荐3.5 m×3.5 m。

定位器于规划空间对角放置，最大距离不超过5米。两个定位器需要固定于墙上，且都需要接电源。

虚拟现实计算机放置于规划空间的边缘，用于连接HTC Vive头戴式设备。头戴式设备需要接电源。

2.4 网络结构

网络架构图如图3所示。智能寻迹车搭载光学设备，位于特种试验装置中，通过无线网络连接到交换机。上位机位于试验室，方便通过网络控制智能寻迹车。

图3 系统网络架构示意图

智能寻迹车拍摄的图像，通过无线网络传输至交换机，再通过网线传输至应用服务器。应用服务器位于机房，主要进行三维重建。应用服务器安装有SQL Server 2016数据库，系统所有数据最后都存储于数据库中。

虚拟现实计算机位于专门的展示间，通过网络连接到交换机。HTC Vive头戴式设备通过USB线连接到虚拟现实计算机。

3 系统软件设计

3.1 软件总体设计

特种复杂试验装置具有完整的测量与控制系统，本系统的软硬件设计不能干扰试验装置的测量与控制系统。因此本系统的软件部分，必须兼容试验装置的测量与控制系统。试验装置的测量与控制系统，主要为Profibus架构的多个PLC组成，工控机上部署使用LabVIEW开发的上位机程序。

根据以上情况，本系统软件部分采用分布式部署。

智能寻迹车上部署python语言开发的客户端，进行智能寻迹车控制、轨迹识别和图像传输。

应用服务器上部署C#语言开发的服务器端程序，进行图像处理。应用服务器软件部分根据功能划分为四个主要模块。光学三维重建模块，根据输入的图片，使用运动恢复结构算法，以获得模型的三维结构。模型环状编码标记模块，通过在模型上设置一些关键点，并进行标记，以增加生成的三维结构的精度。红外三维重建模块，利用光学相机和红外相机姿态和视角相同的特点，以获取模型的温度信息。虚拟现实体验模块，将生成的有温度信息的三维结构，在专业设备中进行渲染。

上位机上部署LabVIEW语言开发的上位机程序，用来进行人机操作。

虚拟现实计算机上部署C#语言开发的客户端程序，用于接收图像并调用虚拟现实专业软件进行渲染。

软件实现流程图如图4所示。由于软件部分位于多个不同的硬件节点上，因此分布式部署的各个节点之间，采用WebAPI接口进行数据的交换。WebAPI采用标准的http协议，能够支持多种语言的客户端。在本系统的开发中，使用分布式部署和WebAPI接口，很适合本系统的硬件环境。软件部分的主要模块的实现，将在下文详述。

图4 软件实现流程图

3.2 软件主要模块实现

3.2.1 光学三维重建

三维重建是计算机视觉中的一个重要组成部分，三维模型能比二维图像提供更丰富的信息和更好的体验。本系统采用文献[2] 提出的基于连续图片的运动恢复结构算法，来获取目标的三维结构。三维重建模块的处理步骤如图5所示。

图5 运动恢复结构基本过程

1)输入图像：光学相机拍摄不同视角的若干个图像，通过无线网络从智能寻迹车传输到应用服务器。相邻图像之间要有一定的重叠度。

2)特征提取：使用SURF(speeded-up robust features)[5]算法从所有拍摄的图像中获取一些具有独特特征的关键点。

3)特征匹配：通过从两个不同图像中寻找具有视觉上相似性的特征对。这些特征对需要满足最小相似性标准。

4)几何验证：通过计算匹配图像之间的相对姿态，来验证匹配的图像对，并据此计算相机的姿态。最后使用基本极限约束来验证所有对应关系，删除异常值匹配。

5)重建：根据前一步骤获取的匹配图像对的相对姿态，经坐标变换，将所有相机转换到同一个固定的世界坐标系下，创建一致的三维模型。所有匹配的特征点将被三角测量到三维空间，并形成稀疏点云。

6)BA优化(bundle adjustment)：运行全局的光束法平差算法，以得到一致的三维模型[7]。

智能循迹车每环绕模型一周，就将拍摄的所有光学图像传输给三维重建模块。三维重建模块通过这些图像获得三维结构，并根据模型环状编码标记获得的关键点信息增加三维结构的精度。

3.2.2 模型环状编码标记

在特种试验装置中，复杂的工况可能给三维重建带来困难:1)存在较多的机械部件，如电动机等，造成较大的震动。智能循迹车拍摄的图像，因为抖动而存在模糊的情况。2)模型和装置内部环境可能视觉上区分度不高，难以把模型和背景区分开。不经过处理，直接对光学相机图像进行三维重建，生成的三维结构精度较低。

为进一步提高三维模型的精度，在模型表面设置一些特征明显且唯一的关键点，可以有效地降低三维重建的复杂性，增加三维模型的精度。本系统使用文章[4]提出的方法，采用环状编码标记点(CCT，circular coded target)，实现环状编码的识别。

环状标记如图6所示，图中有3个同心圆，其直径分别为7 mm、18 mm、28 mm，正方形黑色背景边长为38 mm。环状编码带中有8处为白色，7处为黑色。使用黑色表示0，白色表示1，最多可以标记429个点。

图6 环状编码标记示意图

模型表面根据需要设置环状编码标记点。环状标记应设置于模型表面变化较大的位置，以及容易和背景混淆的位置。在系统运行过程中，进行环状编码识别，由于标记点的坐标是固定的，用于在三维重建中纠正关键点的坐标，可以提高三维重建模块的精度。

使用环状编码标记，成本较低，对装置内部改造少。使用该方法，识别准确度和三维重建速度提升明显，具有良好的综合性能。

3.2.3 红外三维重建

特种试验装置中，具有复杂的温度控制系统。其中包括一套锅炉用来加热内部壁面，一套制冷机组用于内部空间制冷，一套电加热温度车用于内部空间加热。模型表面温度是一个测量的重要参数。虽然众多的传感器用来监测温度，但使用红外三维重建的方式能够更快的且更直观的展示模型整体的温度状况，在试验进行当中指导试验的温度控制策略。

智能循迹车上装有红外相机，从红外相机拍摄的红外图像，能够获取模型表面的温度信息。但红外图像存在分辨率低、干扰多等问题，无法直接从中重建三维模型。

文献[3]提出了改进的SFM算法，将SFM算法扩展到了红外图像。该算法在特征检测和特征匹配方面进行了改进，采用SURF算法进行特征检测，并基于RANSAC 算法[4-5]结合红外图像的温度信息又提出了TAC-RANSAC算法，提高了红外图像三维重建的精度。

由于光学相机和红外相机姿态和视角相同，经过坐标变换和调整，可以将红外图像得到的点云附在光学图像重建的三维结构上。两者相结合可以重建出具有温度信息的三维模型。

智能寻迹车每环绕模型一周，所有的红外图像将传输给红外三维重建模块。红外三维重建模块得到有温度信息的三维结构，传输给虚拟现实体验模块。

3.2.4 虚拟现实体验

目前成熟的用于工业模型的虚拟现实显示方案都比较昂贵。本系统采用的头戴式设备HTC Vive主要用于虚拟现实游戏，没有针对工业模型的软件。因此，本系统采用西门子TC VisMockup进行针对性渲染，需要配置左右眼显示差异参数。有温度信息的三维结构传输至虚拟现实计算机，经西门子Teamcenter Visualization Animation Creation Option软件进行修改和加工后，在虚拟现实计算机上使用西门子TC VisMockup进行渲染，再输出到HTC Vive头戴式设备进行沉浸式体验。

4 实验结果与分析

某试验装置，内部有移测架、温度车、弯刀等机构，导致内部空间狭小且不规则。使用黑色胶带贴在装置底板，作为智能循迹车的轨道，启动智能循迹车行进。

该装置具有加热和制冷功能，以及蒸汽加湿系统，气流温度和湿度变化较大。分别在多种工况下，操作智能寻迹车沿固定轨道环绕模型拍摄照片。

结果显示，本系统能够获得较精确的模型三维结构，其温度数据能起到了现场辅助试验的作用。试验人员通过头戴式设备，能沉浸式的观看模型。

5 结束语

本系统基本解决了特种试验装置中模型的动态建模问题，且提供了虚拟现实的体验方式。

试验过程中，遇到以下问题：1)在湿度较大的情况下，智能循迹车上装载的相机镜头容易起雾，不能长时间进行动态建模。2)装置内气流速度较大的情况下，智能循迹车容易偏离轨道。

下一步，将从两方面改进本系统:1)在特种试验装置中特定工况下，如高风速、高湿度下，加强系统的适应能力，增加动态建模的精度。2)将结合试验任务中的更多原始数据，采用增强现实(augmented reality)[6]的方法呈现模型，以沉浸式体验的方式观看模型和操作特种试验装置[7-11]。