基于虚拟现实技术的低质量船舶三维图像重建

周 雷

（河南工程学院，河南 郑州 451191）

0 引言

船舶图像在成像后，三维信息转换为二维信息[1]，将导致部分船舶目标三维数据丢失[2]，对船舶图像应用产生消极影响。为获取船舶目标的三维数据，提升图像应用性能，需对船舶图像实施三维重建。

石磊等[3]研究图像三维重构问题过程中，对图像实施奇异值分解字典训练，通过稀疏度自适应正则化校正匹配算法重建图像。该方法匹配过程消耗大量时间，不能保障图像重建的实时性要求。姚程等[4]针对图像三维重构问题，构建基于八叉树的卷积神经网络，将平面补丁发现与位移作为输入，输出重构结果。该方法实际应用过程中有较大概率出现图像信息丢失问题。针对上述问题，提出基于虚拟现实技术的低质量船舶三维图像重建方法，从而获取高质量重建结果。

1 低质量船舶三维图像重建方法

1.1 基于虚拟现实技术的低质量船舶图像预处理

由于船舶三维图像在采集过程中受外界环境因素与采集设备因素等影响，导致所采集的船舶图像质量较低，因此在进行三维图像重建前，需采用虚拟现实技术中的形态学滤波技术对所采集的船舶三维图像实施增强处理，提升最终图像重建精度。f(i,j)和g(i,j)分别表示大小为m×n的船舶图像和其结构元素，采用虚拟现实技术中的形态学滤波技术对f(i,j)实施处理。

利用式（1）进行膨胀运算：

式中，⊕表示膨胀运算。

利用式（2）进行腐蚀运算：

式中，Θ表示腐蚀运算，x∈(0,m]，y∈(0,n]。

利用式（3）进行开启与闭合运算：

通过开启处理过程能够滤除船舶图像内孤立的毛刺[5]，能够显著抑制比结构元素小的正峰值噪声。由宏观角度分析可知，通过开启运算可在保障船舶图像尺寸固定的条件下对其进行平滑处理，但在船舶图像邻域像素灰度值噪声点分布较为密集，同时结构元素尺寸与噪声点距离相比显著提升的条件下，开启运算对于船舶图像增强的效果显著降低。而闭合运算能够有效填充船舶图像目标间狭小裂缝，实现临近目标物的连接[6]，但在噪声点灰度值高于邻域像素、同时密度值较大的条件下，闭合运算的滤波处理效果也有所下降。针对这些问题，可对开启与闭合处理过程实施串联，构建数学形态学开启—闭合滤波器，其结构如图1 所示。数学形态学开启—闭合滤波器内的图像融合是为了最大限度结合开启与闭合运算的优势，经由两类滤波结果最大限度融合的过程能够提升船舶图像滤波效果，实现低质量船舶图像的增强处理。

图1 数学形态学开启—闭合滤波器结构图Fig.1 Mathematical morphology opening closing filter structure diagram

1.2 基于指数权重系数的船舶图像特征提取

在完成低质量船舶图像增强处理后，对其实施三维图像重建。船舶三维图像重建过程中，需确定重构前后船舶图像的对应关系。将增强处理后的船舶图像内特征点作为不变信息，通过特征描述保障重构过程中的信息完整性[7]。根据增强处理后船舶图像的点云信息构建包含全部点云的元网格，确定不同网格中点云数据的均值。汇集全部组成的集合以H表示，也就是增强处理后的船舶三维点云图像。针对H，可利用式（4）描述特征描述点Af算子：

式中：n和xn分别表示描述船舶图像特征算子维度与特征描述信息，xn中主要包含船舶图像中的几何、纹理与亮度等信息。对待实施特征描述的船舶图像点云数据区域实施加权求和处理，即可获取此区域的特征矢量描述符。

1.3 基于虚拟现实技术的船舶图像三维重建

采用虚拟现实技术获取船舶图像最小识别距离，基于所确定的船舶图像特征，实现各三维点云的高精度匹配，在此基础上达到船舶三维图像重建。设定通过虚拟现实设备获取的三维虚拟船舶均为点光源，不同点光源将形成艾里斑，若任意艾里斑边缘零点与其与艾里斑的中心产生重叠，则可通过虚拟现实设备能分辨的最远距离表示不同艾里斑的间距，公式为：

式中：l和D分别表示三维船舶与虚拟现实设备的间距和光通直径，∂表示光摄入虚拟现实设备的波长。

通过式（5）得到，光波同虚拟现实设备内光学部分可识别的最大距离呈正比例相关。

利用式（6）能够描述虚拟现实技术下三维船舶图像重建过程：

式中：f(o+1)和f(o)分别表示重建后和重建前的船舶三维图像，σo和V分别表示重建过程中的松弛因子和N阶船舶图像的正定矩阵，W和p分别表示M阶船舶图像的正定矩阵和船舶图像特征提取迭代过程。

图2 为船舶三维图像重建过程，具体步骤如下：

图2 船舶三维图像重建过程流程图Fig.2 Flow chart of ship 3D image reconstruction process

步骤1确定某个投影角度下的投射射线i，利用带重建船舶图像的初始值得到第i条投影射线的投影

步骤2获取船舶三维图像投影值与实际测量的投影值的差值，确定理论船舶图像投影值与实际投影值间的差值，公式为：

步骤3保存所获取的 ∆i值。

步骤4估算任意投影角度下第i+1条射线投影值，循环步骤1～步骤3，直到完全纠正所有射线偏差为止。

步骤5通过步骤4 获取的偏差值修改重建后船舶图像像素值。

针对其余投影角度，循环进行上述操作过程，直到所有角度下的船舶重建图像校准完成为止，通过船舶重建图像的Q次迭代实现高质量的船舶三维图像重建。

2 实验结果与分析

选取某大型船舶图像构建图像集，采用本文方法对船舶图像进行三维图像重建实验。

2.1 图像处理性能测试

为验证本文方法的图像增强效果，在图像集内随机选取2 幅图像作为研究对象，在研究对象中加入20%的随机噪声，采用本文方法对其进行增强处理，结果如图3 所示。分析可知，采用本文方法能够有效实现研究对象的增强处理，通过增强处理后的图像能够准确识别船舶目标的轮廓信息，令船舶目标完全由噪声中恢复出来，整体上提升了图像的清晰度，最大程度接近初始图像。

图3 本文方法图像增强效果Fig.3 Image enhancement effect of the method in this article

为客观分析本文方法的图像增强效果，以峰值信噪比为增强效果的评价指标，峰值信噪比值越大说明本文方法图像增强效果越好。表1 为本文方法增强处理后的图像峰值信噪比。分析可知，采用本文方法对研究对象进行增强处理，在不同噪声密度条件下，峰值信噪比均呈现不同程度的提升，提升幅度在14%以上，由此说明采用本文方法的图像增强效果较好。

表1 本文方法增强后的峰值信噪比Tab.1 Peak signal-to-noise ratio after the method enhancement in this article

2.2 三维图像重建性能分析

在图像集内选取不同结构复杂度的图像，采用本文方法对其进行重构，以均方误差与结构相似性2 个指标为评估指标，验证本文方法的图像重建性能，结果如表2 所示。分析可知，随着目标结构复杂度的提升，本文方法重构结果的均方误差整体表现出逐渐提升的趋势，而结构相似性表现为逐渐下降的趋势。但在目标结构复杂度达到0.80 时，本文方法重建结果的均方误差低于0.27，而结构相似度达到95%，由此说明本文方法重建性能较好，更接近理想状态。

表2 本文方法重建图像的均方误差与结构相似性Tab.2 Mean square error and structural similarity of reconstructed images using this method

在图像集内选取6 幅分辨率为1 025×769 的船舶图像，采用本文方法对其进行三维重建，对比重建前后的图像分辨率，由此验证本文方法的重建性能，结果如表3 所示。分析可知，采用本文方法对所选图像实施重建后，图像的分辨率提升至1 280×960，由此说明本文方法能够在准确提取图像特征的基础上提升图像清晰度。

表3 图像重建前后的分辨率对比结果Tab.3 Resolution comparison results before and after image reconstruction

3 结语

本文提出了基于虚拟现实技术的低质量船舶三维图像重建方法，采用虚拟现实技术中的滤波技术与虚拟现实设备实现三维图像重建的目的。实验结果表明，本文方法能够有效实现图像增强目的，达到高精度图像重建的目的。