基于改进特征的序列图像三维重建

陈瑞林，张晓燕

（厦门大学嘉庚学院信息科学与技术学院，福建漳州，363105）

0 引言

三维重建技术通过深度数据获取、预处理、点云配准与融合、生成表面等过程，把真实场景刻画成符合计算机逻辑表达的数学模型。这种模型有许多优势，在无损检测，地理三维信息测量等领域已经有了一定的实际应用。2019年，吴越、李胜旺等人提出了一种改进的特征点匹配策略，对SIFT的匹配结果和SURF的匹配结果进行融合,将融合后的结果应用到三维重建技术中。改进后的特征匹配策略使三维重建的运行速度提高了40%,不仅可以减少特征匹配过程的运算量,还可以提高三维重建的稳定性,在三维重建研究工作中具有一定的参考价值[1]。2020年，李新春、闫振宇等人为解决噪声干扰,数据丢失情况下迭代最近点算法的鲁棒性差,配准精度低等问题,提出一种基于邻域特征点提取和匹配的点云配准方法[2]。该算法能够在噪声环境下有效地完成缺失点云的配准,在鲁棒性和精确配准方面有一定的优势。2020年，吴正斌、彭业萍等人提出了一种基于Kanade-Lucas-Tomasi(KLT)多视图特征跟踪的物体三维重建方法，该方法通过使用KLT算法,不仅提高了特征点匹配数量,还解决了多视图构建的不同三维点云坐标系的相互转换问题,实现了物体的多视图三维重建[3]。尽管提出的方法很多，但是三维重建的精度问题仍然有待研究，本文对Harris特征提取算法进行了改进，在序列图像中对结合视觉点跟踪器对提取出的特征点进行跟踪，进行特征的稀疏重建和稠密重建后，使用估计样本一致性算法进行三维重建，提高了序列图像三维重建的精度。

1 序列图像三维重建

本文先采用坐标对应和最近邻插值法对获取到的序列图像进行处理，后在序列图像之间使用检测最小特征值法结合视觉点跟踪器提取并匹配出一组稀疏点。再在图像中以降低最低可接受的角质量获取更多的点并匹配一组密集的点集，完成稠密重建。利用三角确定匹配点的三维位置，在点云找到地球，恢复实际比例，进行度量标准重建。本文的设计流程图如图1所示。

图1 设计流程图

1.1 数据准备及预处理

在整个的项目流程中，最开始也极其关键的一步就是获取详细、精确的序列图片，但是由于目前能够获取到的图片多存在像素差以及图像畸变严重等问题，会严重影响图像特征提取。本文采用坐标对应和最近邻插值法对获取到的序列图像进行处理。先加载出图片预先计算的相机参数，使用内参矩阵归一化畸变图像的坐标，再通过径向畸变模型得到归一化的畸变坐标，坐标映射回去，去归一化，就能得到畸变坐标。通过以上步骤，可以找到正常图像坐标对应的畸变图像坐标，接下来使用最近邻插值法进行赋值，可以得到处理后的图像。

1.2 特征点提取与匹配

序列图像三维重建中Harris特征得到广泛应用，Harris算法首先要将窗口（小的图像片段）同时向x和y两个方向移动，计算窗口内部的像素值变化量E（u,v）；然后对每个窗口都计算一个角点响应函数R，具体公式如下：

其中λ1和λ2（特征值）是经过对角化处理后，提取出的两个正交方向的变化分量，k是一个经验常数，将R值同预先给定的阈值进行比较，将窗口划分成平面、边缘或角点。然后对该函数进行阈值处理，如果R>threshold，表示该窗口对应一个角点特征。从公式可看出，Harris 算法的稳定性和 k值有关，而 k 是一个经验常数，难以设定出一个最佳值。

但是，角点的稳定性其实和矩阵M的较小特征值有关，直接用较小的特征值作为分数，就不用调整k值了。因此对特征提取进行了一定的改进，若两个特征值中较小的一个大于最小阈值，则会得到强角点，公式如下：

提取出特征点后，采用KLT（Kanade-Lucas-Tomasi Tracking）特征跟踪算法进行跟踪。将这些点跟踪到第二张图像中， KLT特征跟踪算法基于梯度，求出光流约束方程。通过初始化点跟踪器，对点进行跟踪，可视化它们之间的对应关系。

1.3 稀疏重建与稠密重建

在提取并匹配出特征点后，得到的结果如图2的（a）、（b）所示，可以看出特征点图片的边缘存在异常值，为了得出更加精确的模型，还需要排除异常值。使用RANSAC算法（Random Sample Consensus，随机抽样一致算法）剔除异常点拟合出一个平面。RANSAC算法是通过反复选择数据中的一组随机子集来达成剔除异常值的目的。图2的（c）是排除异常值后的稀疏重建结果,使得模型较之前也更加精确。

图2 稀疏重建后效果

在稠密重建步骤，使用较低的像素重新检测第一张图像中的“MinQuality”点（即最低可接受的角质量）以获得更多的点。跟踪这一步新得到的点到第二个图像。使用实现直接线性变换算法[4]的三角函数来估计与匹配点对应的三维位置。将原点放置在与第一个图像相对应的相机的光学中心处。

其中，S为未知尺度因子，tù表示相机光心在世界坐标下的坐标，P为3×4的透视投影矩阵，Rcw，K是分解矩阵P得到的内参矩阵。图3即本文稠密重建后的结果。

图3 稠密重建后效果

1.4 拟合重建

因为本次要检测的是已知半径为10厘米的地球仪，所以最后要从点云中拟合球面，使用的是MSAC（M-Estimate Sample Consensus）算法。MSAC算法使用估计基本矩阵，找到满足极线约束的内点，即当同一个点投影到两个不同视角的图像上时，像点、相机光心在投影模型下形成约束。之后再对模型进行反推并反复迭代，最终找到一个优化的模型，剔除所有不符合该模型的匹配对得出以下结果，如图4所示。

图4 拟合球体

2 实验结果分析

按照本文算法对图5(a)图像序列进行了重建,结果如图5(b)所示，采用改进后的Harris算法结合视觉点跟踪器提取并匹配出一组稀疏点，后在图像中以降低最低可接受角点质量获取更多的点并匹配一组密集的点集，完成稠密重建。再使用估计样本一致性算法进行三维重建。把特征筛选和提取方面改成结合BRISK算法和最小平方中位数[5]进行重建，结果如图5(c)。采用fast特征和抽样一致[6]两种算法进行重建，得到的结果如图5 (d)。比较本文这两种算法重建的结果，可以看出本文的方法在特征点提取与匹配以及重建精度等方面有了一定的提升。

3 总结

本文对Harris特征提取算法进行了改进，在序列图像中对特征进行基于KLT算法进行了跟踪，进行特征的稀疏重建和稠密重建后，使用估计样本一致性算法进行三维重建，提高了序列图像三维重建的精度。通过对实验的结果对比分析，本文方法能够提高特征点的提取数量和质量，能够在一定程度上提高三维重建准确度。