基于3D-SIFT与SICP的激光点云与影像配准方法

刘晓文 付莉娜 徐 工

(1. 山东广源岩土工程有限公司, 山东 烟台 264000； 2. 西安四维图新信息技术有限公司， 陕西 西安 710000;3. 山东理工大学 建筑工程学院， 山东 淄博 255049)

0 引言

近年来,随着三维激光扫描仪、相机以及无人机等多源传感器的到来,使得激光点云和光学影像数据得到了广泛的应用。三维激光扫描技术可以快速、无接触、高精度地获取目标物体的三维激光点云数据[1],但是获取的激光点云数据缺乏纹理信息,相机或者无人机获取的影像却具有丰富的颜色纹理特征信息,因此将两者进行融合不仅可以弥补两种数据的不足,而且可以获取更高精度的点云数据。两种数据的配准是融合的重要步骤,其配准的精度和效率对两种数据融合以及目标物三维模型重建都具有重要影响。

国内外的科研者对激光点云与影像的配准展开了大量的研究[2-4],主要将激光点云与影像的配准分为3类,第一类是将激光点云内插生成强度图像,通过已有的图像配准方法实现两种数据的配准。刘燕萍等[5]通过提取建筑的特征角点进行激光点云与影像密集点云的粗配准,然后将激光点云转化为灰度影像,并在影像中提取线特征实现了两种数据的精配准。赵吉庆[6]通过将激光点云数据生成点云深度影像图,然后利用尺度不变特征变换(scale invariant feature transform, SIFT )算法提取目标物点云深度图以及影像中的点特征,实现了激光点云数据与影像的配准。张良等[7]通过将点云转换为距离影像,然后利用SIFT算法从距离影像中提取建筑物的点特征和线特征实现了两种数据的配准。以上方法在将激光点云转换为影像时会引入内插误差从而影响配准的精度。第二类是直接在激光点云和影像中提取特征,陈为民等[8]提出将影像投影中心、影像像点以及激光点云通过共方程建立联系,实现两种数据的配准。Chen等[9]从激光雷达(light detection and ranging,LiDAR)数据和影像三维点云中提取建筑物轮廓,从轮廓线中提取同名角特征,该方法提高了在激光点云和影像数据中寻找同名特征点的准确率,实现了两种数据的配准。张永军[10]从点云中提取目标物的角点特征,利用影像的外方位元素将点云的角点特征投影到影像上,通过相似性测度在航空影像上寻找同名角点特征实现点云数据与影像的配准。第三类是将光学影像生成三维点云,然后与激光点云数据进行配准,宋恒嘉[11]提出通过光束法平差获取影像三维点云,通过迭代最近点(iterative closest point, ICP)算法实现了影像三维点云与激光点云的配准。荆路等[12]提出通过计算特征点的特征直方图,然后利用一致性初始配准算法实现点云数据的粗配准,最后使用ICP算法实现点云的精配准。由于点云数量比较大,使用ICP算法进行点云配准时,存在效率低的问题,而且算法对初值的精度要求较高,且容易陷入局部最优解。

针对以上问题,本文提出基于三维(three-dimensional,3D)-SIFT与SICP的激光点云与影像配准方法,该方法使用3D-SIFT提取激光点云与影像三维点云中的特征点;然后通过对偶四元数解算激光点云和影像三维点云的初始变换矩阵,实现两种点云数据的粗配准;最后在使用SICP算法实现两种点云数据的精配准。该方法有效地减少了激光点云与影像三维点云中参加配准的点云的数量,避免了结果陷入局部最优解。

2 3D-SIFT 特征点检测算法

尺度不变特征(SIFT)是由Lowe[13]提出的,主要被应用到二维图像中特征的提取,因此，针对三维空间中特征点的提取3D-SIFT被提出,该算法由SIFT算法改进产生的,3D-SIFT算法主要利用三维点云中的曲率代替二维影像中的强度值,通过体素空间尺度的生成获得三维点云中的特征点,其主要步骤包括点云尺度空间的构建、三维点云高斯差分尺度的构建、尺度空间极值点检测确定特征点。下面将具体介绍这几个步骤：

(1)首先通过确定体素栅格的大小,然后构建点云体素的金字塔,求解该体素中所包含的三维点云的重心,并用该重心近似替代该体素中包含的所有三维点云,从而实现点云尺度空间的构建。

(2)设步骤(1)中的金字塔一共具有A组,每一组具有S层,则第i层的三维点云金字塔尺度为Oi,其具体表达式如式(1)所示。

(1)

式中：o为三维点云起始尺度大小。

对通过以上方法获取的三维点云尺度空间中每个点计算其高斯过滤响应值W和点云相邻尺度的高斯差分值V,并对点云3σ(σ为点云的平均距离)邻域范围内的点进行曲率值高斯加权,从而实现三维点云高斯差分尺度的构建。

(3)如果某一个三维点的高斯差分值V与其邻域范围内的点和相邻上下2个尺度邻域范围内的高斯差分值的大小都为极值,则该三维点云即为特征点。

3 点云配准

3.1 基于对偶四元数的点云粗配准

对偶四元数(dual quaternion)由四元数和对偶数两部分组合而成,对偶四元数的具体形式为

(2)

(3)

式中，G为反对称矩阵,如式(4)所示。

(4)

则得到的对偶四元数与旋转和平移矩阵之间的关系为

(5)

通过计算可得旋转矩阵R和平移矩阵T,并用k和r对其进行表示,如式(6)所示。

激光点云与影像点云配准的最终目的是确定三维影像点云从影像坐标系到激光扫面坐标系下的关系,其实质是两个点云集之间的坐标转换,转换模型[14]为

(7)

式中，X2、Y2、Z2为激光扫描系下的点云坐标;X1、Y1、Z1为影像坐标系下的影像点云坐标;R为旋转矩阵;T为平移矩阵;λ为缩放因子。

(8)

只需从激光点云和影像三维点云中提取至少3对近似同名特征点,然后对式(8)进行线性化,最后通过最小二乘算法即可获取激光点云与影像点云的初始变换参数,实现激光点云与影像三维点云的粗配准。

3.2 精配准

由于经典的ICP算法在精配准过程中无法考虑到两个点云集之间存在的尺度问题,因此本文使用SICP算法进行激光点云与影像三维点云的精配准,在精配准过程中考虑两个三维点集的尺度大小,精配准模型如式(9)所示。

(9)

式中，R为旋转矩阵；T为平移矩阵；λ为缩放矩阵；pi为激光点云点集；mj为影像三维第点集。

在迭代求解配准参数的过程中利用多维尺度因子的迭代方法,将尺度因子分为3个方向,分别为x、y、z方向,M=diag(S1,S2,S3),然后利用最小二乘方法以及光束法平差解算激光点云与影像三维点云之间的精配准参数。

经过激光点云和影像点云的粗配准,大致将影像三维点云调整到与激光点云近似的位置上,从而保证在精配准过程中具有较好的收敛性。

4 实验分析

本章实验环境是Intel(R) Core(TM) i7-7700K CPU @ 4.20 GHz, 运行内存为32 GB,操作系统为Windows 10的计算机。本文实验数据采用Open Heritage 3D 平台上提供的数据——越南亭子进行实验,亭子的影像数据以及激光点云数据是分别采用型号为尼康D810的数码单反相机、型号为大江精灵4Pro的无人机以及型号为法鲁焦点X330的激光扫描仪获取的,如图1和图2所示。

(a)远景

图2 亭子激光点云数据

亭子影像通过SfM算法生成三维影像点云,如图3所示。亭子激光点云和影像数据的基本信息如表1所示。

表1 实验基本信息介绍 单位：个

4.1 特征点提取结果

利用本文方法在激光点云和影像三维点云中提取的特征点如图4所示。由图4可知,激光点云中提取的特征点在底部和中间部位较多,但在亭子顶部提取的较少,分析主要原因是由于亭子顶部过高,使用三维激光扫描仪获取的顶部点云较为稀疏,因此导致在顶部点云中提取的特征点较少;由影像生成的三维点云质量较好,整体点云较为均匀,因此提取的特征点分布也较为均匀。从激光点云和影像点云中提取的特征点的个数分别为3 484、3 964个,后续只需从提取的特征点中选取一定的数量的同名点特征进行激光点云与影像三维点云的配准,因此可以有效地缩短在目标点云和源点云中搜索配准基元的时间,从而提高点云配准的效率。

4.2 激光点云和影像配准结果

分别从亭子激光点云和影像三维点云中提取的特征点中选取5对同名特征点基元进行亭子的激光点云和影像配准实验,并且将本文方法与经典ICP方法进行对比。为了说明激光点云与影像点云的配准精度,本文选用配准后激光点云与影像点云之间的距离平均值和中误差作为精度评定指标,两种方法的配准结果和配准精度如表2所示。

表2 两种方法的激光点云与影像配准结果

由表2可知,本文方法与基于ICP的配准方法解算的旋转矩阵、平移向量以及尺度因子在数值上存在一定的差距,说明两种方法获取的配准精度不同,亭子激光点云与影像点云的尺度因子为0.985、0.891。本文方法与ICP算法获取的激光点云与影像点云之间的距离平均值为0.35、0.48 cm,中误差为0.24、0.41 cm,配准时间分别为69、85 s。因此，本文方法的配准精度和配准效率都高于ICP的配准方法。

为了进一步验证提取的同名特征点数量对激光点云与影像点云配准结果的影响,从激光点云以及影像三维点云提取的特征点中分别选取3、5、20、100、200、500对同名特征点进行配准实验,获取的配准结果如图5所示。图5中横坐标表示选取的同名特征点对数,纵坐标表示配准后激光点云与影像点云之间的距离平均值和中误差。

图5 不同数量同名特征点对获取的点云配准结果

由图5可知,选取不同数量的同名特征点对进行激光点云与影像点云之间的配准,获取的距离平均值均在0.4 cm以下,中误差均在0.3 cm以下,由此可知,同名特征点的数量对点配准结果影响较小。

在配准前,亭子激光点云和影像三维点云的位置姿态如图6所示,获取的原始激光点云和影像点云的位置存在偏离,使用本文方法获取的粗配准和精配准效果如图7所示,经过对偶四元数算法对激光点云与影像三维点云粗配准后,亭子的激光点云和影像点云大致移到了相同的位置,说明本文采用的粗配准方法获取的配准结果较为准确,因此可以为后续的精配准提供可靠的参数初值。通过精配准后从效果图可以看出,利用SICP算法配准后亭子的激光点云与影像三维点云配准质量较好,激光点云与影像三维点云充分融合在了一起,影像三维点云很好地填充了激光点云顶部以及底部缺失的部分,整体亭子的激光点云与影像三维点云贴合的较为紧密,证明了本文方法的有效性与可行性。

图6 配准前激光点云与影像点云的位置

(a)粗配准

5 结束语

本文通过利用3D-SIFT算法提取激光点云和影像三维点云中的特征点,然后使用对偶四元数通过提取的特征点对激光点云和影像三维点云进行粗配准,最后利用SICP算法对激光点云和影像三维点云进行精配准。实验结果表明,本文方法与经典ICP算法相比可以获得更高的配准质量和配准效率,为激光点云与影像点云的融合提供了一种解决方法。但本文方法使用的3D-SIFT算法对质量较差的点云中特征点提取效果不是很好,在接下来的工作中对特征点提取算法将会展开进一步的研究。