面向视觉SLAM的图像配准评价算法

王一波，梁伟鄯，赵 云

（柳州工学院，广西 柳州 545616）

0 引 言

视 觉 SLAM（Simultaneous Localization and Mapping,SLAM）具有成本低、应用场景广的特点，但目前尚未广泛落地，主要受限于其算法复杂、鲁棒性较差等问题。目前的视觉SLAM架构一般包含前端（视觉里程计）、后端、回环检测和建图，其中前端即VO（Visual Odometry, VO），这是决定算法表现优劣的重要因素。目前VO的实现方法主要有特征点法和光流法。前者存在关键点提取耗时长、信息利用不充分以及对场景的纹理要求高等问题，光流法的优点在于光流不仅携带了运动物体的运动信息，而且还携带了场景三维结构的丰富信息，但同样存在计算耗时、实时性、实用性较差等问题。为此，改进VO的处理算法非常重要。考虑到摄像机运动过程中姿态的连续变化，若采样图像时间间隔足够小，则摄像机姿态变化将发生在相对有限的范围，反映在图像上，相邻帧图像将具有足够的相似度，为采用直接图像配准算法创造了条件。本文将面向视觉SLAM应用实际，充分挖掘图像特征，构建直接图像配准评价算法，提高VO的处理效率。

1 图像一致性

1.1 基于像素的图像一致性

图像(,)、(,)，对于任意像素(,)，如果(,)=((,),,)，且存在(,)=((,),,)，则图像(,)、(,)为理想一致。

由上述定义可知，当图像经过某种变换或者组合变换得到新的图像，可以找到相应的逆变换，使变换后的图像完全恢复到原图像。例如，图像发生平移、旋转、错切等变换，可通过逆变换加以恢复。

图像(,)、(,)，对于任意像素(,)，如果(,)=(,)，为任意正实数，则图像(,)、(,)为完全一致。

图像(,)、(,)，对于任意像素(,)∈，为(,)的有限非空集，如果(,)=((,),,)，且存在(,)=((,),,)，则图像(,)、(,)为部分一致。

实际应用中，图像为二维有限序列，图像间的一致性判别通常是在有限区域内进行，这样部分一致性更具有应用价值。根据以上定义，不同的应用对于图像一致性的要求不同，以下分别定义基于信息熵的一致性、基于内容的一致性和基于特征的一致性，以满足不同的应用。

1.2 基于信息熵的图像一致性

按照Marr计算理论，图像中的信息即图像中颜色或亮度的变化，呈现出的是物体和物体的关系以及与人的关系的要素。如果把一幅图像看作一个虚构零记忆“信源”的输出时，可以通过观察图像的直方图来估计该信源的符号概率。假设图像大小为×，灰度范围为[0,-1]，r为此区间的离散灰度随机变量，n为第级灰度在图像中出现的次数。这时，信源的熵变为：

图像(,)、(,)，对于任意像素(,)，如果()=()，则图像(,)、(,)信息熵完全一致；如果()-()<,为某一阈值，则图像(,)、(,)信息熵部分一致。

显然信息完全一致在实际中很难满足。在图像传输及图像压缩过程中，图像信息熵一致性判别十分重要。

1.3 基于内容的图像一致性

(,)→struct{,, ...,w}，(,)→struct{,, ...,w'}，其中，w、w'表示(,)、(,)经语义分割得到的语义实体，struct表示语义实体间的结构关系，如果struct{,, ...,w}=struct{,, ...,w'}，则图像(,)、(,)为内容完全一致；如果=,=, ...,w=w'，则图像(,)、(,)为内容部分一致。

显然，满足内容完全一致条件必然满足内容部分一致条件。基于内容的图像一致性判别，对于图像跟踪、场景识别等应用领域具有重要意义。

1.4 基于特征的图像一致性

特征一致定义：图像(,)→{,, ...,f}，图像(,)→ {,, ...,f'}，f、f'表示(,)、(,)经特征提取得到的特征，如果对于任意特征，满足()=()，()=(), ...,(f)=(f')，其中，(·)为对特征进行某种运算，则图像(,)、(,)为特征完全一致；如果(f)=(f'),=1, 2, ...,,<，则图像(,)、(,)为特征部分一致。

同样，满足特征完全一致条件必然满足特征部分一致条件。基于特征一致判别的意义在于可以为某些场景配准提供理论依据。

2 图像配准评价算法

视觉SLAM的VO，主要任务即确定相邻帧图像间的运动关系。如果采用优化技术对运动参数空间进行搜索，则需确定优化目标函数，它反映的是相邻两帧图像的配准程度。根据上一节的定义，在VO中可以基于像素的一致性来对配准进行初始评价，也可基于特征的一致性来对配准进行深层次评价。一般，VO中采集的图像为RGB图像，首先需将其变换为灰度图像。

2.1 RGB图像灰度变换

为最大限度利用RGB图像信息，本文将基于图像信息熵确定灰度变换的权值，算法步骤如下：

（1）计算RGB图像三个通道、、的信息熵：

式中：、、分别为、、三个图层对应的信息熵；(R)、(G)、(B)分别是、、三个通道的直方图统计量。

（2）根据图像信息量确定三个通道的权重。为最大限度保留图像信息，按照信息量的大小分配权重：

（3）基于信息量RGB图像线性变换为灰度图像：

式中，、、分别是RGB图像任意像素的分量。

2.2 基于像素的图像配准评价

假设VO采集的两帧图像依次为(,)、(,)，大小同为×，将(,)看作参考图像，则(,)=((,),,)，其中包含了摄像机的运动：平移t、t、t，旋转(pitch)、(roll)、(yaw)。理想情况下，评价函数定义为：

式中，={(,)|(,)=(,)}，Num()越大则图像配准度越高，当Num()=×时，则完全配准，即基于像素完全一致。

摄像机在采集两幅图像时光照条件可能存在差异，如果考虑光照的影响，则评价函数定义仍为式（1），={(,)|(,)=(,)}，为亮度调节参数，取值不同，则不同，包含的元素数量也将不同。因此，Num()=max{Num({(,)|(,)=(,)})}。

基于像素的图像配准评价思想简单，但实现相对复杂。图像比较时需考虑参数的影响，需要进行优化计算，耗时较长。同时由于数字图像在变换过程中会进行插值运算，相应像素的亮度值取决于插值算法，这也给配准评价带来了不确定性。

2.3 基于边缘特征的图像配准评价

假设VO采集的两帧图像依次为(,)、(,)，大小同为×，将(,)看作参考图像，算法步骤如下：

（1）对图像(,)、(,)进行高斯滤波：

（2）运用canny算子提取滤波后图像边缘，假设前一帧图像边缘特征集合={,, ...,f}，后一帧边缘特征集合={,, ...,}。

（3）从图像中直接提取的边缘既包含环境中物体的纹理或边界，也包含因图像噪声导致的灰度突变而产生的噪声边缘。和正确边缘相比，噪声边缘因噪声点具有随机性的原因，其长度更短。对、进行预处理，包括删除细小边缘、剪除细小枝节。

if(f)f')<，Then 从、中移除f、f'。其中，(·)表示边缘长度，表示阈值。

（4）对进行变换：=()，包含了摄像机的运动：平移t、t、t，旋转(pitch)、(roll)、(yaw)。

（5）评价与的配准程度，将基于Hausdorff距离进行。

Hausdorff距离可运用于二值图像比较中，使用Hausdorff距离进行图像比较时无需建立点与点间的对应关系。采用Dabuek O.Huttenloche等人提出的部分Hausdorff距离，其定义如下：

首先，计算集合中的任意点a到集合的最短距离，然后对中的所有点进行排序。假设集合边缘点个数为N，则前向部分Hausdorff距离为以上序列的第=f×N；同理，后向部分Hausdorff距离为序列的第=f×N。

HF(,)越小，则两幅图像的配准越高，当HF(,)=0时，表示完全配准，即基于特征完全一致。

3 实验及分析

为验证本文提出的图像配准评价算法，任意采集一幅图像，依次对其进行不同距离的平移和不同角度的旋转，比较变换后图像与原始图像的Hausdorff距离。首先根据上节提出的算法步骤，对图像进行预处理，其结果如图1所示。

图1 图像预处理

原始图像依次沿轴、轴平移50、100、150，然后提取其边缘特征并做修剪处理，其结果如图2、图3所示。分别计算平移后图像与原始图像的Hausdorff距离为45.07、62.14、77.62，平移越小，Hausdorff距离越小，配准程度也越高，与视觉感受一致。

图2 图像平移

图3 平移图像边缘

原始图像依次以图像原点为轴逆时针旋转，然后提取其边缘特征并做修剪处理，其结果如图4、图5所示。分别计算平移后图像与原始图像的Hausdorff距离为50.60、59.48、68.94，旋转越小，Hausdorff距离越小，配准程度越高，与视觉感受一致。

图4 旋转图像

图5 旋转图像边缘

4 结 语

本文针对视觉SLAM的VO广泛使用的特征点法以及光流法存在的问题，寻求建立一种更加简便且稳定的图像配准算法，该算法以图像一致性为理论基础，利用VO顺序采集图像的帧间特点，最后通过实验验证了所设计的基于边缘特征一致性的图像配准评价符合VO应用的视觉要求。今后，将按照此思路继续开展图像运动参数搜索算法研究，完善以图像配准为基础的VO技术框架。