基于标定和特征点的相机阵列图像拼接算法

曲兆松，谢宗彦

(北京尚水信息技术股份有限公司，北京 100000)

0 引 言

因河工模型试验具有理论基础,并能直观反映水流和船舶的相互作用，因此作为一种重要技术手段被广泛应用于水路交通的前期论证研究中。大型河工模型覆盖面积能够达到数十至数百平方米，由于单目相机的视野范围有限制性，通常需要采用多相机构建不同的阵列分布以实现全河工模型的覆盖，进而不同阵列分布图像的精确快速拼接成为大型河工模型试验系统的一大关键步骤。

图像拼接[1]即将数张有重叠区域的图像序列，在不损失分辨率和图像质量的情况下，经过处理实现空间配准变换融合后生成一幅无缝高分辨率全景图像。图像拼接的技术难点包括图像配准和图像融合，其中图像配准用于生成图像全局单应性矩阵[2-4]或多个局部单应性矩阵[5-7]。为避免拼接后图像出现重影和错位现象，计算图像全局单应性矩阵时要求图像重叠区域尽可能处于同一平面；相比之下，多个局部单应性矩阵的拼接算法具有很好的灵活性和拼接效果，但效率低，不能符合实时性要求[8]。图像配准中的匹配算法一般包括Harris算法[9]、SIFT算法、SURF算法等；其中SIFT和SURF使用最为广泛，SIFT算法鲁棒性强，SURF算法效率高[10]。

河工模型测量实验先对图像进行标定，即分别获取图像中的标定点进行标定，因此图像拼接后要能够根据各个原图中标定点的图像坐标和世界坐标生成新的标定结果。针对以上问题，本文基于标定文件确定图像阵列重叠范围，再利用尺度不变特征转换算法(Scale-invariant feature transform, SIFT)[11-12]进行图像配准；利用配准点及随机采样一致性算法(Random Sample Consensus, RANSAC)[13-14]计算全局单应性矩阵，最后进行图像融合以实现阵列分布图像拼接。

1 算法原理

1.1 特征点检测

SIFT算法在不同尺度空间图像中搜索关键点以进行多尺度特征的估计，通过高斯模糊来生成尺度空间。变化尺度高斯核G(x,y,σ)和图像I(x,y)的卷积为尺度空间L(x,y,σ)的定义，公式为：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

其中：

(2)

式中：G(x,y,σ)为变化尺度高斯核，用来对输入图像进行高斯模糊；(x,y)为输入图像中像素的坐标；σ为空间尺度因子。

使用高斯差分函数(DOG)和相邻尺度空间的倍数k进行领域极值检测，以检测特征点：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)

(3)

1.2 图像配准

采用欧氏距离对源图像与目标图像中的特征点进行初匹配，匹配原则为目标图中距离最近点和次近点的距离比值满足给定阈值，则认为目标图中距离最近的点与原图中对应的特征点为一对匹配点。根据上述匹配原则，依次为源图中的特征点在目标图中查找匹配点。

再利用RANSAC算法对初匹配结果进行错误剔除，去掉欧氏距离匹配得到的错误匹配结果，以改善实验厅内光照不均、水面噪声等影响，增加匹配鲁棒性。最后，基于源图像和目标图像的匹配特征点利用放射变换得到图像全局单应性转换矩阵：

(4)

式中：(x,y)为目标图像坐标点；(x′,y′)为源图像坐标点。

1.3 图像融合

用于拼接的两张部分重叠的图像存在亮度差异，拼接过程中的简单叠加往往会在拼接边缘产生明显的拼接缝。本文采用最大值融合法对拼接缝进行过渡平滑，即将坐标转换后图像间重叠区域对应像素点的灰度值用两张图对应灰度值最大值进行替换。设两张图的灰度值为I1(x,y)和I2(x,y)，I(x,y)为拼接后图像灰度值：

(5)

2 算法流程

2.1 确定图像的阵列布局

本文以河工模型的左上角为世界坐标系的原点，采用多相机构建不同的阵列分布进行整个河工模型的图像采集。本文针对横一字型、竖一字型、田字型和九宫格阵列图像进行拼接，图像拼接前根据对应标定文件确定整列分布状况即阵列的行列数量。见图1。

图1 图像标定点

图1所示每张图像对应4个标定点，标定文件中存储标定点的图像坐标及对应世界坐标。利用标定点图像坐标和世界坐标计算两者之间的仿射变换矩阵Hi；计算图像4个角的世界坐标：

(6)

根据图像4个顶角的世界坐标求得世界坐标系下图像覆盖区域的宽度wi和高度hi，分别计算图像与覆盖区域的宽度比例系数kwi和高度比例系数khi：

(7)

依次计算阵列分布图像与覆盖区域的宽度比例系数kwi和高度比例系数khi，并选择其中的最大值作为阵列分布图像与覆盖区域面积的比例系数k。将各阵列分布图像标定点对应世界坐标缩放k倍，并计算各矩型标定区域的中心点坐标，利用各中心点坐标X方向的最小值xmin、最大值xmax和Y方向的最小值ymin、最大值ymax生成对应覆盖区域的长度H和宽度W。

若W<图像宽度/3，则为竖一字型阵列分布，对各中心点y进行排序以确定竖一字型阵列分布对应图像顺序；若H<图像高度/3，则为横一字型阵列分布，对各中心点x进行排序确定横一字型阵列分布对应图像顺序。W≥图像宽度/3，并且H≥图像高度/3，若图像数量为4则为田字型阵列分布，否则为九宫格阵列分布，根据各个中心点的坐标确定阵列分布对应的图像顺序。

2.2 确定重叠区域

基于缩放后的标定点世界坐标计算图像坐标和世界坐标间的仿射变换矩阵HHi，对图像进行仿射变换并计算图像4个顶角对应的新的世界坐标值。见图2。

图2 基于HHi的仿射变换操作

(8)

(9)

图3 图像间重叠区域

2.3 阵列分布图像拼接

本文针对不同阵列分布图像采用不同的拼接顺序，其中横一字型阵列和竖一字型分别采用自左向右和自上向下的拼接顺序，即根据图像的坐标位置及重叠区域依次生成全局单应性矩阵，并对图像进行仿射后依次进行拼接融合。

针对田字型和九宫格阵列分布图像采用先横向后竖向的拼接顺序，其中横向拼接为将阵列中的一行图像按照其相对坐标和图像间的重叠区域依次生成全局单应性矩阵并对图像进行仿射后依次进行拼接融合，上述流程为阵列中的每一行生成一张拼接图像；竖向拼接即将每一行生成的拼接图像根据其坐标位置及图像大小确定图像间的重叠区域后依次生成全局单应性矩阵进行图像拼接融合。

3 实验结果

本实验图像采集自某实验厅河工模型，采用四点标定法对实验图像进行标定。拼接算法在Halcon环境中运行，根据河工模型的面积大小采用4路相机阵列，从左向右依次摆放。图像大小为2592像素*2048像素，两幅图像的重叠区域约为50%；基于标定后的图像构建横一字、竖一字和田字型阵列分布实验图像。见4-图9。

图4 基于HHi的仿射变换后横一字型阵列分布图像

图7 田字型阵列分布拼接图

图8 基于HHi的仿射变换后竖一字型阵列分布图像

图9 竖一字型阵列分布拼接图

本文方法利用标定信息对采集图像进行仿射变换后对图像进行拼接，拼接图对标定信息进行保留。上述图中所示3种阵列分布图像都成功配准并拼接，证明本算法可以将色彩变化不明显的阵列河工模型图片进行准确的拼接。

本文利用仿射变换后图像的相对位置坐标确定图像间的重叠区域，并利用重叠区域进行特征点检测及匹配的方法对比传统的Harris拼接方法更优，能够更快速和精确地进行阵列分布图像的配准拼接。性能比较见表1。

表1 性能比较

4 结 论

本文提出的阵列分布拼接算法，通过标定结果对图像进行放射变换后基于SIFT算法获取图像明显特征点；并结合RANSAC算法对匹配点进行了净化提纯；最后采用最大值融合算法对拼接线进行过渡。通过河工模型图像拼接实验，验证了本文拼接方法针对不同的阵列布局可以精确地实现拼接，并且能够保留原有标定信息，具有良好的工业应用价值。