无人机航拍图像拼接的研究与实现*

肖映彩，徐光辉，朱 森

(中国人民解放军理工大学 通信工程学院，江苏 南京 210007)

无人机航拍图像拼接的研究与实现*

肖映彩，徐光辉，朱 森

(中国人民解放军理工大学 通信工程学院，江苏 南京 210007)

针对无人机航拍图像的特点，采用基于图像特征的拼接技术，实现了无人机航拍图像的无缝拼接。首先提出一种改进的自适应阈值的Harris算法来提取图像的特征点，并用归一化互相关函数对特征点进行双向匹配，采用RANSAC算法剔除误匹配点对并估算出变换模型，最后用渐入渐出的加权平均融合法融合图像。实验结果表明，本文采用的方法有很好的稳定性和鲁棒性，能很好地实现无人机航拍图像的拼接。

无人机；图像拼接；Harris算法；RANSAC

0　引 言

近年来，随着无人机技术的发展，无人机在高空航拍、电力巡检、边防巡逻、安全监控等领域得到了广泛应用[1]。其中，基于无人机航拍视频、图像的应用越来越多，其应用价值也越来越大。把无人机航拍的图像序列进行拼接，获得某个局部区域的全景图像，这在地质勘察、环境监测、军事指挥等活动中具有重要意义。

图像拼接一般包括三个步骤：特征提取、特征匹配和图像融合[2]。根据图像特征匹配的方法，可将图像拼接技术分为三类：基于图像灰度的方法、基于变换域的方法和基于图像特征的方法[3]。基于图像特征的拼接方法运算量较其他两种方法低，并且具有良好的精确度和鲁棒性，能很好地处理无人机航拍图像中存在的变形、噪声和亮度变化等问题。

本文采用基于图像特征的拼接技术，利用改进的Harris算法提取图像的特征点，并用归一化互相关函数对特征点进行双向匹配，通过RANSAC算法剔除误匹配点对并估算出变换模型，最后用渐入渐出的加权平均图像融合法，实现了无人机航拍图像的无缝拼接。

1　图像拼接的原理与实现过程

1.1特征点提取

1.1.1常用的特征点提取算法比较

目前，应用比较广泛的特征点提取算法有Moravec、Harris、SUSAN、SURF、SIFT等算法。Moravec算法对图像边缘、孤立点和噪声特别敏感，检测出的伪角点较多[4]。文献[5]从稳定性、抗噪声能力和算法复杂度三个方面对Harris算法和SUSAN算法进行比较。实验结果表明，Harris算法在这三项指标上都优于SUSAN算法。文献[6]从计算复杂度和精确性两方面比较Harris、SURF等几种特征点提取算法。测试结果表明，SURF虽然具有较高的精确度，但是运算速度远远不如Harris算法。文献[7]则从图像拼接的应用中比较了Harris和SIFT算法。SIFT算法具有良好的尺度和旋转不变性，但是算法复杂运算速度慢；而Harris算法运算速度快且在旋转图像的拼接上效果更好。由于Harris算法计算简单、稳定性高、具有很好的鲁棒性，即使图像存在旋转、亮度变化和干扰噪声，也能精确检测出图像中的特征点，因此本文采用Harris算法提取待拼接图像的特征点。

1.1.2Harris算法的原理

Harris特征点检测算法是C.Harris和M.Stephens在Moravec算法的基础上，提出的一种经典的基于信号的特征点提取算法[8]。Harris算法的原理是在图像中的一个小的观察窗口内，在特征点处窗口沿任意方向移动微小的距离都会观察到图像灰度值的剧烈变化。

定义窗口内灰度值的变化量：

式中w(x,y)为窗口函数。

为了较好地抑制噪声，窗口函数选用高斯函数：

对式（1）用泰勒级数展开，取一阶近似可得：

式中，

Ix、Iy分别为图像在x和y方向上的一阶偏导数：

令：

则，

设λ1、λ2分别是矩阵M的两个特征值，根据λ1和λ2的值可以判断观察窗口内灰度变化量E的变化情况，可以分为以下三种情况：

（1）λ1和λ2都很小，说明是在图像的平坦区域，窗口沿任意方向移动E的变化都很小。

（2）λ1和E一个很大而另一个很小，说明此时是在图像的边缘区域，窗口沿边缘方向移动E变化很小，而沿边缘法线方向E变化很大。

（3）λ1和λ2都很大，说明此时是在图像中的角点位置，窗口沿任意方向移动都会引起E值的剧烈变化。

根据上述原理，Harris特征点检测算法的实现过程可以概括为以下几步：

（1）根据式（5）、式（6），计算图像在水平和垂直方向上的一阶偏导数Ix、Iy。

（2）根据式（7），用均值为零的离散二维高斯函数对Ix和Iy滤波，计算矩阵M中每个元素的值。

（3）定义角点响应函数：

式中Det(M)为M的行列式，Trace(M)为M的迹，k为经验值，一般取0.04～0.06。

根据式（9）计算图像中每个像素的响应值R。如果R为当前窗口的局部最大值，则把该点作为候选点。

（4）如果候选点的响应值R大于设定的阈值T，则把该点作为有效特征点保留。

1.1.3Harris算法的改进

Harris算法根据像素点的角点响应值R是否为局部最大值且是否大于手动设定的阈值T来判断该像素点是否为特征点。手动设置阈值的方法只能根据图像的特征不断试验调整，很难找到适合不同图像的阈值，即不具有自适应性。阈值决定了特征点的数量，阈值设置的低则特征点数量多，反之特征点数量少。在图像拼接中，如果特征点数量少，则有可能造成待拼接的两幅图像成功匹配的特征点对很少，从而使估算出的变换矩阵误差较大，最终导致拼接后的图像效果不理想；反之，如果特征点较多，则会增加特征点匹配过程中的冗余计算量。

为了解决上述阈值的设置问题，可以采用一种自适应的阈值设置方法：将图像中所有角点响应值R的最大值Rmax作为参考，将阈值设置为cRmax，c的取值范围为0.01～0.05。采用这种方法，就可以不用针对每幅图像手动调整阈值，具有较好的自适应性。

1.2特征点匹配

特征点匹配基于归一化互相关函数来实现。该方法以特征点相关窗口内所有像素点灰度值的归一化互相关系数作为判断依据来实现特征点匹配[9]。一个（2N+1）×（2N+1）相关窗口内的归一化互相关函数定义如下：

式中I1和I2表示待拼接的图像分别表示图像I1和I2在窗口内的平均灰度。当NCC=1时，表示两幅图像的该对特征点完全相关；NCC=0时，表示该对特征点相互独立。实际应用中，可以设定一个阈值。当NCC的值大于该阈值时，则认为这对特征点是匹配的。

为了提高匹配精度，本文采用双向的归一化互相关方法实现特征点的匹配，具体实现过程如下：

（1）对于图像I1中的一个特征点，根据式（12）计算与I2中每个特征点的NCC值，保留最大值。如果该最大值大于设定的阈值，则记录与该特征点匹配的I2中的特征点。按照此方法在I2中寻找I1中每个特征点的匹配点，得到一个匹配点集合S1。

（2）按照第一步的方法，对S1中的每个点在I1中寻找匹配点，得到另一个匹配集合S2。

（3）如果S1和S2中有相互对应的点，即I1中的某一特征点a1，通过步骤（1）计算出的匹配点为I2中的点a2，而点a2通过步骤（2）计算出的匹配点为a1，则认为特征点a1和a2是一对相互匹配的点。

与单向匹配的方法相比，双向匹配能够更加精确地找出待拼接的两幅图像中相互匹配的特征点对。

1.3变换模型估计

待拼接的两幅图像在确定匹配的特征点对后，将其中一幅图像I1作为参考图像，另一幅图像I2作为待配准图像。拼接前，需寻找一个合适的坐标变换模型，利用该模型建立I2和I1之间的变换关系。I1和I2之间的变换模型可以用投影变换模型描述：

式中，H为变换矩阵，(x1,y1)为I1中匹配点的坐标，(x2, y2)为I2中匹配点的坐标。矩阵H中有8个自由度，因此至少需要用4对匹配点才能求出H中的全部参数。

用双向的归一化互相关方法找到的特征点对还可能会存在一些误匹配点对，这时可以通过RANSAC（随机抽样一致性）算法把这些误匹配点剔除。RANSAC算法是一种鲁棒的数据拟合方法，被广泛用于图像特征点匹配和变换模型的估计中。用该算法可以有效剔除误匹配点对，并估计出最佳变换模型。具体实现步骤如下：

（1）从两幅图像的匹配点对中随机抽取4对匹配点，并保证每幅图像中的任意3点不在同一条直线上。

（2）利用抽取的4对匹配点求解变换矩阵H。

（3）根据变换矩阵H，计算每一对匹配点的距离误差。如果误差小于设定的阈值，则判断该匹配点对为内点，同时记录内点个数；如果内点数满足期望，则用所有局内点重新估计模型，求取更精确的变换矩阵H。距离误差的计算公式为：

式中，m1i和m2i是一对匹配点，由变换矩阵H计算出的在对应图像中的投影点分别为||·||则表示欧氏距离。

（4）重复执行上述过程足够多次。

（5）选择内点数最多的模型，得到最终的变换矩阵H。

1.4图像融合

图像融合的目的是选择合适的方法来完成图像拼接，避免拼接后的图像出现明显的拼接缝隙，甚至有模糊和失真等现象。目前，常用的图像融合技术有直接平均融合法和加权平均融合法。采用直接平均融合法拼接出来的图像往往会有比较明显的拼接痕迹[3]。

本文采用渐入渐出的加权平均融合法进行图像融合。令I1和I2表示待拼接的两幅图像，I表示拼接后的图像，则用该方法融合的图像可以描述如下：

式中，w1和w2表示重叠区域的权重，它们与重叠区域的宽度width满足如下关系：

其中0＜w1,w2＜1。

在重叠区域，w1从1渐变为0，w2从0渐变为1，这样就可以在图像融合过程中，重叠区域由I1平滑地过渡到I2。采用这种方法拼接的图像能有效消除拼接缝隙，实现无缝拼接。

2　实验结果分析

实验环境为运行MATLAB R2014a的PC机、Intel Core i3处理器、主频3.6 GHz、运行内存4 GB、64位Windows7操作系统。实验选用的两张无人机拍摄的图像分别如图1中（a）、（b）所示。

图1　原无人机航拍图像

利用改进的Harris算法提取两幅图片的特征点，阈值设置为0.04Rmax。图2为两幅图像提取的特征点，其中“+”代表特征点。

图2　特征点提取结果

用双向归一化互相关函数对两幅图像的特征点进行初步匹配，互相关阈值设置为0.85。特性点匹配的结果如图3所示，两幅图片共检测到19对匹配点。为了方便观察，匹配的特征点对用直线连接。从图中可以看出，匹配的结果中存在误匹配点对，需要做进一步处理。

图3　特征点初步匹配结果

特征点初步匹配后，为了得到精确的匹配结果，可采用RANSAC算法进行优化，剔除误匹配点对。RANSAC算法最大迭代次数设置为1 000次，距离误差设置为3，得到的匹配结果如图4所示。剔除误匹配点对后，剩下13对有效的匹配点。

图4　去除伪匹配点对的结果

最后，利用RANSAC算法估算出的变换模型，用渐入渐出的加权平均融合法对两张图像进行融合，融合的结果如图5所示。从图5中可以看出，两幅图像融合的效果比较理想，重叠区域过渡平滑，没有出现明显的拼接痕迹。

图5　图像拼接后的结果

3　结 语

本文详细讨论基于图像特征的图像拼接方法，借助MATLAB仿真平台进行相关实验，结果表明，本文使用的方法能很好地满足无人机航拍图像拼接的要求，实现图像的无缝拼接，具有重要的实际意义。下一步的工作将进一步优化算法，并用C/C++语言在具体的应用平台上实现无人机航拍图像拼接。

[1] 谢相博,徐光辉,范凯鑫等.基于4G的无人机远程巡逻系统[J].通信技术,2015,48(11):1305-1309. XIE Xiang-bo,XU Guang-hui,FAN Kai-xin,et al.UAV Remote Patrol System based on 4G[J].Communications Technology,2015,48(11):1305-1309.

[2] 王娟,师君,吴宪祥.图像拼接技术综述[J].计算机应用技术研究,2008,5(07):1940-1947. WANG Juan,SHI Jun,WU Xian-xiang.Survey of Image Mosaics Techniques[J].Application Research of Computers,2008,5(07):1940-1947.

[3] 杨杨.无人机航拍视频图像实时拼接软件系统的设计与开发[D].北京:北京工业大学,2013. YANG Yang.Design and Development A Real Time Mosaic Method for Remote Sensing Video Images from UAV[D].Beijing:Beijing University of Technology,2013.

[4] 卢瑜,郝兴文,王永俊.Moravec和Harris角点检测方法比较研究[J].计算机技术与发展,2011,21(06):95-97. LU Yu,HAO Xing-wen,WANG Yong-jun.Research on Moravec and Harris Corner Algorithm[J].Computer Technology and Development,2011,21(06):95-97.

[5] Chen J,Zou L H,Zhang J.The Comparison and Application of Corner Detection Algorithms[J].Journal of Multimedia,2009,4(06):435-441.

[6] Ghosh P,Pandey A,Pati U C.Comparison of Different Feature Detection Techniques for Image Mosaicing[J]. ACCENTS Transactions on Image Processing and Computer Vision,2015,1(01):1-7.

[7] Chandratre R,Chakkarwar V.Image Stitching Using Harris Feature Detection and Random Sampling[J].International Journal of Computer Applications,2014,89(05):14-19.

[8] Harris C,Stephens M.A Combined Corner and Edge Detector[A]//.Proceedings of the 4th Alvey Vision Conference[C]. Manchester,England:[s.n.],1988.

[9] 赵璐璐.基于特征匹配的全景图像拼接算法研究[D].西安:西北大学,2013. ZHAO Lu-lu.Research of Panoramic Image Stitching Algorithm Based on Feature Matching[D].Xi'an:Northwest University,2013.

肖映彩（1989—），男，硕士研究生，主要研究方向为嵌入式系统设计、计算机视觉；

徐光辉（1973—），男，博士，副教授，主要研究方向为SOC技术与嵌入式系统设计；

朱 森（1990—），男，硕士研究生，主要研究方向为说话人识别。

Research and Implementation of UAV Aerial Images Mosaic

XIAO Ying-cai, XU Guang-hui, ZHU Sen
(College of Communications Engineering, PLAUST, Nanjing Jiangsu 210007,China）

Aiming at the characteristics of UAV aerial images, and with mosaic technology based on the features of images, the seamless mosaic of UAV aerial images is implemented. First, a modified Harris algorithm with adaptive threshold is proposed to extract the feature points of images. Then the normalized cross-correlation function is used to make two-way match of the feature points, and with RANSAC algorithm the false pairs of matching points are eliminated, and the transformation model also estimated. Finally, a gradually fade-out weighted fusion method is adopted to implement image fusion. The experimental results indicate that the proposed algorithm has good reliability and robustness, and performs well in implementing mosaic of UAV aerial images.

UAV; image mosaic; Harris algorithm; RANSAC

TP391.41

A

1002-0802(2016)-08-01006-05

10.3969/j.issn.1002-0802.2016.08.010

2016-04-20;

2016-07-20

date:2016-04-20;Revised date:2016-07-20