基于SIFT弹载SAR图像匹配算法

陈　勇, 赵惠昌, 陈　思, 张淑宁

(1.南京理工大学电子工程与光电技术学院, 江苏 南京 210094;2. 淮阴师范学院, 江苏 淮安 223300)



基于SIFT弹载SAR图像匹配算法

陈勇1,2, 赵惠昌1, 陈思1, 张淑宁1

(1.南京理工大学电子工程与光电技术学院, 江苏 南京 210094;2. 淮阴师范学院, 江苏 淮安 223300)

摘要：基于尺度不变特征算法,提出了一种适用于弹载合成孔径雷达图像匹配的改进算法。该算法首先通过在构建的高斯差分尺度空间中搜索特征点,然后利用指数加权均值比算子计算特征点的梯度幅值和方向,并通过简化的特征描述子生成特征向量,最后采用距离比和几何一致性准则剔除错误匹配的特征点对,实现图像匹配。实验结果表明,改进算法对SAR图像在旋转、光照、尺度变化等情况下都有很好的匹配效果,并且降低了计算复杂度,有较强的鲁棒性和实时性。

关键词：弹载合成孔径雷达; 尺度不变特征; 图像匹配; 特征点

0引言

合成孔径雷达[1-2](synthetic aperture radar, SAR)是一种具有全天候的主动高分辨成像雷达,可以在各种不利气候条件下进行成像。弹载SAR制导[3-4]是利用图像匹配技术实现的一种先进成像制导技术,利用弹载SAR获取实时图像与预先存储在导弹上的目标参考图进行图像匹配来修正惯导的累积误差进行寻的。由于导弹飞行平稳性差,尤其是末制导,实时图像噪声强,实时性要求高,弹载SAR成像制导对图像匹配技术提出了更高的要求,传统图像匹配方法[5-6]不能直接应用于弹载SAR成像制导中。近年来,有不少文献研究报道了尺度不变特征变换(scale-invariant feature transform, SIFT)算法在SAR图像匹配中的应用,文献[7]提出的BFSIFT算法针对SAR图像斑点噪声存在的问题,采用双边滤波器建立各向异性尺度空间,有效地弱化了斑点噪声对图像匹配的影响;文献[8]提出通过在建立的非线性扩散尺度空间上提取同名点,有效地保护了SAR图像的边缘特性,提高了匹配的正确率;文献[9]提出的GRSIFT算法采用改进的梯度算子,为特征点指定方向,增强了鲁棒性,降低了SAR图像中斑点噪声的影响。然而上述算法都是针对SAR图像中斑点噪声影响提出各种改进的SIFT算法,往往计算量大且描述符维度高,实时性不高,不能适用于弹载SAR图像匹配。

本文针对弹载SAR图像的特点,提出了一种改进的SIFT算法,通过引入指数加权均值比 (ratio of exponentially weighted averages, ROEWA)算子改进特征点梯度的计算,并降低特征描述子的维度,生成的新特征向量增强了算法对相干斑噪声的鲁棒性,减少了计算时间,提高了弹载SAR图像匹配的速度。实验结果表明该算法鲁棒性好,匹配速度快,能满足实时性要求。

1SIFT算法原理

SIFT是一种计算机视觉算法,该算法用来侦测和描述影像中的局部特征[10-11]。由David Lowe在1999年发表,并于2004年对其完善总结而提出的一种基于图像局部不变特征,对图像旋转、尺度缩放、亮度变化保持不变性的匹配算法。该算法的实质是在不同空间尺度上搜索特征点,通过计算统计特征点及其邻域的梯度模值和方向,构建该特征点的特征描述子。SIFT 算法的主要步骤为:多尺度空间构建,特征点搜索,特征点方向分配和特征描述。

1.1多尺度空间构建

尺度空间生成的目的是模拟图像数据的多尺度特征,通过连续变化的尺度参数获取不同尺度的图像数据。高斯卷积核是实现尺度变换的唯一线性核,由二维高斯函数计算得到。

式中,σ是尺度空间因子,其值表示图像被平滑的程度;(x,y)表示图像的像素位置。图像的尺度空间L(x,y,σ)可以表示为

(1)

式中,G(x,y,σ)是尺度随参数σ值可变的高斯函数,不同尺度对应了图像的不同特征。为了在尺度空间上能更有效地搜索到稳定的特征点,Lowe提出了在高斯差分(difference of Gaussian, DoG)尺度空间上搜索特征点,该尺度空间可由不同尺度的高斯差分核与图像卷积生成:

(2)

式中,k为常数因子。高斯差分核是尺度归一化高斯拉普拉斯(Laplacian of Gaussian, LoG)算子的近似,不仅可以得到稳定的图像特征,而且具有很高的计算效率,省去了对卷积核的生成的运算量。如图1所示,高斯差分尺度空间采用不同尺度因子的高斯核对图像进行卷积以得到图像的不同尺度空间。尺度空间是连续的,Lowe称该尺度空间为图像金字塔,对于一幅图像I,在尺度空间上建立不同尺度的图像,也称为octave,第一个octave为原图大小,后面每个octave为上个octave降采样的图像,即为原图的1/4,通过每个octave上下相邻两层的高斯尺度空间图像相减得到高斯差分尺度空间。

1.2特征点搜索

特征点的搜索是通过同一组内各DoG相邻层之间比较完成的。SIFT 算法把DoG 空间的极值点作为该尺度的特征点,每一个采样的像素点要和所有相邻点进行比较,为了搜索尺度空间的极值点,也就是说待比较的采样点除了要和它同一尺度的8个相邻点比较,还要和上下相邻尺度对应的9×2=18个点进行比较,所检测到的极值点是其图像域和尺度域相邻点的最大值或最小值。在已搜索到的特征点中,通过拟和三维二次函数的方法对已搜索到的特征点位置和尺度进行精确定位,去除了不同尺度空间上对比度较低和不稳定的特征点。

图1　DoG多尺度空间图像

1.3特征点方向分配

SIFT算法通过利用图像的局部特征为搜索到的特征点分配方向基准,实现图像旋转的不变性。对于已经搜索到的特征点,首先采用有限差分计算该特征点在高斯图像区域内的梯度。

(3)

(4)

式中，m(x,y)、θ(x,y)分别是特征点梯度的幅值和方向,特征点的主方向就是以该特征点为中心点在邻域窗口内进行采样,通过直方图统计其邻域像素梯度峰值的方向。

1.4特征描述子

SIFT特征描述子表示特征点邻域高斯图像梯度统计的结果。特征描述子是通过对特征点周围区域分块,通过块内梯度直方图的统计,生成的具有独特性的特征向量,使其不随视角和光照的变化而改变。如图2所示,首先在特征点所在的尺度空间上将特征点附近邻域划分为4×4个子区域,每个区域称为一个种子点,每个种子点分配8个方向。为了保证描述子具有旋转不变性,然后以特征点为中心,将坐标轴旋转至特征点的主方向,并将邻域内的采样点分配到对应的子区域内,最后将子区域内的梯度值分配到8个方向上,并计算其权值。

图2　特征描述子生成

2SIFT算法的改进

传统SIFT 算法在光学图像处理中有着广泛的应用[12]。SAR图像是地物目标散射信号经相干处理后的成像,由于分布目标散射电磁波的相干叠加,形成了大量的乘性相干斑噪声[13-14],传统SIFT算法很难对存在大量相干斑噪声的SAR图像进行正确匹配。同时,该算法具有128维的特征描述算子,匹配过程中,计算量大,很难适应实时性要求较高的弹载SAR图像匹配。针对弹载SAR图像匹配的特点,为了消除斑点噪声对特征点提取的影响,提高匹配的正确率,改进算法通过在传统SIFT算法基础上,重新定义特征点描述算子的梯度计算方法,并降低特征描述算子的维度,来减少算法的计算量,提高匹配速度。

2.1梯度计算

传统SIFT算法利用图像局部特征获取特征点主方向,通过特征点邻域像素梯度及方向的分布特性计算特征点梯度的幅值和方向。式(3)、式(4)中采用差分算子计算梯度的幅值和方向,而SAR图像的相干斑噪声是乘性的,差分算子对于乘性噪声来说不是恒虚警的,而是随着像素点强度均值的变化而改变,这样就会在亮点处检测出虚假的特征点,而在暗点处则会丢失很多真实的特征点。ROEWA算子[15]可以很好解决这一问题,ROEWA算子采用一种线性最小均方误差的指数滤波器估计像素均值,其方差与原始图像的方差成正比,具有恒虚警率特性,虚假点少,适用于SAR图像的特征检测。

本文改进的SIFT算法利用该算子计算特征点的梯度幅值,其表达式为

(5)

式中,Ri(x,y)和Rj(x,y)分别为水平方向和垂直方向上归一化的指数加权均值比。

(6)

(7)

式中,f1(·),f2(·)分别为因果和非因果递归滤波器:

(8)

f(·)为一维平滑滤波器:

(9)

式中,e1、e2为滤波器的输入;b=e-a,a=1-b。

由式(5)可知,改进匹配算法的梯度幅值是通过计算水平方向与垂直方向的指数加权比值的平方和来得到的,计算中采用比值的方法获取指数加权值比Ri(x,y)和Rj(x,y),无法定义梯度的方向,所以本文在改进的特征点描述子中通过利用Radon变换[16]计算特征点的梯度方向。

(10)

一般情况下n=8,也就是将θ等分为8个方向,分别为0°、45°、90°、135°、180°、225°、270°、315°。可以计算出H(θn)最大值对应的角度θn代表了特征点方向。

2.2特征描述子

传统SIFT算法特征点描述子采用主方向旋转和统计梯度直方图的方法,将特征点附近邻域划分为4×4个子区域,每个区域内邻域采样点分配到对应种子点的8个方向上。特征描述算子具有4×4×8=128 维向量,特征向量计算在整个算法中占用80%以上的计算时间,很大程度上影响了算法的实时性。为了提高算法的实时性,在改进的算法中,通过降低特征描述子的维数,来减少特征向量的计算复杂度。某个特征点特征向量表示是以所在尺度上特征点为中心,并以窗口半径为1.5σ的圆形窗体统计邻域像素,在该圆形窗体内统计n个直方图,得到直方图统计量H={h1,h2,h3,…,hn},改进算法中,首先采用传统SIFT特征点提取的方法,得到特征点的位置和主方向,因圆形统计窗口中向量的维数n>12时匹配率并无明显提高[15],因此,本文简化特征描述算子中n=12;然后计算H中的最大值Hmax并设置为当前关键点的方向,将关键点的方向旋转至主方向,确保旋转不变性。最后特征描述向量通过直方图统计量H生成,即F={f1,f2,f3,…,f12},并通过归一化特征向量来消除光照变化对特征向量的影响,即

(11)

式中,fN为归一化向量；i∈[1,12]。

3实验结果与分析

为了验证本文算法的有效性,如图3所示,本节选取大小为237×282的SAR图像在光照变化、尺度变换和旋转变化等条件下对本文算法和其他匹配算法进行测试比较,图3(a)是选取的参考图,图3(b)、图3(c)、图3(d)分别是光照升高50%、尺度缩小2倍和旋转30°的图像。所有算法都在Windows7环境下运行,计算机配置为CPU3.4GHz、内存8GB,编程环境为MatlabR2012。

为验证本文算法对SAR图像匹配性能的优越性,对选取参考图在3种条件下分别用不同匹配算法进行计算,首先,计算每幅图像搜索到特征点相应的特征描述子,然后将它们与参考图像中的描述子按照欧式距离最小原则进行匹配,最后采用随机抽样一致(randomsampleconsensus,RANSAC)算法对特征点对进行透视变换模型计算,剔除错误匹配的特征点对。

图3　本文选用的参考图与实时图

表1给出了不同匹配算法对SAR图像在光照变化、尺度变化和旋转变化下匹配的时间。由表可见,由于本文算法在特征描述子生成过程中采用ROEWA算子计算特征点的梯度方法,该方法对相干斑噪声不敏感,检测的虚假特征点少,同时本文算法在不影响匹配性能下降低了特征描述子的维数,减少了计算的复杂度,所以对SAR图像匹配的耗时最少;由于BFSIFT算法在大尺度上检测特征点,提取的特征点数量相对较多,计算量较大,耗时最多。

表1　不同匹配算法计算时间比较　ms

表2给出了不同匹配算法在不同光照、不同尺度和不同旋转角SAR图像中的特征点和特征点对的提取结果。由表2可以看出,虽然本文算法所检测的特征点总数较少,但是匹配的正确率比其他算法有所提高,主要是由于本文算法所检测虚假特征点数量的减少。传统SIFT受相干斑噪声的影响较大,随机性强,检测的虚假特征点较多,不易匹配,减小了正确匹配的概率。由于GRSIFT算法同样采用了对相干斑噪声不敏感的均值比例(ratio of average, ROA)算子计算特征点的梯度,特征点数量与本文算法相当,但耗时较多。实验结果分析表明,本文提出的改进算法在满足弹载SAR成像制导实时性要求下,可以达到较高的匹配精度。本文算法在图像光照变化、旋转以及尺度变化时,比其他算法匹配效率有着明显的提高,并能满足弹载SAR图像匹配的实时性要求,图4为本文算法的匹配结果。

表2　不同匹配算法匹配性能比较

图4　本文算法匹配结果

4结论

本文提出一种改进的SIFT算法,利用ROEWA算子的恒虚警率特性,改进特征描述算子,增强了算法对相干斑噪声的鲁棒性,通过降低传统SIFT 特征描述算子的维度,简化特征点特征向量计算,提高了SIFT的计算速度。实验结果分析表明,改进算法在满足弹载SAR成像制导实时性要求下,对图像的旋转、光照变化和尺度变化具有较强的鲁棒性,有效提高了匹配效率,降低了匹配计算复杂度。

参考文献：

[1] Moon W M, Staples G, Duk-Jin K, et al. RADARSAT-2 and coastal applications: surface wind, waterline, and intertidal flat roughness[J].ProceedingsoftheIEEE,2010,98(5):800-815.

[2] Belcher D P, Rogers N C. Theory and simulation of ionospheric effects on synthetic aperture radar[J].Radar,Sonar&Navigation, 2009, 3(5): 541-551.

[3] Chen Y, Zhao H C, Chen S, et al. An imaging algorithm for missile borne SAR based on fractional Fourier transform[J].ChinesePhysicalSociety, 2014(11): 118401-118403.(陈勇,赵惠昌,陈思,等. 基于分数阶傅里叶变换的弹载SAR成像算法[J].物理学报,2014(11): 118401-118403.)

[4] Bao M, Zhou S, Shi L, et al.Motion compensation approach for wide-swath missile-borne SAR imagery[J].JournalofXidianUniversity(NaturalScience), 2013, 40(4): 188-196.(包敏,周松,史林,等. 一种适用于宽测绘带弹载SAR成像的运动补偿方法[J].西安电子科技大学学报(自然科学版),2013, 40(4): 188-196.)

[5] Goncalves H, Corte-Real L, GoncalvesJ A. Automatic image registration through image segmentation and SIFT[J].IEEETrans.onGeoscienceandRemoteSensing, 2011,49(7):2589-2600.

[6] Gong J W, Jin J L, Wen X Y. A high-performance feature-matching method for image registration by combining spatial and similarity information[J].IEEETrans.onGeoscienceandRemoteSensing, 2008,46(4):1266-1277.

[7] Wang S H, You H J, Fu K.An automatic method for finding matches in SAR images based on coarser scale bilateral filtering SIFT[J].JournalofElectronics&InformationTechnology,2012,34(2):287-293.(王山虎,尤红建,付琨.基于大尺度双边SIFT的SAR图像同名点自动提取方法[J].电子与信息学报,2012,34(2):287-293.)

[8] Fan J, Wu Y, Wang F, et al. SAR image registration using phase congruency and nonlinear diffusion-based SIFT[J].IEEEGeoscienceandRemoteSensingLetters,2014,12(3):562-566.

[9] Dellinger F, Delon J, Gousseau Y, et al. SAR-SIFT: a SIFT-Like algorithm for SAR images[J].IEEETrans.onGeoscienceandRemoteSensing, 2015, 53(1): 453-466.

[10] Lowe D G. Object recognition from local scale-invariant features[C]∥Proc.oftheIEEEInternationalConferenceonComputerVision,1999: 1150-1157.

[11] Lowe D G. Distinctive image features from scale-invariant keypoints[J].InternationalJournalofComputerVision, 2004,60(2):90-110.

[12] Joglekar J, Gedam S S, Mohan B K. Image matching using SIFT features and relaxation labeling technique-a constraint initializing method for dense stereo matching[J].IEEETrans.onGeoscienceandRemoteSensing, 2014, 52(9): 5643-5652.

[13] Bovik A C. On detecting edges in speckle imagery[J].IEEETrans.onAcoustics,SpeechandSignalProcessing, 1988, 36(10): 1618-1627.

[14] Touzi R, Lopes A, Bousquet P. A statistical and geometrical edge detector for SAR images[J].IEEETrans.onGeoscienceandRemoteSensing,1988,26(6): 764-773.

[15] Fjortoft R, Lopes A, Marthon P, et al. An optimal multiedge detector for SAR image segmentation[J].IEEETrans.onGeoscienceandRemoteSensing, 1998, 36(3): 793-802.

[16] Li Y X, Xiao X C. Linear frequency-modulated signal detection and parameter estimation in low signal-to-noise ratio condition[J].SystemsEngineeringandElectronics,2002, 24(8): 43-45. (李英祥,肖先赐.低信噪比下线性调频信号检测与参数估计[J].系统工程与电子技术,2002,24(8): 43-45.)

[17]Xing C.Overlapping degree analysis of images from an unmanned aerial vehicle based on a reduced scale-invariant feature transform ( SIFT) algorithm[J].JournalofHarbinEngineeringUniversity,2012, 33(2): 221-225.(邢诚.基于简化SIFT算法的无人机影像重叠度分析[J].哈尔滨工程大学学报,2012,33(2):221-225.)

陈勇(1979-),男,副教授,博士,主要研究方向为弹载SAR成像信号处理。

E-mail:hytccy@163.com

赵惠昌(1958-),男,教授,博士,主要研究方向为雷达信号处理、电子对抗技术。

E-mail:njustzhc@hotmail.com

陈思(1988-),男,讲师,博士,主要研究方向为弹载SAR成像算法。

E-mail:chensi924@163.com

张淑宁(1977-),女,副研究员,博士,主要研究方向为雷达信号处理。

E-mail:shuningzhang0704@sohu.com

Image matching algorithm based on SIFT for missile-borne SAR

CHEN Yong1,2, ZHAO Hui-chang1, CHEN Si1, ZHANG Shu-ning1

(1.SchoolofElectronicandOpticalEngineering,NanjingUniversityofScienceandTechnology,Nanjing210094,China; 2.HuaiyinNormalUniversity,Huaian223300,China)

Abstract:An image matching algorithm based on the scale-invariant feature transform for missile-borne synthetic aperture radar (SAR) is proposed. First, the difference of Gaussian (DoG) scale space is constructed, and features are detected in the space. Then the gradient is computed with the ratio of exponentially weighted averages. Finally, the distance ratio and consistency checking are used to remove mismatch points and establish matches. Experiments on SAR images with various rotation, light and scale demonstrate the applicability of the improved algorithm to find feature matches for missile-borne synthetic aperture radar image matching, and also reduce the time complexity. The results show that the improved algorithm has strong robustness and real-time performance.

Keywords:missile-borne synthetic aperture radar (SAR); scale-invariant feature transform (SIFT); image matching; feature points

收稿日期：2015-05-22；修回日期：2015-11-19；网络优先出版日期：2016-02-23。

基金项目：国家自然科学基金(61301216)；江苏省高校自然科学研究重大项目(15KJA460004)资助课题

中图分类号：957.52

文献标志码：A

DOI:10.3969/j.issn.1001-506X.2016.06.09

作者简介：

网络优先出版地址：http://www.cnki.net/kcms/detail/11.2422.TN.20160223.0830.006.html