复杂地物条件下基于线特征的异源景象匹配

王　力，贾　平，张　叶，马天翔

(1.中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033;

2.中国科学院大学，北京 100049)



复杂地物条件下基于线特征的异源景象匹配

王力1,2，贾平1*，张叶1，马天翔1

(1.中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033;

2.中国科学院大学，北京 100049)

摘要：为了寻求应用于复杂地物条件下异源景象匹配的算法，使其满足尺度和旋转不变性，受视觉成像系统的启发，利用初始简图可以表征图像大部分信息的特点，提出了一种新的基于线段对的异源图像匹配算法。首先，提取并筛选图像中能够表征图像信息的线段；然后，利用线段自身信息及线段的相对位置关系构建线段对特征；接着，通过线段对之间的相似性对图像进行粗匹配；最后，利用线段之间的拓扑关系进行精匹配。实验表明，本文方法对具有旋转、缩放和平移变换的异源图像的匹配正确率达到了75%以上，运算时间是传统匹配算法的1/5左右，基本满足了异源景象匹配应用对算法实时性和准确性的要求。

关键词:图像匹配；线段对匹配；尺度旋转无关；异源图像

Multi-sensor image matching based on line features

under complex object conditions

1引言

异源景象匹配技术是在多学科基础上发展起来的一门新技术，在民用、军事、医疗等领域具有重要的应用价值。在航空光电载荷系统中，通过将基准图和实时图进行匹配，从而实现图像的拼接以及融合。异源景象匹配算法的难点在于异源图像之间存在尺度、视角、亮度、分辨率等方面的诸多差异。在硬件系统运转正常时，匹配算法的优劣决定了光电载荷系统的性能。因此，异源景象匹配技术的研究对于航空光电载荷系统的发展有着重要的意义[1]。

异源景象匹配算法主要有基于区域的图像匹配方法、基于变换域的图像匹配方法以及基于特征的图像匹配方法。基于区域的图像匹配方法主要包括基于区域相似性的匹配方法以及基于互信息的匹配方法等，这类方法在时间复杂度上很难满足实时性的要求，并且由于异源图像间灰度的差异太大，很难得到较高的匹配成功率[2]。基于变换域的图像匹配方法主要包括Fourier-Mellin算法(FMT)和相位一致性算法等，这类算法对缩放和平移量稍大的图像适应性不强，且对图像形变敏感，另外对于图像的畸变或部分内容的改变适应能力较差[3-5]。基于特征的图像匹配方法主要有基于点特征的匹配方法[6]、基于边缘特征的匹配方法[7]以及基于线特征的匹配方法[8-9]等，基于点特征的算法在图像灰度差异较小时有较高的精度，但对灰度差异较大的图像无能为力；基于边缘的匹配方法匹配精度高，但时间复杂度过高；基于线特征的算法特征易于提取并且时间复杂度低，但在灰度差异过大的情景下很难保证匹配正确率。

考虑到在航空异源景象匹配中，一般感兴趣的图像区域多为人工建造区域，图像纹理丰富，易于提取出同名线段。另外，对于视觉系统，由少量的线条所构成的轮廓信息很大程度上反映物体的特征。受视觉系统的启发，本文提出了一种基于线段对的匹配方法。首先提取图像中的线特征，然后根据线段之间的距离和夹角对线段配对，构建满足旋转、缩放的特征描述子，采用距离相似性度量来进行匹配处理得到最终结果。

2算法介绍

本文算法主要包括线段提取、构建特征描述符与特征匹配。线段提取采用R.Von Gioi等人提出的A Line Segment Detector(LSD)[10]算法来实现；通过对提取出的线段本身信息及相互间位置关系的统计来描述线段对特征；利用线段间的拓扑关系进行精确匹配。

2.1　线段提取

现有的线段提取算法主要有Hough变换[11]、基于边缘检测算子的直线提取方法[12-13]以及LSD直线提取算法。由于受航空载荷系统的功率限制等因素，应用于航空景象的匹配算法必须能够满足实时性的要求。

图1　LSD提取线段效果Fig.1　Effects of line segment extraction by LSD algorithm

以上3种算法中，Hough变换时间复杂度过高，不适合应用于实时性要求较高的算法；基于边缘检测算子的算法检测精度低，很难提取出完整的线段；LSD算法运算速度快，可以在线性时间内得出亚像素级精度的检测结果。本文采取LSD算法来对图像进行线段提取[7]。LSD算法是通过统计图像每个像素点梯度值和方向，排除梯度值过小的像素点的影响，将梯度方向相近且像素点位置相邻的像素点结合构成待筛选线段，通过计算检测到的待筛选线段和完美噪声图像(不会检测到目标的噪声图像)的相似性来确定最终得到的线段。LSD提取线段的效果如图1所示。

2.2　线段对特征提取及表征

对图像提取出线段之后，通过描述线段对的空间结构和线段间的几何关系来反映线段对之间的关系，为线段对相似性度量做准备。本文利用线段之间的长度比例、角度关系、距离关系以及相对位置关系来描述两条线段的关系。

在构造线段对之前，为了提取出明显的特征以及消除噪声的影响，需要对提取的线段按照表达式(1)进行筛选:

(1)

图2　线段筛选结果Fig.2　Selection of line segment

(2)

图3　线段配对原则Fig.3　Rule of line combination process

如图4(a)所示，在计算线段对之间的距离时，分别计算出两条线段li(P1,P2)和lj(P3,P4)四个顶点之间的距离L1,L2,L3,L4四者的平均值即两条线段之间的距离，表达式如下：

(3)

如图4(b)所示，为了得到两条线段的夹角，需要求出两条线段所在直线的斜率K1，K2，按照直线夹角的公式可得：

(4)

将线段斜率用坐标形式表示得:

(5)

如图4(c)所示，线段l1和l2的顶点分别为P1(x1,y1)，P2(x2,y2)，P3(x3,y3)，P4(x4,y4)，两条线段的相对位置关系可用下式表示：

(6)

(7)

式中，ξx代表两条线段间横向的位置差异，ξy代表两条线段间纵向的位置差异。

图4　线段相互关系示意图Fig.4　Relationship of line segments

由于在构造线段对的过程中，没有限制一条线段只能出现在一个线段对中，多个线段对之间有可能会共用某一条线段，通过这种拓扑关系可以简化匹配工作。

2.3　特征匹配

假设Si和Sj是从实时图和基准图中提取出的线段对特征向量集，Vi，Vj分别为Si，Sj中的一个特征向量。由欧氏距离定义两个线段对之间的相似性。两线段对之间的相似性度量函数如下：

(8)

式中，λl,λξ,λd,λθ分别为两个线段对长度比例、相对位置关系、距离及夹角在匹配过程中所占权重。它们满足λl+λξ+λd+λθ=1且λl>0，λξ>0，λd>0，λd>0。

理论上同名线段对应该具有相同的特征向量，如果Vi和Vj的特征向量的相似性度量相距甚远，超过设定的某一阈值ρmax，那么我们就认定Vi和Vj不是同名特征点，即这两个特征是不匹配的。

(9)

(10)

在初步匹配结束之后，线段对之间有可能出现多对一的情况，为了避免这种情况的发生，对每个线段对加入一个标记位，比较匹配到同一个线段对的所有实时线段对，标记实时线段对与基准线段对相似性最高的实时线段对为已配准状态，其余实时线段对为未配准状态，至此线段对之间的配准工作完成，接下来利用线段对之间的拓扑关系进一步匹配各个线段。

图5　精确匹配过程Fig.5　Process of accurate registration

为了提高匹配的可靠性可以采用双向匹配算法[14]，双向匹配算法的思想为仅保留以红外图像作为实时图像和以可见光图像作为实时图像时匹配成功的线段作为匹配结果。在匹配完成之后利用随机抽样一致算法(Random Sample Consensus, RANSAC)进一步降低错配率[15-16]。

由于异源图像匹配完成之后往往需要进行融合等操作，这些操作需要匹配结果能够达到像素级别的精度，为了后续处理的方便，本文采用每条线段的中点来代表改线段。

3实验结果与分析

3.1　实验阈值设置

为了进一步验证所提算法的性能，在硬件配置为：CPU为core i3-2310，3.3 GHZ，内存为4 G，算法开发工具为vc2010的设备上进行大量实验，使用图片大小为256 pixel×256 pixel。

图6　δ值与算法运算时间及特征数量的关系Fig.6　Relationship between δ, operation time and feature number

由于阈值δ、dmax的选取对算法性能有很大的影响，其中δ主要影响运算时间和提取的特征数量，dmax影响算法匹配正确率和运算时间，本文通过大量的对比试验统计出阈值选取和匹配正确率及匹配时间之间的关系。图6表示δ值对算法运算时间以及特征数量的影响，图7表示dmax对匹配正确率及运算时间的影响。

图7　dmax值和匹配正确率及运算时间的关系Fig.7　Relationship between dmax, the correct matching rate and operation time

由图6可以看出，δ值越大，运算时间越小，但特征数量也越小。为了保证算法的有效性并且保证算法的运算时间，取δ=0.53。由图7得到，当dmax=270时，匹配正确率最高并且可以保证算法的运算时间，取dmax=270。

3.2　实验结果

为了验证本文算法的有效性，本文通过大量的异源图像进行仿真实验。由于异源匹配领域没有通用的图像库，因此本文选用了多组多光谱图片，并将实时图像逆时针旋转5°，缩放为原图的0.9倍后截取部分图片作为实验图像来验证算法是否具有旋转、缩放和平移不变性，经过变换之后的红外图片大小为211 pixel×211 pixel。图8为采用本文方法匹配之后比较有代表性的四组结果，其中图8(a)是地面拍摄的异源图像对的匹配结果，图8(b)、8(c)、8(d)是航拍得到的异源图像对的匹配结果。为了能够更加简洁的描述线特征并且直观地观察匹配结果，图8中的线段用该线段的中点来表示。

图8　本文方法匹配结果Fig.8　Matching results using proposed algorithm in this paper

为了更加客观地评价本文算法，分别采用本文算法、SIFT匹配算法、互信息方法以及文献[6]

表1　4种算法性能比较

提出的点特征和边缘信息相结合的算法对复杂地物条件下的异源图像进行多次匹配测试，得出4种算法正确匹配率和匹配时间的实验数据。结果如表1所示。

图9　本文算法与SIFT算法比较结果Fig.9　Comparison of the proposed algorithm and SIFT algorithm

从表1可以看出，本文提出的算法正确率最高，边缘相关方法次之，传统点特征匹配算法最低。在计算时间上，本文方法用时最短，远低于互信息方法与传统点特征方法相近。

为更加直观地体现本文算法的有效性，图9给出了一组使用本文方法、SIFT及文献[6]所述方法对异源景象匹配的实验结果。

本文方法要求异源图像对之间存在相同或者相似的直线特征,这点在城市、港口、机场等大多数人造场景，一般能够满足。但是在山区、农田等一些特殊的场景,通常难以有效提取对应的直线特征, 则本文方法将会失效。

4结论

本文针对异源景象成像机理不同造成的灰度差异大以及图像间存在缩放和旋转时导致的匹配困难问题，受到人眼视觉模型的启发，提出一种复杂地物条件下基于线特征的异源图像匹配方法。介绍了线段对的提取、表征与匹配过程，给出了该算法对于复杂地物条件下异源景象匹配问题的效果。实验结果证明:基于线特征的匹配算法可以完成具有旋转、缩放变换的两幅异源图像间的匹配。当图像同时具有旋转缩放和少量平移变换时，匹配正确率能够达到75%左右，当两幅异源图像场景相差较小时，匹配效果会有进一步提升。

参考文献：

[1]张蕾.采用非采样Contourlet变换与区域分类的红外和可见光图像融合[J].光学 精密工程,2015,23(3):810-818.

ZHANG L. Fusion of infrared and visible images based on non-sampled contourlet transform and region classification[J].Opt.PrecisionEng.,2015,23(3):810-818.(in Chinese)

[2]李壮.异源图像匹配关键技术研究[D].长沙：国防科技大学,2011:67-77.

LI ZH. Research on key technologies of multi-sensor images matching[D]. Changsha:National University of Defense Technology,2011:67-77.(in Chinese)

[3]LIM F L,WEST G A W,VENKATESHS. Use of log polar space for foveation and feature recognition[J].IEEE,1997,144(6):323-331.

[4]CHEN Q S,DEFRISE M,DECONINCK F. Symmetric phase-only matched filtering of Fourier-Mellin transforms for image registration and recognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1994,16(12):1156-1168.

[5]沈同圣,张健,等.面向目标检测的空间观测图像精确配准[J].光学 精密工程,2014,22(8):2205-2213.

SHEN T SH,ZHANG J. Precise registration of Space observation images for target detection[J].Opt.PrecisionEng.,2014,22(8):2205-2213.(in Chinese)

[6]王飞宇，邸男，贾平.结合尺度空间FAST角点检测器和SURF描绘器的图像特征[J].液晶与显示，2014,29(4):598-604.

WANG F Y,DI N,JIA P. Image features using scale-space FAST corner detector and SURF descriptor[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(4):598-604.(in Chinese)

[7]李壮,朱宪伟.基于边缘相似性的异源图像匹配[J].飞行器测控学报，2011,30(2):0037- 0041.

LI ZH,ZHU X W. Matching mult-i sensor images based on edge similarity[J].J.SpacecraftTT&CTechnology,2011,30(2):0037-0041.(in Chinese)

[8]高峰,文贡坚,吕金建.基于干线对的红外与可见光最优图像配准算法[J].计算机学报,2007,30(6):1014-1022.

GAO F. An optimal algorithm for IR/visual image registration based on main-line-pairs[J].ChineseJ.Computers,2007,30(6):1014-1022.(in Chinese)

[9]张叶,曲宏松,王延杰.运用旋转无关特征线实现景象匹配[J].光学 精密工程， 2009,17(7):1759-1765.

ZHANG Y,QU H S,WANG Y J. Implementation of scene matching based on rotation invariant keylines[J].Opt.PrecisionEng.,2009,17(7):1759-1765.(in Chinese)

[10]VON G R,JAKUBOWICZ J,MOREL J,etal.. Lsd:a fast line segment detector with a false detection control[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2010,32(4):722-732.

[11]陈志良.序列图像中的直线特征提取与匹配[D].南昌:南昌航空大学,2011:19-31.

CHEN ZH L. Research on Extraction and Matching of Linear in Image Sequences[D]. Nanchang:Nanchang Hangkong University,2011:19-31.(in Chinese)

[12]杨宁.基于边缘特征的前方车辆识别[D].长春：吉林大学,2007:10-23.

YANG N. Detection of preceding vehicles based on edge character[D]. Changchun:Jilin University,2007:10-23.(in Chinese)

[13]杨桄,童涛.基于多特征的红外与可见光图像融合[J].光学 精密工程,2014,22(2):489-496.

YANG G,TONG T. Fusion of infrared and visible images based on multi-features[J].Opt.PrecisionEng.,2014,22(2):489-496.(in Chinese)

[14]周达标.基于局部不变特征的目标自动识别[J].光子学报，2015,44(2):021003.

ZHOU D B. Automic target recognition based on local invariant features[J].ActaPhotonicaSinica,2015,44(2):021003.(in Chinese)

[15]王灿进，孙涛，陈娟.局部不变特征匹配的并行加速技术研究[J].液晶与显示，2014,29(2):266-274.

WANG C J,SUN T,CHEN J. Speeding up local invariant feature matching using parallel technology[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(2):266-274.(in Chinese)

[16]王健博,朱明.基于字典描述向量的实时图像配准[J].光学 精密工程,2014,22(6):1613-1621.

WANG J B,ZHU M. Real time image registration based on dictionary feature descriptor[J].Opt.PrecisionEng.,2014,22(6):1613-1621.(in Chinese)

王力(1992—)，男，甘肃定西人，硕士研究生，主要从事航空图像处理和模式识别方面的研究。E-mail：wl_ciomp@126.com

贾平(1964—)，男，吉林延吉人，研究员，博士生导师，主要从事光学动态成像控制和图像处理技术等方面的研究。E-mail：jiap@ciomp.ac.cn

Supported by Jilin Provincial Science and Technology Development Plan Project of China(No.20140204009GX), Changchun City Major Scientific Research Project of China(No.14KG008)

WANG Li1,2, JIA Ping1*, ZHANG Ye1, MA Tian-xiang1

(1.ChangchunInstituteofOptics,FineMechanicsandPhysics,Chinese

AcademyofSciences,Changchun130033,China;

2.UniversityofChineseAcademyofSciences,Beijing100049,China)

*Correspondingauthor,E-mail:jiap@ciomp.ac.cn

Abstract:In order to provide a robust multi-sensor image matching algorithm to satisfy the scale and rotation invariance, we put forward a new matching method based on key line segment pairs, inspired by the visual system in which most of the information of image is contained in sketch. Firstly, the line segments that can express the feature of image are found and screened out. Then，the characteristic of line segment pairs is constructed by using the information and the relative position of line segments. And initial matching is carried out by the similarity between line segment pairs of two images. Finally, the topological relationship between line segments is used to achieve accurate registration. Experiment results tested by multi-sensor images show that the accuracy of image matching by using this proposed algorithm is more than 75% and the computing time is about 1/5 of traditional algorithm which satisfies the requirement of real-time and veracity in the multi-sensor image matching.

Key words:image registration;line-pairs registration;rotation and scale invariance;multi-sensor image

作者简介：

中图分类号：TP391.4

文献标识码:A

doi:10.3788/CO.20160901.0081

文章编号2095-1531(2016)01-0081-08 2095-1531(2016)01-0089-08

基金项目：吉林省重大科技攻关资助项目(No.11ZDGG001) 吉林省科技发展计划资助项目(No.20140204009GX),长春市重大科技攻关计划资助项目(No.14KG008)

收稿日期:2015-09-11； 2015-09-11；

修订日期:2015-11-13 2015-11-13

Supported by Jilin Provincial Major Scientific Research Special Project of China(No.11ZDGG001)