一种针对MSER区域的双层匹配策略

王建永,常 伟

(火箭军工程大学 士官学院,山东 青州 262500)

一种针对MSER区域的双层匹配策略

王建永,常 伟

(火箭军工程大学 士官学院,山东 青州 262500)

为了快速高效地采用图像的最大稳定极值区域(MSER)进行图像匹配，提出了一种针对归一化MSER区域的双层匹配策略。对于待匹配图像的MSER区域进行归一化之后，采用互相关性进行区域的粗匹配；再将候选匹配区划分为4×4个子区域，计算对应子区域的hausdorff距离，作为投票依据，根据投票多少从候选匹配对中选择最优匹配对作为最终的匹配结果。采用标准图像库及实拍红外图像进行了2组实验，实验结果表明，该方法能够较好地完成图像匹配任务。提出了一种针对MSER区域的双层匹配策略，采用标准图像库及红外实拍图像进行了匹配试验。实验结果表明，方法简单高效，匹配效果较好。

最大稳定极值区域；双层匹配策略；互相关性；hausdorff距离；图像识别

0 引言

图像局部特征提取在图像匹配，目标检测、跟踪等方面有着重要应用。局部特征检测包括特征区域或特征点的检测，对这些特征区域或特征点进行描述，使其具有某些不变特征[1]。最常用的特征点提取算法为SIFT特征检测，而区域检测方法则有MSER[2]、Harris-Affine[3]、Hessien-Affine[4]、EBR、IBR[5]和Salient Region等。在比较了MSER、SIFT及其他检测算法之后，结果显示SIFT检测平坦物体效果较好，而MSER对大多数物体均有较好的检测效果[6-9]。K Mikolajczyk[10]等对上述5种常用的区域检测方法进行了比较分析，结果表明在区域检测算子中，MSER检测最为稳定，效果也最为理想。

鉴于MSER区域在视角变换、光照变化和尺度缩放等畸变影响下的高稳定性，利用MSER进行图像匹配、目标识别等任务一直是一项重要的选择[11]。如何实现对应2幅图像中MSER区域的匹配，常用方法是为MSER添加描述，常见的描述方法有SIFT[12-13]、GLOH[14]等利用局部梯度信息进行特征描述，以及利用局部灰度信息对邻域纹理特征进行描述的局部二值模式[15](Local Binary Patterns，LBP)。文献[16]中提出了一种多尺度自卷积熵的新型描述符，将其与多尺度自卷积进行融合作为MSER的描述。上述提到的几种描述方法计算相对复杂，本文提出了一种双层匹配方法，首先利用2幅图像MSER区域之间的互相关性进行粗匹配，然后将区域进行分块，块与块之间采用hausdorff距离进行投票，最终确定匹配结果。实验结果表明，本文方法原理简单，匹配效果较好。

1 最大稳定极值区域MSER

最大极值稳定区域使用地形中分水岭的概念来求解稳定局部区域。在求取MSER的原理中有以下定义：

① 图像I是一个区域D到灰度S的映射：D⊂Z2→S，对于灰度图像，S={0,1,…,255};

② 邻域关系A⊂D×D;

③ 区域Q是D的一个连通子集；

④ 区域边界∂Q不属于区域Q，但区域Q中至少存在一个像元与其构成邻接关系；

⑤ 极值区域Q⊂D，对于所有p∈Q，q∈∂Q：I(p)>I(q)(最大极值区域)或I(p)

如果Q1,…Qi-1,Qi,…为一系列相互包含的极值区域，即Qi⊂Qi+1。若极值区域Qi*为最大极值区域，当且仅当区域变化率q(i)=|Qi+Δ-Qi-Δ|/Qi在灰度值i*处取得局部极小值，|·|表示区域面积，Δ∈S，为微小的灰度变化。

由上面几个定义可知，MSER即是指在某个灰度阈值i的时候，区域内像元数量变化最小的区域。

直接提取的MSER区域为不规则区域，需进行归一化[18-19]，将不规则区域拟合为椭圆，再仿射归一化为圆形区域。在归一化区域内进行图像梯度直方图统计，找出直方图最大值，将其对应的方向作为归一化图像梯度的主方向。根据主方向对归一化图像进行旋转归一化，以消除仿射变换等畸变影响对提取区域的影响。

2 双层匹配策略

提取MSER区域之后，就是对区域进行匹配，为图像匹配、目标识别等做准备。MSER区域相对于图像来说尺寸较小，怎样充分利用这些图像信息是影响匹配效果的关键。互相关性在早期模板匹配中有较好的应用，但是不能抗旋转等畸变影响，而归一化后的MSER区域原理上可以消除扭曲变形、尺度大小和旋转方向上的差异，针对MSER区域这一优点，引入区域之间的互相关性指标，基于此本文提出了一种双层匹配方法，首先利用2幅图像归一化后的MSER区域之间的互相关性进行粗匹配，然后将区域进行分块，块与块之间采用hausdorff距离进行投票，最终确定匹配结果。

2个区域之间的互相关性指标可以通过下式计算：

(1)

式中，MSERm(i,j)，MSERn(i,j)分别代表2幅图像中的MSER区域的灰度值。当区域灰度信息区别明显时，直接采用相关性指标，当corr大于设置的阈值时即表示实现了正确匹配，但灰度信息接近时则会出现一对多或多对一的情况，以致出现误匹配。

为从这些错误的匹配情况中提取出正确的匹配对，本文设计了一种精匹配的思路。以图1为例，图1(a)为基准图，图1(b)和图1(c)均为经粗匹配得到的候选匹配图像，现将每个区域分为4×4个子区域，如A={Apatch1,Apatch2,…,Apatch16}，B={Bpatch1,Bpatch2,…,Bpatch16}，各子区域之间的hausdorff距离[17]可通过下式计算得到：

hausdorff(A,B)=max(dh(A,B),dh(B,A))，

(2)

(a) 基准图 (b) 匹配图 (c) 匹配图图1 精匹配中的子区域划分

双层匹配策略实现的具体步骤如下：

① 提取待匹配图像的MSER区域;

② 计算区域之间的互相关性，若corri>th1且corrmax/corrnext>th2，则为正确匹配区域；若corri>th1且corrmax/corrnext

③ 对步骤②中得到的候选匹配对进行处理。将MSER区域分别划分为4×4个子区域，计算对应子区域之间的hausdorff距离，若hdi>th3，则投一次票;

④ 统计得票情况，得票最多的匹配对即为最终的匹配结果。

其中corrmax代表相关性最大的区域对，corrnext代表相关性次大的区域对，th1～th3代表3个阈值。

以图1为例，图1中(a)应与图1(b)匹配，但是与图1(c)出现了误匹配，corrab=0.992 2，corrac=0.995 2。利用投票策略后，得到的票数分别为voteab=9，voteac=4，进而排除图1(a)和图1(c)组合，得到正确的匹配结果图1(a)和图1(b)。

3 实验结果与分析

为验证算法的有效性，本文设计了2个实验。试验1采用哥伦比亚大学coil-100标准图像库[20]。coil-100标准图像库包含了7 200幅图像(100个物体，每个物体旋转5°拍摄一张图像，共拍72张，大小为128×128)，本文选择第14个物体图像作为实验的数据集。采用文献[4]中的实验方法，以下面7幅中均检测出的区域作为匹配对象，将相同位置处区域划分为一类，如左眼作为一类，得到7类区域，每一类包括6个区域。以0°图像为准对6幅图像进行匹配，试验中设th1=0.9，th2=1.006，th3=5，识别率为85.71%，如图2所示。

图2 实验1中所用的图像及提取的MSER区域

利用本文方法的匹配结果如图3所示。由图3可以看出，旋转角度较小时(±30°以下)；匹配区域连线接近于平行，当出现大角度旋转时(±30°以上)，匹配区域连线会出现交叉。在以往的匹配结果处理中，常采用RANSAC消除误匹配，而对于实验1中的情况，RANSAC将会消除过多的正确匹配区域。实验1中没有采用RANSAC消除误匹配，而是直接显示的采用双层匹配策略得到的正确匹配结果。

实验2利用M3制冷型红外热像仪拍摄了一组序列图像，该序列图像为某发电厂周围区域，使用本方法得到的匹配结果如图4所示。从匹配结果可以看出，在序列图出现平移、旋转等畸变时，本文算法仍能准确进行匹配。

图3 实验1匹配结果

图4 实验2匹配结果

4 结束语

本文提出了利用MSER区域进行匹配识别的双层匹配策略，并且采用coil-100标准图像库及红外实拍图像进行了2组匹配试验，得到了较好的匹配效果。本文针对描述子生成较复杂的问题，提出了针对归一化MSER区域的双层匹配策略：利用互相关性进行粗匹配，将候选区域进行分块，采用hausdorff距离进行投票，最终确定正确匹配区域。本文提出的双层匹配策略计算量小，易于实现，在实拍图像的匹配识别中体现出较好的匹配结果。

[1] 吴伟平.局部仿射不变特征的提取技术研究[D].中国科学院研究生院(长春光学精密机械与物理研究所),2015.

[2] MIKOLAJCZYK K,SCHMID C.Scale & Affine Invariant Interest Point Detectors[J].International Journal of Computer vision,2004,60(1):63-86.

[3] MIKOLAJCZYK K,SCHMID C.An Affine Invariant Interest Point Detector[C]∥Computer Vision—ECCV 2002.Springer Berlin Heidelberg,2002:128-142.

[4] MATAS J,CHUM O,URBAN M,et al.Robust Wide-baseline Stereo from Maximally Stable Extremal Regions[J].Image and vision computing,2004,22(10):761-767.

[5] TUYTELAARS T,GOOL V L.Matching Widely Separated Views Based on Affine Invariant Regions[J].International journal of Computer Vision,2004,59(1):61-85.

[6] KIMMEL R,ZHANG C,BRONSTEIN A M,et al.Are MSER Features Really Interesting?[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2011,33(11):2316-2320.

[7] 廉蔺,李国辉,王海涛,等.基于MSER的红外与可见光图像关联特征提取算法[J].电子与信息学报,2011(7):1625-1631.

[8] 柳涛.多通道图像MSER局部不变特征提取算法研究[D].长沙：国防科学技术大学,2010.

[9] 程丹,范洪冬,邓喀中,等.基于MSER的SAR影像配准算法[J].测绘通报,2014(12):28-31.

[10] MIKOLAJCZYK K,TUYTELAARS T,SCHMID C,et al.A Comparison of Affine Region Detectors[J].International Journal of Computer Vision,2005,65(1-2):43-72.

[11] 万文寅.最大稳定极值区域应用研究[D].西安：西安电子科技大学,2011.

[12] 杜玉龙,李建增,张岩,等.基于MSER与SIFT融合的多通道图像匹配算法研究[J].军械工程学院学报,2016(1):52-58.

[13] 王帅,孙伟,姜树明,等.基于旋转不变特征的SIFT描述子在图像配准中的应用[J].计算机应用,2014(9):2678-2682.

[14] MIKOLAJCZYK K,SCHMID C.A Performance Evaluation of Local Descriptors[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2005,27(10):1615-1630.

[15] 韩田甜,李航,张涛.基于改进HOG-LBP特征的行人检测[J].信息工程大学学报,2016(3):298-302.

[16] 张洁玉,陈强,白小晶,等.一种新的局部仿射不变特征描述符[J].光电子·激光,2009,11(20):1503-1506.

[17] DUBUISSON M P,JAIN A K.A Modified Hausdorff Distance for Object Matching[J].Pattern Recognition,1994.Vol.1-Conference A:Computer Vision & Image Processing,Proceedings of the 12th IAPR International Conference on.IEEE,1994,1:566-568.

[18] PEI S C,LIN C N.Image Normalization for Pattern Recognition[J].Image and Vision Computing,1995,13(10):711-723.

[19] LEU J G.Shape Normalization through Compacting[J].Pattern Recognition Letters,1989,10(4):243-250.

[20] Columbia University.Coil-100 imagedatabase[EB/OL].http:∥www.cs.columbia.edu/CAVE/software/softlib/coil-100.php

ATwo-stepMatchingStrategyforMSERs

WANG Jian-yong,CHANG Wei

(RocketForceUniversityofEngineering,QingzhouShandong262500,China)

To quickly and efficiently conducting the image matching task using the Maximally Stable Extremal Regions(MSER),this paper presents a novaltwo-step matching strategy for the normalized MSER regions.After the MSER regions extracted from images to be matched are normalized,the coarse matching is performed by using cross correlation;the candidate regions are divided into 4×4sub-regions,the hausdorff distance of the corresponding sub-regions is calculated,and the results are used as the voting basis.Depending on the voting results,the best matching pairs are chosen from the candidates as the final matches.The two experiments are conducted by using standard image database and real infrared images respectively.The experimental results show that the proposed method can better complete the image matching task.This paper presents a two-step matching strategy for MSER regions,and the two matching experiments are conducted by using standard image database and infrared images respectively.The results show that this method is simple and efficient,and has better matching effect.

MSER;two-step matching strategy;cross correlation;hausdorff distance;image recognition

10.3969/j.issn.1003-3106.2017.10.15

王建永,常伟.一种针对MSER区域的双层匹配策略[J].无线电工程,2017,47(10):68-72.[WANG Jianyong,CHANG Wei.A Two-step Matching Strategy for MSERs[J].Radio Engineering,2017,47(10):68-72.]

TP391.4

A

1003-3106(2017)10-0068-05

2017-07-05

王建永男,(1989—),硕士，助教。主要研究方向：测试与控制技术。常伟男，(1985—)，硕士，助教。主要研究方向：测试与控制技术。