基于边缘信息的SIFT图像匹配算法

刘克平, 李西卫, 李　岩, 于微波

(长春工业大学 电气与电子工程学院, 吉林 长春 130012)

0　引　言

目前机器视觉技术被广泛地应用于精密制造生产线、 工业产品质量自动化检测、 智能机器人和汽车装配等多个领域[1]。图像匹配作为机器视觉的核心技术之一, 在工业检测、 工件识别与尺寸测量等方面被广泛应用, 对提高生产过程自动化程度具有重要意义。

Lowe[2]提出了SIFT(Scale-Invarivant Feature Transform)尺度不变特征匹配算法, 该算法对图像的尺度变化、 缩放、 旋转具有不变性, 并且对光照的变化和仿射变换也具有一定的不变性。Yan等[3]用主元分析法替代传统SIFT中的直方图法并提出了PCA-SIFT目标匹配算法, 降低了算法的计算时间。Ma等[4]基于SIFT算法提出了一种新的双向匹配算法, 首先, 从两个图像中提取不同的特征点, 其次, 利用基于BBF的双向匹配法分别匹配所有这些特征点, 该方法提高了匹配精度和效率, 减少了算法耗时。颜雪军等[5]提出采用2DPCA对梯度向量块进行降维的特征描述方法, 在计算效率上, 该方法具有更好的扩展性。王彦等[6]提出了一种基于SIFT特征匹配的工件识别方法, 该方法对解决平移、 旋转、 缩放和部分遮挡等情况下的工件匹配问题具有一定效果。随着研究的不断深入, SIFT算法已在工件匹配识别、 车牌识别[7]、 农业图像拼接[8]、 唇部特征匹配[9]等方面得到广泛的应用。但是在实际生产环境中, 环境复杂多变, 传统SIFT算法对工具、 工件等目标进行匹配时, 存在匹配准确率低、 实时性较差等问题。

在工业生产制造中, 电子器件、 工件、 工具等生产线是最常见的, 选取随处可见的工具作为研究对象, 具有一定的代表意义和实用价值。针对传统SIFT算法在对工具图像进行匹配的匹配率低、 耗时长等问题, 笔者提出了一种基于边缘信息的SIFT图像匹配算法。该方法利用改进的Canny算子检测出工具图像的边缘, 采用膨胀和闭运算去除边缘的鸿沟, 最后利用SIFT算法进行目标图像匹配。笔者提出的算法在匹配率和匹配时间上均优于传统的SIFT算法。另外, 在实时性方面, 该算法优于文献[6]提出的方法, 匹配正确率有待提高。

1　Canny算子原理及存在的问题

1.1　Canny算子原理

1986年John[10]提出了一种边缘检测的计算方法, 即Canny算子。给出了评价边缘检测算法的3个性能准则： 信噪比准则、 定位精度准则和单边缘效应准则。该算法具体实现过程如下。

1) 使用高斯滤波器平滑图像, 其中一维高斯核函数表达式为

(1)

高斯函数的方差σ2需人工设置。

2) 用一阶偏导有限差分计算梯度的幅值和方向。

3) 对梯度幅值进行非极大值抑制, 保留极大值像素点。

4) 利用高、 低双阈值检测可能存在的边界, 然后利用滞后技术跟踪边界连接图像边缘。

1.2　Canny算子存在的问题

边缘检测算法的优劣主要由抗噪声能力和阈值选取的客观性决定[11], 传统Canny算子的滤波参数和阈值等均是根据经验值进行人工设定, 不具有自适应性, 在抑制噪声时往往一些高强度噪声被检测为伪边缘。如果能选取合适阈值, 对噪声和伪边缘均有良好抑制作用[12]。通过对传统Canny算子的分析, 主要有以下问题。

1) 传统Canny算子高斯滤波器可以用2个如式(1)的一维高斯核函数分别两次加权实现, 也可通过一个如

(2)

二维高斯核一次卷积实现。其中σ是高斯滤波器参数。在边缘检测时,σ值需人工设定, 在很大程度上限制了Canny算子对不同目标进行边缘检测的适用性[13]。

2) 根据前述传统Canny算子的具体实现过程可知, 传统的Canny算子的高、 低双阈值是人工设定的, 需不断地反复试验得到一个经验值, 当检测的目标图像不同时, 须重新选择合适的高低阈值, 浪费了大量的时间。

2　基于改进Canny的SIFT匹配算法

2.1　自适应平滑滤波替代高斯滤波

传统Canny算子首先要对图像进行高斯滤波, 而高斯函数的方差都需人工设定的。为解决该问题, 同时兼顾滤波后图像的效果, 笔者采用自适应平滑滤波替代高斯滤波, 使Canny算子可自适应调整滤波权值。自适应平滑滤波的迭代运算可以在抑制噪声的同时锐化图像边缘[14]。设f(x,y)为输入图像, 则第1次迭代的步骤如下。

1)Gx(x,y)、Gy(x,y)梯度分量为

(3)

(4)

2) 模板系数为

(5)

3) 对图像f(n)(x,y)进行加权平均为

(6)

式(5)中, 参数k值对保留的突变边界的幅值进行约束, 该实验中k取经验值10； 式(6)中,f(n)(x,y)是输入图像f(x,y)经过n次迭代后的图像, 该实验中对输入图像进行了5次迭代。

2.2　改进Otsu算法确定阈值

Otsu算法是一种自适应确定阈值的方法[15]。该方法依据选取合适的灰度阈值将图像分成背景和前景, 从而实现图像的分割。传统的Otsu算法在图像灰度直方图呈现双峰分布时, 具有良好的分割效果, 在实际图像中存在噪声、 伪边缘等干扰因素, 导致直方图不会呈现明显的双峰分布, 导致出现错误分割。根据上述情况, 引入了一种改进的Otsu算法, 该方法可自适应确定图像阈值, 消除了噪声、 伪边缘对边缘检测的影响。首先获取图像灰度直方图进行粗分割, 提取灰度直方图的两个最值峰值, 分别为最小灰度值和最大灰度值, 即Tmin,Tmax, 然后使用图像中像素点的相邻像素点的像素值更新图像, 进而使用传统Otsu算法对图像进行细分割, 确定图像阈值。

对于大小为m×n的图像I(x,y), 首先遍历灰度直方图得到两个灰度最值, 然后更新图像, 设图像中像素点的灰度值为g(x,y), 相邻4个像素点的灰度值分别为g(x-1,y),g(x+1,y),g(x,y-1),g(x,y+1), 则有

其中g(x,y)是更新后图像灰度值。

假设更新图像中总像素数为N, 图像的灰度级范围为[Tmin,Tmax], 灰度阈值T将图像划分为目标和背景两部分, 目标由灰度级在(Tmin,T)之间的像素点组成, 背景由灰度级在(T+1,Tmax)之间的像素点组成。灰度级t对应的像素数为Nt, 其统计概率为

Pt=Nt/N

(8)

则目标部分和背景部分的灰度均值分别记为

/(ωo(T))

(9)

(10)

其中ωo(T),ωb(T)分别表示图像中目标部分的概率和背景部分的概率。

可得整个图像的灰度均值为

μ=μo(T)ωo(T)+μb(T)ωb(T)

(11)

设σ(T)2为类间方差,σ(T)2取最大值时, 对应的阈值To为最优阈值, 即

σ(T)2=ωo(T)ωb(T)(μo(T)-μb(T))2

(12)

(13)

获得的最佳阈值To为自适应的高阈值Th, 根据低阈值和高阈值之间的倍数关系, 可得低阈值Tl。改进的Otsu算法能自适应选取Canny算子的高低阈值, 而且选取的阈值更加合理, 消除了图像中伪边缘对边缘检测的影响, 增强了算法的自适应性。

2.3　基于边缘信息的SIFT算法匹配

整个匹配过程, 首选采用改进的Canny算子提取工具图像的边缘, 得到图像中梯度较大的部分, 然后选择3×3模板进行膨胀操作, 再用5×5模板进行闭运算, 桥接边缘断裂以及去除膨胀产生的鸿沟, 最后使用SIFT算法提取梯度较大的特征点完成图像的匹配。

对图像边缘检测后, 图像边缘部分均是梯度变化较大的部分, 只在这个部分提取关键点, 得到关键点的数量变少, 降低了下一步匹配所需时间, 关键点的稳定性得到提高, 增加了匹配准确性。

3　实验结果与分析

该实验在Windows 7系统运行, 采用Matlab R2014a作为仿真平台, 测试图为512×512像素。

3.1　改进Canny算子边缘检测效果

以工具图像和Lena图像作为测试图, 图1为传统Canny算子和改进Canny算子实验结果对比图, 其中图1a列为原始图, 图1b列为传统Canny算子边缘图, 图1c列为改进Canny算子边缘图。如图1所示, 传统Canny算子边缘图中存在较多的伪边缘、 断裂点和噪声, 而笔者的改进算法能准确地提取图像的边缘信息, 消除伪边缘、 噪声的影响, 连接边缘断裂点, 同时具有较强的自适应性, 边缘检测效果优于传统的Canny算子。

a　原始图　　　　　　　　　　 b　传统Canny算子边缘图 　　　　　　c　改进Canny算子边缘图图1　传统Canny算法和改进Canny算法实验结果对比图Fig.1　Comparison of traditional Canny algorithm and improved Canny algorithm

3.2　图像匹配结果

为验证笔者算法的有效性, 选取存在尺度变化、 旋转、 缩放和部分遮挡等情况的工具图像完成图像匹配实验, 如图2～图5所示。其中图2a～图5a为SIFT算法匹配效果图, 图2b～图5b为笔者算法匹配效果图。在图2a～图5a传统SIFT算法匹配效果图中, 提取的特征点较多, 同时存在较多的误匹配点； 在图2b～图5b笔者算法匹配效果图中, 检测到特征点的数量大大减少, 误匹配点较少。笔者算法对传统SIFT算法的特征提取部分进行改进, 引入边缘检测和形态学运算, 在边缘位置上提取特征点, 克服了图像中不稳定点的影响, 在提高匹配准确性的同时, 降低了提取特征点和匹配特征点的数量和匹配时间。

a　SIFT算法　　　　　　　　　　　　　　　　　b　笔者算法图2　存在尺度变化的匹配效果对比Fig.2　Comparison of matching effects of scale changes

a　SIFT算法　　　　　　　　　　　　　　　　　b　笔者算法图3　存在旋转的匹配效果对比Fig.3　Comparison of matching effects of rotation

a　SIFT算法　　　　　　　　　　　　　　　　　b　笔者算法图4　存在缩放的匹配效果对比Fig.4　Comparison of matching effects of scaling

a　SIFT算法　　　　　　　　　　　　　　　　　b　笔者算法图5　存在遮挡的匹配效果对比Fig.5　Comparison of matching effects with occlusion

3.3　匹配参数统计

为比较传统SIFT算法与笔者算法的匹配参数, 在相同的条件下对两种算法进行了仿真： Intel(R)Core(TM)i5-4590 CPU @ 3.30 GHz, 内存为4 GByte。所提出的算法和传统SIFT算法之间的匹配点数、 耗时比较结果如表1所示。

表1　匹配点数和耗时比较

由表1可见, 笔者算法在进行匹配时, 提取的特征点数量较少, 降低了特征提取的计算量, 使后续检测与匹配耗时减少； 同时引入边缘检测和形态学运算, 使提取的特征点稳定性提升, 提高了算法的匹配准确性。实验结果表明, 笔者算法在匹配准确率和耗时等方面优于传统SIFT算法。

4　结　语

笔者提出了基于边缘信息的SIFT图像匹配算法。传统SIFT算法是在整个图像基础上提取特征点, 大量不稳定点被视为特征点用于完成匹配, 导致匹配耗时较长、 准确率较低。笔者算法引入边缘检测、 形态学运算, 降低提取特征点的数量, 在边缘部分提取的特征点稳定性更高, 以达到降低算法耗时、 提高匹配准确率的目的。实验结果证明, 笔者所提出算法的检测时间和匹配时间更短, 效率更高, 同时提高了图像匹配率。该方法的未来工作可能会推广到其他算法中。

参考文献：

[1]王耀南, 陈铁健, 贺振东, 等. 智能制造装备视觉检测控制方法综述 [J]. 控制理论与应用, 2015, 32(3): 273-286.

WANG Yaonan, CHEN Tiejian, HE Zhendong, et al. Review on the Machine Vision Measurement and Control Technology for Intelligent Manufacturing Equipment [J]. Journal of Control Theory and Applications, 2015, 32(3): 273-286.

[2]LOWE D. Distinctive Image Features from Scale-Invariant Keypoint [J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[3]YAN K, SUKTHANKAR R. PCA-SIFT: A More Distinctive Representation for Local Image Descriptors [J]. Cvpr, 2004, 2(2): 506-513.

[4]MA Chi, WANG Guosheng, BAN Xiaojuan, et al. SIFT-Based Matching Algorithm and Its Application in Ear Recognition [C]∥In: 2016 9th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI). Datong, China: [s.n.], 2016, 10: 691-695.

[5]颜雪军, 赵春霞, 袁夏. 2DPCA-SIFT: 一种有效的局部特征描述方法 [J]. 自动化学报, 2014, 40(4): 675-682.

YAN Xuejun, ZHAO Chunxia, YUAN Xia. 2DPCA-SIFT: An Efficient Local Feature Descriptor [J]. Acta Automatica Sinica, 2014, 40(4): 675-682.

[6]王彦, 傅卫平, 朱虹, 等. 一种基于SIFT特征匹配的工件识别方法 [J]. 西安理工大学学报, 2009, 25(2): 202-206.

WANG Yan, FU Weiping, ZHU Hong, et al. A Method for Recognition of Work-Pieces Based on SIFT Characteristics Matching [J]. Journal of Xi’an University of Technology, 2009, 25(2): 202-206.

[7]李彦, 张洪博, 石莲英. 基于SIFT特征匹配的车牌识别方法 [J]. 计算机工程与应用, 2016, 52(12): 194-200.

LI Yan, ZHANG Hongbo, SHI Lianying. SIFT Matching Based Method for License Plate Recognition [J]. Computer Engineering and Applications, 2016, 52(12): 194-200.

[8]王茜, 宁纪锋, 曹宇翔, 等. 基于SIFT算法的无人机遥感图像拼接技术 [J]. 吉林大学学报: 信息科学版, 2017, 35(2): 188-197.

WANG Qian, NING Jifeng, CAO Yuxiang, et al. Matching Technologies of UAV Remote Sensing Image Based on SIFT [J]. Journal of Jilin University: Information Science Edition, 2017, 35(2): 188-197.

[9]马新军, 吴晨晨, 仲乾元, 等. 基于SIFT的说话人唇动识别 [J]. 计算机应用, 2017, 37(9): 2694-2699.

MA Xinjun, WU Chenchen, ZHONG Qianyuan, et al. Lip Motion Recognition of Speaker Based on SIFT [J]. Journal of Computer Applications, 2017, 37(9): 2694-2699.

[10]JOHN C. A Computational Approach to Edge Detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(6): 679-698.

[11]王小俊, 刘旭敏, 关永. 基于改进Canny算子的图像边缘检测算法 [J]. 计算机工程, 2012, 38(14): 196-198.

WANG Xiaojun, LIU Xumin, GUAN Yong. Image Edge Detection Algorithm Based on Improved Canny Operator [J]. Computer Engineering, 2012, 38(14): 196-198.

[12]赵岩, 周百灵, 陈贺新. 一种改进的基于Canny算子边缘检测算法 [J]. 吉林大学学报: 理学版, 2012, 50(4): 740-744.

ZHAO Yan, ZHOU Bailing, CHEN Hexin. An Improved Edge Dectection Algorithm Based on Canny Operator [J]. Journal of Jilin University: Science Edition, 2012, 50(4): 740-744.

[13]许宏科, 秦严严, 陈会茹. 一种基于改进Canny的边缘检测算法 [J]. 红外技术, 2014, 36(3): 210-214.

XU Hongke, QIN Yanyan, CHEN Huiru. An Improved Algorithm for Edge Detection Based on Canny [J]. Infrared Technology, 2014, 36(3): 210-214.

[14]景晓军, 李剑峰, 熊玉庆. 静止图像的一种自适应平滑滤波算法 [J]. 通信学报, 2002, 23(10): 6-14.

JING Xiaojun, LI Jianfeng, XIONG Yuqing. An Adaptive Smooth Filter Algorithms of Still Images [J]. Journal of China Institute of Communications, 2002, 23(10): 6-14.

[15]胡斌, 宫宁生. 一种改进的Otsu阈值分割算法 [J]. 微电子学与计算机, 2009, 26(12): 153-155.

HU Bin, GONG Ningsheng. An Improved Otsu’s Thresholding Segmentation Method [J]. Microelectronics & Computer, 2009, 26(12): 153-155.