一种融合信息熵和改进SIFT算法的图像检索方法

刘雪亭，李太君，肖 沙，贾已真

（海南大学信息科学技术学院，海南 海口 570228）

一种融合信息熵和改进SIFT算法的图像检索方法

刘雪亭，李太君，肖 沙，贾已真

（海南大学信息科学技术学院，海南 海口 570228）

针对图像检索中基于单一全局颜色特征或局部特征的检索方法存在查准率和查全率低等问题，提出了一种融合信息熵和改进尺度不变特征变换算法的图像检索方法。首先，利用改进的尺度不变特征变换算法提取图像的局部特征；然后，计算图像的全局颜色特征和信息熵；最后，利用信息熵动态分配全局颜色特征和局部特征的权重，计算图像间的相似度进行图像检索。实验结果表明：该方法的检索性能优于颜色直方图法和尺度不变特征变换算法。

信息熵；颜色特征；尺度不变特征变换；图像检索

0 引言

随着计算机和网络技术的飞速发展，图像数据库规模越来越大，基于内容的图像检索技术也逐渐成为研究热点［1－3］，并在视频检索、网络图像查询、医学图像挖掘、安防监控和图像过滤等领域得到广泛应用［4］。基于内容的图像检索技术主要集中在基于颜色等全局特征的检索技术［5］，即根据目标图像的颜色特征值与图像库中的图像进行相似性检测，得到与目标图像最相近的一组图像供用户选择［6］。然而，在图像检索中单纯依靠全局特征的准确性不能满足理想的效果。为了更准确地描述图像的特征，文献［7］提出了一种基于尺度不变特征变换（SIFT）的图像检索方法，将图像内容转换成128维的向量集合，通过计算向量之间的欧氏距离进行相似度度量，图像检索效果较理想。但SIFT算法仅适用于灰度图像，对形状相似、颜色不同的物体检索效果有待提高。另外，SIFT算法计算复杂度较高、响应时间长［8］，对大型的图像库难以满足检索的实时性要求［9－10］。

针对以上问题，提出了一种基于信息熵和改进SIFT算法的图像检索方法。为了全面地描述图像的内容以提高检索精度，本文选用图像的全局颜色特征和局部特征描述图像内容，并对SIFT算法进行了改进以提高算法的有效性。在融合颜色特征和SIFT特征时，采用信息熵动态分配两者的权重以获取更优的检索结果，并通过实验结果分析证明了该方法具有较好的可靠性和有效性。

1 局部特征

SIFT算法是由Lowe在1999年提出的［11］，并在2004年进行了完善总结［12］。在提取SIFT特征时，Lowe首先对图像进行尺度变换建立高斯尺度空间，进一步建立高斯差分尺度空间进行极值点检测，使图像具有尺度不变性。极值点检测通过对每个像素点和其同一层周围的8个像素点以及相邻上下层的18个相邻像素点（共26个点）进行比较，将极值点作为候选关键点。然后，对候选关键点进一步检验精确定位关键点。在检测到关键点后，Lowe利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向，使得SIFT特征具有旋转不变性。特征点的描述方法是根据关键点周围的16个4×4的邻域的梯度信息来描述，统计每个邻域内8个方向的梯度方向直方图，生成128维的特征向量。

SIFT特征点具有尺度、旋转不变性，特征点数量多且保证唯一性，能够较好地描述图像的局部特征［13］。然而，SIFT特征向量维数较高，算法复杂度较高，在图像检索效率中难以满足实时性的需求。

为了达到图像检索的实时性要求，需对SIFT算法进行改进。利用更改描述区域形状的方法对SIFT特征向量进行降维，在保证精度情况下提高检索效率。采取特征点的“方环”邻域作为描述区域，选择关键点周围16×16的邻域作为描述范围。其中，每一“环”的半径为2个像素值，共有4环。由于描述区域从矩形变成了本身就具有旋转不变性的“环”状，从而不用再考虑关键点坐标轴的调整。生成描述子的过程如图1所示，生成32维的特征描述子，可表示为：这种方法获得特征向量的统计邻域范围与原始SIFT算法相同，但是能够在保证不变性的基础上将特征向量从128维降低到32维，大大降低了运算时间，提高了算法的有效性，能满足图像检索中对实时性的要求。

图1 描述子的生成过程

2 颜色特征和信息熵计算

HSV颜色模型包括色调h、饱和度s和亮度v这3个要素，更适合人的视觉感知。将图像从RGB模型转换到HSV模型的公式如下：

其中，RGB图像的3个参数R、G、B均是［0，255］中的值，所以本文对HSV颜色空间模型进行72个等级的量化，其中，h分量采用8级量化、s分量和v分量均采用3级量化。将图像转换到HSV空间后，提取72维的颜色直方图作为颜色特征向量，可表示为：

颜色信息熵能够描述图像的全局颜色分布差异程度，为每张图像的特有，随图像的不同而变化。根据量化后的HSV空间统计计算可以得到72种颜色出现的概率，用（p0，p1，p2，…，p71）表示，其中，pi为第i种颜色在图像中出现的概率。图像的颜色信息熵可以表示为：

3 融合多特征的图像检索

3.1 颜色相似度

设目标图像和图像库中的一张图像的颜色特征向量分别为C0（k）和C1（k），利用欧氏距离计算得出两张图像的颜色距离为：

采用相同的方法可以计算出目标图像与图像库中其余图像的颜色距离DC（0，2），DC（0，3），…，DC（0，n），得到目标图像与图像库中n个图像的颜色距离DC。为了便于融合多种特征，本文将颜色距离DC归一化得到归一化的颜色相似度dC。

3．2 SIFT特征相似度

设R0i（k）和R1j（k）分别为目标图像的第i个特征点和图像库中一张图像的第j个特征点的特征向量，则其欧式距离为：

在图像的欧式空间中寻找向量R0i（k）的最近邻R1p（k）和次最近邻R1q（k），计算出最近距离以及最近距离的比值与阈值Threhold进行比较，如果该比值小于Threhold，则认为目标图像的第i个特征点与模板图像的第p个特征点匹配成功，即满足

否则，目标图像的第i个特征点匹配不成功。比较之后计算出这两张图像中的匹配成功的特征点对数N（0，1）。本文设Threhold阈值为0.5。

假设N0和N1分别为上述两张图像中SIFT特征点的个数，则定义这两张图像的SIFT特征相似度为：

3.3 图像相似度

上文可以获取图像的全局颜色特征和局部特征，若将这两个特征简单的按照固定权重分配不能适应所有图像。本文采用基于颜色信息熵的方法动态分配颜色特征权重α和SIFT特征的权重β，采用以下公式进行图像匹配：

式中，H0和H1分别为目标图像和模板图像的颜色信息熵；similar为目标图像与模板图像的匹配相似度；dc（0，1）为颜色相似度；ds（0，1）为SIFT特征的相似度。将目标图像与图像库中的图像进行依次匹配，得到一组图像的匹配相似度数据，根据相似度大小的排序，选取一组相似度指数较高的图像作为返回信息。

4 结果分析

本文从图像库Corel中选出20类共1 000张图像作为图像库，包括公交车、大象、恐龙、建筑等每类图像50张。在每类图像中随机抽取出10张作为查询图像进行检索，将每类图像10次检索的查准率和查全率的平均值作为检索结果。实验中，用基于颜色直方图的图像检索、SIFT特征的图像检索［7］和本文的图像检索方法分别对20类图像进行了检索，统计数据，得到下面的实验结果。

文中选取查准率、查全率和检索时间作为系统性能的评价指标，定义如下：

其中，P为查准率；Q为查全率；x为检索出相关图像的数量；y为检索出的图像数量；n为图像库中相关图像的总量。

图2和图3分别为算法的查准率和查全率，表1为算法的平均查准率和平均查全率。从图2、图3和表1中可以看出：颜色直方图的检索方法在查准率和查全率上都较差；基于SIFT算法的图像检索效果则有明显提升，查准率和查全率均达到60%以上；由于加入了颜色特征，本文算法将查准率和查全率均提高到了80%以上，检索效果较为理想。采用本文的算法对一建筑图像集进行检索，按照相似度从高到低选出4张，如图4a～图4d所示。从图4中可以看出：检索返回的图像均为相关的建筑图像，不足之处就是图像4c的相似度应该低于后面几张图像，出现检索误差。

图2 算法的查准率

图3 算法的查全率

针对本文选取的图像库，3种算法的检索时间如图5所示。基于颜色直方图的检索时间最短，平均仅需7.34 s；基于SIFT算法的检索时间最长，平均超过了120 s；本文算法在保证检索效果的基础上将平均检索时间降低到61 s，提高了检索效率，这是因为本文算法大大降低了SIFT特征描述子的维数。

表1 算法的平均查准率和平均查全率 %

图4 本文算法对建筑图像集的检索结果

图5 算法的检索时间

5 结论

本文提出了一种融合全局颜色特征和SIFT特征的图像检索方法。算法使用颜色直方图表述图像的全局特征，使用改进描述子的SIFT特征表述图像的局部特征，使用信息熵动态分配颜色特征和SIFT特征的权重。研究结果表明：本文算法在检索查准率和查全率上远远高于颜色直方图方法，但是检索时间较长；本文算法在检索查准率和查全率上比SIFT算法均能提高20%左右，检索时间比SIFT算法降低了50%左右。本文算法在检索效果上能达到最优，虽在检索效率上有所提高，但要满足对大规模图像库的检索效率仍有待提高，这也是以后的重点研究内容。

参考文献：

［1］ 吴伟文.基于计算机视觉的目标图像检索相关技术的研究［D］.广州：华南理工大学，2012.

［2］ 杨得国，杨勐，姜金娣，等.一种改进的局部区域特征医学图像分割方法［J］.河南科技大学学报：自然科学版，2012，33（2）：30－33.

［3］ 李新忠，台玉萍，聂兆刚，等.激光散斑技术中的图像细分方法［J］.河南科技大学学报：自然科学版，2013，34（5）：91－95.

［4］ 张俊.基于局部特征集合的图像匹配技术研究与应用［D］.杭州：浙江大学，2011.

［5］ 孙思，赵珊，魏从刚.基于视觉点特征的图像检索技术研究［J］.计算机科学，2013，40（6）：196－198.

［6］ 周明全，耿国华，韦娜.基于内容图像检索技术［M］.北京：清华大学出版社，2007.

［7］ 吴锐航，李绍滋，邹丰美.基于SIFT特征的图像检索［J］.计算机应用研究，2008（2）：478－481.

［8］ Chiu L C，Chang T S，Chen JY，et al.Fast SIFT Design for Real-Time Visual Feature Extraction［J］.IEEE Transaction on Image Processing，2013，22（8）：3158－3166.

［9］ 何云峰，周玲，于俊清，等.基于局部特征聚合的图像检索方法［J］.计算机学报，2011，34（11）：2224－2233.

［10］ 苏艳苹，廉飞宇.基于参考点的图像可变目标快速检测方法研究［J］.郑州大学学报：理学版，2013，45（3）：45－49.

［11］ Lowe D G.Object Recognition from Local Scale-invariant Features［C］／／In International Conference on Computer Vision. Greece，Corfu，1999：1150－1157.

［12］ Lowe D G.Distinctive Image Features from Scale-invariant Keypoints［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［13］ 杨敬辉，杨晶东.多假设跟踪的移动机器人SLAM算法［J］.辽宁工程技术大学学报：自然科学版，2013（8）：1107－1111.

TP391.41

A

1672－6871（2014）06－0042－05

海南省科技兴海专项基金项目（XH201311）

刘雪亭（1990－），女，山东临清人，硕士生；李太君（1964－），男，通信作者，广东廉江人，教授，硕士，硕士生导师，主要研究方向为网络与流媒体.

2013－12－10