多特征融合的图像格贴近度匹配方法

肖满生,肖哲,万烂军

(湖南工业大学计算机学院,412007,湖南株洲)

图像检索通常包含基于标注的图像检索(ABIR)与基于内容的图像检索(CBIR)[1]。ABIR方法需要手动地进行标记或描述,不但耗时,而且部分图像很难准确地用简单关键词进行标注和描述,因此其应用受到限制[2-3]。CBIR方法根据图像的纹理、灰度或颜色特征进行检索,因检索效率比ABIR方法高,近年来已越来越受到学者们的青睐,并出现了很多与CBIR方法相关的具体方法[4-7]。

在有关CBIR方法的研究中,目前基于纹理特征的图像分析与识别方法在场景图像、遥感图像和医学图像等领域有着重要的应用,国内外专家提出了许多基于此技术的图像分析识别方法[1,4,8-13],如Nishant等在图像特征区域划分中提出了利用用户兴趣度来选择区块,并用区块的纹理特征来定义区域向量,从而有效地完成图像内容的匹配和识别[4];Elalami利用色彩共生矩阵(CCM)提取纹理特征来完成图像检索[1];Mehta等采用局部多项式逼近技术的尺度自适应变换方法描述纹理特征来识别人脸[9];Martinez-Murcia与Samiee等基于灰度共生矩阵(GLCM)来提取纹理信息,并在医学病理图像的识别检测中进行了应用[10-11];而黄明明则提出一种新的加权中心对称局部三值模式(WCS-LTP),融合图像局部形状和纹理信息来更准确地描述图像[13]。

上述这些方法都是从纹理的角度对图像内容进行处理和识别,由于纹理仅反映像素的局部空间分布特征,并未考虑像素本身的灰度、空间的位置情况及组成图像中各对象的形状,因此识别效率不高,识别精度普遍不超过80%,个别方法在50%以下。此外,颜色也是图像最重要的特征,但提取颜色特征时,很多方法只考虑了像素的灰度信息,没有考虑邻近像素对视觉的影响,且需要进行颜色量化处理,导致特征维数过高、计算复杂[14-15],尽管如文献[16]所提出的颜色矩阵方法简单有效,不需要对颜色量化,特征维数也低,但在实验中发现,该方法单独进行图像检索时效率较低。

基于此,在文献[1]与文献[4]所提方法的基础上,提出了一种基于多特征融合的格贴近度图像内容匹配方法,该方法计算简单、易于实现,具有较好的图像检索性能。

1 图像预处理

由于图像集中各图像大小不一,组成图像的对象多而复杂,因此进行图像匹配前,应先进行预处理,即利用最邻近插值图像缩放算法对原始图像进行缩放,在尺寸一致的基础上进行图像分割,得到图像中的各对象也即后续图像匹配的基元。但是,利用该算法处理时所求得的像素点位置存在小数,如按四舍五入处理,则图像缩放存在严重失真。因此,考虑局部性原理,本文采用8-邻域法来进行图像缩放,即在处理时以原图像中源像素点为中心,计算其8-邻域像素(包含本身共9像素)的平均灰度值,以此作为源像素点所对应的缩放后目标点的像素值。进一步针对不同图像的组成对象多而复杂的情况,采用FCM算法[17-18]对缩放后的图像进行聚类分割,得到图像的各个子对象以便于匹配。

2 图像特征描述

常见的基于内容的图像特征有颜色(灰度)特征、纹理特征及像素空间密度特征等。纹理是一种局部特征,是图像中所对应物体表面特征结构的反应,但纹理不能表达像素固有的灰度信息和密度分布情况;颜色(灰度)是图像内容的最基本特征,它描述了图像中各像素的表现,但仅仅考虑像素本身的灰度不能很好地表现图像中的对象情况,还必须结合它的邻域像素。为了更好地识别图像,本文提出了一种灰度特征描述子,结合图像纹理、像素密度分布提取相关特征。

2.1 灰度特征描述子

图像中各像素与其邻域像素存在着联系。一幅颜色分布均匀的图像,其邻域像素间灰度差别小,它们属于同一类的可能性较大,而像“万绿丛中一点红”这样的图像,红色与周围的像素颜色差别大、联系小,它们属于同一类的可能性较小[19]。另外,图像中的噪声点与周围正常像素点的差别也很大。因此,对图像内容的描述除了要考虑像素本身的灰度外,还要兼顾邻域像素的关系。设某一像素集X,i和j分别为X中的像素点,即i,j∈X,其灰度分别表示为xi、xj,且j为i的某一邻域窗口内的像素点,则像素点i的灰度特征表示为

(1)

式中:Ni表示落在像素点i的邻域窗口内的像素集合;NR是像素集Ni的基数,即邻域的大小,可取8、16、24等,一般情况下,NR的值为8,即i的8-邻域像素,Sij表示像素点i与其邻域像素点j的关系,它由像素间的灰度关系和空间关系合成,表示如下

(2)

(3)

(4)

(5)

2.2 纹理特征描述子

Haralick等提出灰度共生矩阵(GLCM)来描述图像的纹理特征,矩阵中的元素md,θ(i,j)表示图像I中两像素点i、j的欧氏距离为d、角度为θ的像素对的个数,具体表达式为

md,θ(i,j)=

#{(ix,iy),(jx,jy)∈I|I(ix,iy)=xi,

arctan((jy-iy)/(jx-ix))=θ}

(6)

其中I(ix,iy)表示图像I中坐标位置为(ix,iy)的像素灰度值。令d=1,θ分别为0°、 45°、 90°、135°,得到4个不同方向的灰度共生矩阵Pd,θ,即P1,0°、P1,45°、P1,90°、P1,135°,并对矩阵中每个元素p(i,j)进行归一化处理

(7)

式中:R为归一化常数,常取矩阵中所有满足给定d,θ的灰度像素对之和,即

(8)

Haralick基于GLCM提出了14个统计特征,本文根据图像匹配的需要,选取其中4个有代表性的特征,即角二阶矩(ASM)、逆差矩(IDM)、相关性(COR)、熵(ENT),分别用f1、f2、f3、f44个特征描述子表示,有关这些特征描述子的表示方法见文献[8]等。将这4个特征采用高斯归一化方法对其进行归一化处理

(9)

(10)

2.3 像素密度特征描述子

像素密度特征主要描述同一灰度级的像素在邻近区域内分布的密集程度,其分布越多越密集,越能清晰地表现出图像中的某个对象的形状[20],鉴于此,本文设计了一个样本密度分布函数来描述该问题。

设图像中某对象Qk的中心像素点k(即FCM聚类分割中的聚类中心)与其邻近像素点j之间的欧氏距离为djk=|xj-xk|(xk、xj分别代表两像素点灰度值),则以像素点k为中心的密度分布函数可定义为

(11)

式中nk为Qk中像素数。从式(11)可以看出,对象Qk中像素点越多,即nk越大,像素点k周围的像素灰度值与xk越接近,djk→0,则Zk值越大,由于j是中心像素点k的邻近像素,不代表k本身,即xk≠xj,从而有djk≠0。因此,Zk表示对象中像素的密度分布特征,它也是图像相似匹配计算的指标之一。

3 基于多特征融合的格贴近度图像相似匹配

3.1 格贴近度及多特征融合

格贴近度[21]是模糊集理论中的一种模式识别方法,它按“择近原则”对相关数据集进行分类,一般用于群体模型的识别,其计算简单、识别效率高。设对象A、B的特征向量分别为A=(a1,a2,…,an),B=(b1,b2,…,bn),其中ai,bi分别为对象A,B的特征属性,则A、B的格贴近度定义为

N(A,B)=(A·B)∧(Ac·Bc)

(12)

从格贴近度的定义可知,对象间的格贴近度越大,表示对象越接近,因此可以用格贴近度来判断两图像的匹配程度。一幅图像中包含多个不同对象,将对象的像素灰度特征(式(1))、合成后的纹理特征(式(10))及像素密度特征(式(11))融合组成对象的特征向量集,即对象Qk的特征向量集为Ok={TQk,DQk,ZQk},其中TQk、DQk、ZQk分别代表对象Qk的合成纹理特征、像素灰度特征、像素密度特征,并将该对象作为待匹配的查询对象。同时从图像集中提取另一图像的相应对象Gk的特征向量集设为Gk={TGk,DGk,ZGk},利用式(12)求出两对象的格贴近度N(Qk,Gk)。同样,考虑到不同对象的这3种特征在计算中的重要程度不一样,因此,在融合对象特征向量中设一权重因子,用来标识其重要程度,即Qk={w1TQk,w2DQk,w3ZQk},w1、w2、w3的测定可采用综合评判方法[21]或由实验测定给出。

3.2 基于多特征融合的格贴近度图像匹配实现

基于格贴近度的图像内容匹配算法实现如下。

输入图像Q、格贴近度阈值。

输出图像集中按格贴近度排序的图像。

步骤1图像缩放,采用2.1节的8-邻域最邻近插值缩放算法对图像进行缩放,得到大小统一的图像;

步骤2图像变换,利用Matlab软件将图像转换为灰度图像;

步骤3图像分割,采用FCM算法对待匹配的图像进行分割,得到各个对象;

步骤4提取各对象的纹理特征,即ASM、IDM、COR、ENT在4个方向(0°,45°,90°,135°)、距离为1的纹理特征值,并计算4个方向纹理特征均值,按式(9)进行归一化处理;

步骤5纹理合成,将步骤4中得到的纹理特征按式(10)进行合成,各权重λi在合成前根据图像特点提前给定;

步骤6计算像素灰度,根据2.1节中的灰度特征描述子计算各对象的像素灰度gi,在计算灰度前需提前给出或设定λg、λs及σg的值;

步骤7像素分布特征值计算,根据2.3节中的像素密度特征描述子,计算各对象像素的密度特征值Zk并做归一化处理;

步骤8特征向量合成,采用步骤5～7中所得到的特征值合成加权后各对象的特征向量Qk,其中权值为w1、w2、w3,采用综合评判方法提前给出;

步骤10将上述得到的格贴近度按大小进行排序,并根据具体要求取一阈值,大于阈值的排序输出即为图像匹配结果。

4 实验结果分析

为了验证本文所提出的格贴近度匹配算法的有效性,用WANG和Oxford flowers2个图像数据集进行了具体的实验。实验环境采用Matlab2014a软件编程,实验评价指标有2个,第一个是平均归一化修正检索秩[22](ANMRR,设为Ar),设N(qi)(i=1,2,…,n)表示图像集中与查询图像qi相似的所有图像数,并设M=max{N(q1),N(q2),…,N(qn)},K=min{4N(qi),2M},则与查询图像qi相似的图像在检索结果序列中所处的第k个位置的检索秩为

(13)

Ar=

(14)

从Ar的定义可知,Ar值越小,表明该算法的检索性能越好;第二个是结合查准率P、查全率R的综合评价指标Pr,在模式识别理论中,查准率和查全率是一对互为抑制的评价指标,为了兼顾查准率和查全率,根据文献[4]中所描述的P-R关系曲线图,本文定义了一种结合查准率与查全率的综合评价方法,即

(15)

式中r为查准率的偏移量,其值决定了P、R的相对重要程度。当r=1时,P、R视为同等重要;r>1时,视为P的重要程度大于R,反之亦然。一般情况下取r=1即可。

另外,为了验证所提方法的有效性,将文献[1]中的特征压缩匹配方法(CMS)、文献[4]提出的兴趣区域匹配方法(MROI)与本文的格贴近度匹配方法(LCD)进行了对比实验。

4.1 WANG图像集实验

WANG图像集包含1 000幅图像,共10类,每类100幅。实验中,将所有图像缩放成300像素×200像素大小。FCM聚类分割时,在输入查询图像时,聚类类别数根据不同情况自主确定,如Dinosaurs在聚类分割时类别数c=2,聚类最大迭代次数为50,聚类终止条件为两次迭代时类中心之差不超过0.01,该数据集在灰度特征描述子的计算过程中,λg、λs都取值为1,在8-邻域灰度化实验中,经计算σg=49.3,4个纹理特征在表达信息的重要程度上基本一样,故合成时权重λi的值都为0.25。在求解格贴近度时,采用综合评判方法取得特征向量中各特征分量(纹理特征、灰度特征、像素密度特征)的权值w1、w2、w3,实验中,w1=0.25,w2=0.5,w3=0.25,主要考虑图像纹理不突出,像素密度分布也没有颜色信息重要。每一类图像集中随机抽取20幅图像作为查询输入图像进行匹配,求取每一次匹配的格贴近度并排序,进而统计Pr、Ar的平均值及总平均值,其他两种方法MROI、CMS的实验过程与实验要求参见文献[1,4]。3种方法所测得的各项指标数据见表1。

从表1可以看出,比较10类图像的平均归一修正检索秩Ar,本文所提出的LCD方法其Ar最小,表明该方法的检索性能优于其他两种方法,CMS方法的Ar次之,MROI方法的Ar最大;LCD方法的Pr比CMS和MROI方法都大,表明其检索效果总体水平比其他两种好。个别类的图像查询匹配中,LCD方法检索效果并不都是最优,如Food类图像查询匹配,其Ar就不如CMS方法。3种方法进行检索运行的时间相差不大(LCD方法主要在灰度特征描述计算这一环节所用时间多,而格贴近度计算所用时间相对少),运行时间优势不明显,故没有单独列出运行的时间效率进行讨论。

表1 3种方法对WANG图像集的Ar、Pr的实验数据对比

4.2 Oxford flowers图像集实验

Oxford flowers图像集包含17类,如Buttercup、Colts’foot、Daffodil、Daisy等,每类80个图像。实验前,先将所有图像缩放成150像素×150像素。在进行格贴近度匹配计算时,确定纹理、灰度、像素密度3个特征分量的权值w1=0.4,w2=0.4,w3=0.2,这是因为各图像纹理明显、颜色突出,其他参数设置同4.1节中的WANG图像集实验。选出Buttercup、Colts’Foot、Daffodil、Daisy和Dandelion 5类图像进行实验,随机从每类图像中选取10个图像作为输入查询对象,计算各类的Ar、Pr及相应平均值,3种方法实验对比结果见表2。

由表2可以看出,3种方法中本文所提LCD方法得到的5类图像的Ar最小,Pr平均值最大,说明本文所提LCD方法在图像内容匹配检索中有较好的性能。同样,在3种方法进行检索的运行时间上,LCD方法的运行时间比CMS及MROI稍短,但相差不大,故也没有单独列出其运行的时间效率进行讨论。

表2 3种方法对Oxford flowers图像集的Ar、Pr的实验结果对比

5 结 论

本文通过分析基于内容的图像检索技术,提出了一种采用多特征融合的格贴近度的图像匹配方法,给出了从图像缩放、分割、特征提取融合及格贴近度计算等完整的图像匹配计算过程,并通过实验对比验证了该方法的有效性。本文的主要优势有两个:一是图像灰度特征描述子的定义与设计,它综合考虑了组成图像像素本身的灰度信息及邻域像素间的相互影响,使得对图像内容描述更加客观;二是格贴近度匹配,将格贴近度用于图像对象匹配,算法简洁,容易实现,且性能较好。改进了图像检索的评价方法,提出了一种结合查准率、查全率的评价指标,但该方法所引入的部分参数,如各纹理特征的合成权重参数λi要在实验前根据图像集的具体情况主观给出,缺少理论依据,可能会导致部分实验结果不准确,这个问题的解决将是下一步的研究工作。