基于颜色特征的图像检索技术综述

2017-07-12 11:41徐衍鲁
电脑知识与技术 2017年13期

徐衍鲁

摘要:颜色特征是图像检索中应用较广泛的底层特征之一,文章主要从全局颜色特征和空间颜色特征两方面,详细介绍了常用的图像颜色特征的提取方法,并结合已有文献分析了如何改进现有方法存在的不足,以提高图像的表达准确率和检索效率。

关键词:颜色直方图;颜色不变量;颜色矩;颜色熵:颜色聚合向量;颜色相关图

中图分类号TP391.4 文献标识码:A 文章编号:1009-3044(2017)13-0156-03

1概述

颜色特征是在图像检索应用中使用比较广泛的底层特征,它表现出了图像或图像区域所对应的事物的外部特征,同時与其他视觉特征相比较,该特征对图像自身的尺寸大小、方向和视角等方面的依赖性比较小,对图像的平移、旋转和缩放等变换具有不变特性,同时在图像处理操作过程中具有很高的稳定性能。基于颜色特征在图像检索中占据重要地位,研究学者们提出了许多的检索方法,这些方法的宗旨主要有两方面:一是基于全局颜色特征,二是基于空间颜色特征。论文将重点讨论分析这两个方面的图像颜色特征提取方法。2颜色特征提取方法

2.1全局颜色特征

目前基于全局颜色特征的图像检索方法有多种,其中常用的有颜色直方图、颜色不变量、颜色矩和颜色熵等。

(1)颜色直方图

颜色直方图方法是Swain和Ballardm提出来的,它描述了不同种颜色在整幅图像中所占的比重,反映出了图像颜色的统计分布特征,计算简便,同时对图像的尺度变换和旋转变换不敏感。

计算颜色直方图时,首先采用颜色量化方法,把颜色空间划分为若干个小的颜色空间,其中每个区间为直方图的一个柄(bin),之后统计颜色落在每个小区间内的像素数量,从而得到图像的颜色直方图。

颜色直方图相比较普通直方图,有一定的优势,通常图像内容不同,所对应的直方图也不同。但是颜色直方图描述的只是颜色的统计特征,而丢失了颜色的空间位置分布信息,因此不同的图像也可能有相同的颜色直方图,这就导致直方图与图像之间存在一对多的关系;在图像处理过程中,颜色特征维数过高;对图像颜色作量化处理时,可能会使视觉差异的颜色量化到同一区间,造成误检现象。

(2)颜色不变量

颜色不变量模型是在Kubelka-Munkt~l理论的基础上构建的,该模型描述了彩色物体的光谱辐射特性。在Kubelka-Munk理论中将光谱反射模型表示为-

对于RGB彩色图像,在符合人眼视觉系统和CIE-1964-XYZ标准的条件下,RGB分量和(E,Ea,Eaa)(E,Ea,Eaa)的关系近似为

(3)颜色矩

颜色矩是一种简单且有效的颜色特征描述方法,是由Stricker和Orengom提出的,该方法的基础思想是图像中的任一颜色分布都可以用它的矩来描述。鉴于图像的颜色分布信息主要集中在低阶颜色矩中,故仅采用颜色的一阶中心矩、二阶中心矩和三阶中心矩,就足够描述图像中的颜色分布特征。这三个特征矩分别代表了图像的平均颜色、标准方差和三次根非对称性。三个特征矩的表达式如下:

其中,pi,j代表彩色图像中第i个颜色分量中灰度值为j的像素出现的概率,Ⅳ代表图像中的灰度级数。

与颜色直方图相比,颜色矩方法不仅不需要对图像的颜色特征作量化处理,还降低了颜色特征的维数,因此该方法非常简洁,但是通过实验发现,采用图像低阶矩进行检索的效率不如采用颜色直方图进行检索的效率高,因此在实际的图像处理应用中,为了尽可能减少因低阶矩较弱的分辨能力而造成的影响,通常会将特征矩与其他图像特征联合应用于检索,并且在使用其他图像特征进行检索处理之前,先采用颜色矩方法缩小检索范围,从而提高图像检索效率。

(4)颜色熵

基于图像颜色直方图的特性和信息论方法中信息熵的概念,John提出采用图像颜色的信息熵来描述图像的颜色特征,即颜色熵,这样图像的颜色直方图的维度就由多维降低到了一维,再利用L1距离进行度量图像间的距离。

给定已知图像的归一化颜色直方图,记为(h1,h2,…,hn),如果把颜色直方图视为多种颜色的像素在图像空间中出现的概率密度函数,那么依据信息熵理论,图像的信息熵可用公式表

虽然颜色熵方法能够有效地降低图像直方图特征的维数,但是当利用信息熵进行图像检索处理时,其分辨能力较低,故颜色熵特征也需要与其他图像特征相结合,共同应用于检索。通常在使用其他图像特征进行检索之前,先采用颜色熵方法缩小图像检索范围。

2.2空间颜色特征

上述几种颜色特征描述的是图像的全局颜色特征,并不包括图像颜色的空间分布特征,所以只利用这些特征进行图像检索,容易产生误检。为此,研究学者们提出了提取图像颜色空间分布特征的方法,比如颜色聚合向量、颜色相关图等。

(1)颜色聚合向量

由于颜色直方图和颜色矩等方法无法表达图像颜色的空间分布信息,Pass等人提出了颜色聚合向量的方法。该方法的主要思想是:将颜色直方图每个区间内的像素分为两部分,若该区间内的某些像素所占据的连续区域的面积大于给定的阈值,则将该区域内的像素作为聚合像素,反之作为非聚合像素。

(2)颜色相关图

颜色相关图通过图像中像素间的颜色关系来表达图像颜色的空间分布特征。这种方法不仅反映了某一颜色的像素在整个图像中占的比例,还表达出了不同颜色对之间的空间相关性。

3改进的颜色特征提取方法

上节介绍的颜色特征提取算法存在着不足之处,比如颜色矩和颜色熵表达的都是统计特征,视觉不同的颜色直方图若具有相似的概率分布,那么也会产生相似的颜色矩和颜色熵。为尽可能地消除这种影响,研究学者们从多角度出发,对算法进行了改进研究,并采用实验法证明了改进算法的合理有效性。

文献采用HSV颜色空间模型,提取色调作为颜色不变量,并对色调作量化处理,采用改进的累加直方图方法来描述图像的颜色特征;文献对HSI颜色空间模型作椭圆化处理,并进行均匀量化,然后提取图像的主色调,依据颜色距离最近原则,对图像像素的颜色进行聚类,获得图像的主色调直方图,将主色调和相对频率保存在图像特征索引库中,作为图像的颜色特征;文献提出两种新的描述子,即颜色分布熵和改进的颜色分布熵,考虑了颜色特征的空间信息,使得颜色特征的表达更准确;文献中颜色特征采用颜色直方图、主色和全局色来表示,其中图像的主色和全局色用二值信息表示,用于颜色的过滤计算,而颜色直方图主要用于图像的相似计算;文献为改进颜色直方图方法存在的特征维数过高的问题,提出一种位平面颜色直方图,即对原始彩色图像进行位平面分解,构造每个位平面图像的颜色直方图作为图像特征;文献考虑图像的局部相关特性和人眼视觉感知特性,计算能够反映局部区域变化的像素点的颜色复杂度,同时依据颜色复杂度对每个像素点作加权处理,进而构造一种能有效反映视觉感知特性的加权颜色直方图;文献把图像从RGB空间转换到YUV空间,在YUV空间使用颜色矩方法提取图像的颜色特征,避免了亮度信息对图像检索的干扰;文献采用颜色共生矩阵表示图像相邻像素颜色间的差异,还提出K均值颜色直方图方法,即在计算图像的K均值颜色直方图之前,先把图像像素划分为K类,然后计算每一类中所有像素的均值,并用作后续处理;文献采用颜色体积直方图表示图像的颜色特征,即采用HSV颜色空间代替RGB空间,并对图像作量化处理,将图像均匀量化为72种颜色,通过颜色体积来表达图像特征;文献提出一种新的颜色量化算法,结合图像颜色的距离矩阵,对样本图像作非监督的颜色量化处理,同时考虑颜色在图像中的分布情况,综合颜色的统计特征与空间分布特征,共同来描述图像的颜色特征;文献提出一种基于分块的累加颜色直方图方法,先利用等面积的矩形环对图像进行分块,再提取子块的颜色直方图,考虑每个子块在图像空间中的比重,通过加权累加子块的颜色直方图作为图像的颜色特征;文献提出一种新的加权主色描述子,即按每种主色所占比重,采用MP7DCD或快速LBA算法提取图像中的主色,得出每种主色的权重值,并组合成为新的主色调描述子,考虑了图像的背景颜色;文献颜色特征采用颜色差分直方图表示,不仅考虑了图像边缘点的作用、颜色和颜色差异,还在未使用任何图像分割等技术的前提下,考虑了图像的空间层次特征;文献提出一种新的颜色特征描述符,即颜色互信息,通过计算颜色相关图特征矩阵中每个颜色与其周围其他颜色的平均互信息,得到不同颜色之间的全局特征以及空间分布特征,作为新的颜色特征矢量;文献对颜色聚合向量进行改进,考虑图像中聚合像素与连通区域、非聚合像素与非连通区域一一对应的关系,从而更加准确的表达图像色彩的分布信息;文献综合了颜色直方图、颜色熵和加权位平面熵三种方法来表示图像的颜色特征,充分考虑了图像颜色的微观表现和宏观统计特征;文献采用从训练集中利用期望最大值算法生成的高斯混合模型,来量化颜色空间,然后考虑颜色空间信息,构造一种新的空间颜色直方图;文献分别提取颜色特征模型111213、颜色空间模型YIQ和YCbC,中的11、Q和Cb三个成分,构造出一种新的混合颜色空间模型11QCb,用于增强颜色特征在彩色图像中的重要性。

4总结

颜色特征是图像最基本的特征之一,如何完整提取并有效利用图像的颜色特征一直是研究的重點,总结上述改进的颜色特征提取算法,可概括为两个主要方面:一是以图像颜色特征为基础,针对现有特征提取方法存在的不足进行相应的改进,或是采用不同的方法量化颜色特征,或是转换颜色空间,在不同的空间模型中处理颜色特征,以提高颜色特征的表达准确度;一是把颜色特征与图像的其他底层特征相结合,更全面地描述图像,依据不同特征在图像中所占的权重不同,选择合适的权重比例。量化颜色特征得到的误差越小,结果越合理;不同特征权重系数的选择越自动化,图像表达越准确。但是对于图像目标与背景很相近的情况,单纯的以颜色特征为主,得到的结果可能会不尽如人意,因此在图像检索过程中,要根据具体情况,选择合适的特征表达图像,以求获得较为满意的图像检索效果。