一种基于加权颜色形状特征和LBP服装图像检索方法

葛俊，于威威

（上海海事大学信息工程学院，上海201306）

0 引言

近些年来，依附于计算机软硬件技术的更新迭代，信息技术实现快速发展。在互联网和智能时代的背景下，电子商务因便利性和时效性而越加深入人们的生活。服装销售作为电商中不可忽视的组成部分占有着重要的市场份额。研究机构发表了最新的《2015-2016年度中国服装电商行业报告》[1]。报告中显示：2015年，我国人民在服装方面的网上消费金额达到了7457亿元，同2014年相比提升了21.1%，并依据数据分析，预估2016年将进一步提高并达到9343亿元。在购物时，人们有着越来越多的诉求，例如查询与明星相同款式的服装等。目前访问流量较大的电子商务网站的服装检索方法仍是依据传统的文本的检索方式。

在这种方式下，用户需要输入文本从而实现搜索图像，这就需要所有图片都被注释。使用文本查询的第一个挑战是指定所有图像的注释，这是一项艰巨的任务，第二个挑战是注释中的歧义[2]。由于这些困难，图像查询比文本查询更有优势。这种方式被叫做基于内容的图像检索。

基于内容的图像检索模型，首先进行特征的选择与提取，然后进行相似性度量，最后进行检索输出结果[3]。特征的选择和提取可以是基于局部、区域或整个图像进行的也可以通过借助颜色、形状、纹理和空间布局信息获得图像描述符，然后将这些全局描述符用于图像检索。文献[4]是对颜色直方图作了研究，文献[5]在Hu不变矩方面作了介绍并验证了特征加权的实验可行性，文献[6]对纹理特征作了介绍。基于描述局部图像的信息，局部描述符的使用在过去几年变得越来越流行，常用的局部描述符有局部二值模式（Local Binary Pattern,LBP）[7]、尺度不变特征变换（Scale Invariant Fea⁃ture Transform，SIFT）[8]等。

本文提出一种基于累加直方图与Hu不变矩加权特征和LBP的服装检索方法。首先对颜色特征和形状特征进行加权处理进行第一步检索，对返回的检索结果构建新的数据集，并利用局部二值模式进行第二步检索，由实验数据分析可以表明本文的检索方法具有可行性。

1 颜色特征和形状特征的检索

1.1 颜色特征

颜色特征作为图像的底层物理特征之一，其具有易理解且高效的特点[9]。颜色不仅是表达服装的内容，且视觉属性能够直接快速地引起人们的注意力。因此在生活中，面向不同顾客的需求，服装的颜色往往会不一样。有的服装由单一颜色呈现，有的服装是多种颜色的组合。颜色模型能够有助人们实现对颜色理解和处理。常见的颜色模型有：RGB（红色、绿色、蓝色）、HSV等。RGB颜色模型是被使用很多的模型，借助于三种基本颜色进行不同程度的累加可以生成多样的不同颜色。但这种模型所产生的颜色差不是线性的，不能很好地被人视觉认知。因此进行特征提取时，通常将RGB转化为HSV颜色模型，这能够更好符合人的视觉感官。转换公式为：

其中，r,g,b∈[0…255],h∈[0…360],s∈[0…1],v∈[0…1]。

将HSV颜色空间非等间距量化，可以合成一维特征向量：

其中，Wh、Ws和Wv依次被定义为色调H、饱和度S和亮度V的权重。由于色度包含了很多信息，并且为了降低图像亮度和饱和度对检索结果的干扰，通常会对Wh作较大的权重的处理。颜色的变换和量化是对颜色进行特征提取前的处理操作[10]。通过减少显示一幅图像所需的颜色数目达到简化计算的目的，但量化操作往往会造成颜色信息的缺失[11]。

研究中有很多提取颜色特征的方法，在本文中主要研究了颜色直方图[12]和颜色矩[13]。全局颜色直方图表达的是分布情况，即在空间中出现的几率。直方图可以用列向量表示，bins为列向量里面的值。假设在划定的空间中颜色量化为n个bins，那么一幅包含N个像素的图像I的颜色直方图可以表示为：

其中，hi=NiN定义为图像中一个像素属于第i个bin的概率，hi可定义为：

其中，Pj表示从图像I中选择第 j个像素的概率，即Pj=1 N;Pi|j称为隶属函数，理解为第 j个像素属于第i个bin的条件概率，定义为：

累计直方图是一个1-D的离散函数，即：

其中，k为特征取值，L为特征能够取值的数量，ni是特征值为i的像素的数量，N是所有像素的和。

颜色矩是容易计算而很有作用的颜色特征[13]。可以借助一、二、三阶矩来描述颜色的分布状况。定义的公式为：

一阶矩为均值：

二阶矩为均方差：

三阶矩为三阶中心距：

其中，gij是第 j个像素的第i个分量的值，N为像素所有数之和。

1.2 形状特征

服装由于季节变更和穿着身材等因素，产生了许多不同款式的样体。在服装图像中，例如：大衣、长裤、短裤、衬衫等都有其固定的形状特征，体现不同款式的服装各自的几何属性。形状的表述对于图像识别及分类具有重要的作用，在图像检索中也是持续研究的课题[14]。目前对形状描述使用较多的方法为：基于区域和基于轮廓。两类方法在图像识别中应用较多的是Hu不变矩描述子[15]和傅里叶描述子[16]等。傅里叶描述子从信号频率的角度来解释轮廓信息，对人的视觉属性的表述存在局限性。Hu不变矩描述子注重几何形状的全局特征，具有空间几何不变性。图像f（x,y）的p+q阶矩和p+q阶中心距公式为：

重心坐标的计算公式为：

Hu提出了如下的7个不变矩：

2 纹理特征

纹理是被研究非常多的一类度量，可以被认为是物体的表面。服装是由不同材质的织布制成，有棉型、麻型、丝型等，通过纹理分析能够实现对服装图像的检索。纹理分析的研究成果被总结为：结构方法、统计方法、基于模型的方法、变换或基空间方法。结构方法是通过一组称为纹理元素的微纹理模式来描述纹理，如边缘度量[17]和Laws度量[18]。统计方法是基于灰度统计的空间分布描述纹理特征，如共生矩阵[19]和局部二值模式（LBP）[7]。基于模型的方法有随机模型以及各种半随机场，如Markov随机场模型[20]。基于变换的方法包括Fourier、小波等。

Ojala等人提出的LBP度量简单但体现着强大的功能。LBP是一种新的编码方法，其目的是对像素创建一个二进制编码的领域描述子。每个像素同它邻近的像素进行比较，将比较结果加到一起作为二进制值，依此创建LBP值。LBP算子可以利用不同大小的核计算各种的领域。例如定义为3×3的模式，中间像素要与邻近8个像素进行比较。如果邻近像素大于中心像素，则二进制值为1，否则为0。如图1所示。

图1 LBP计算示例

LBP码表示为8位二进制的十进制形式：

其中ic为中间像素( )xc,yc的灰度值，in为邻近的8个像素点的灰度值。LBP码对灰度有着不变性，但欠缺旋转不变性。文献[21]给出了一种旋转不变的LBP编码方案。通过对局部LBP上的圆形按位旋转来找到最小的二进制值。旋转不变的LBP：其中，ROR( )x,i表示x循着中心顺时针旋转i个单位。LBP值被记为LBPP,R，P表示领域，R表示半径。

3 检索算法

综合多特征检索就是在检索过程中对图像的多个特征描述进行提取从而实现检索。目前的研究中，有异步和同步两种检索结构[11]。同步组合检索是同时计算多个特征向量，在特征匹配时，需要加权的处理。加权计算公式：

∑i=1

n

x,y=∑i=1

n

Wi=1, d( )Widi( )x,y （20）

异步组合检索的直接理解就是分多次实现检索。即上一步的检索后的结果，作为新的数据集，成为下一步相似性度量的输入。每一步的检索都是一次相似性匹配，在多次度量中，逐步减少数据集中的搜索对象，从而提升检索精度。两幅图像的计算公式为：

d0( )

x,y=0 d( )

x,y=D1…n( )x,y=Wndn( )x,y+D1…()n-1( )

x,y （21）

作为检索的不可或缺环节，相似性度量方法的研究和选择将直接影响着检索结果。欧氏距离因简单且易理解而被广泛使用。本文也采用了欧氏距离应用于相似性度量。

欧氏距离的计算公式为：

其中，p表示查询图像，q表示目标图像。

针对服装图像的多特征情况，本文提出将同步、异步两种检索结构相结合的检索方法。算法流程如下：

（1）先进行同步组合检索，利用颜色特征和形状特征多次组合实验，以确定参数，实现最佳加权组合；

（2）对服装图像的数据集进行基于累加颜色直方图和Hu不变矩的加权检索，

（3）基于第一步检索的结果，构建新的检索输入；

（4）将新的检索输入作灰度变换处理，基于纹理特征LBP算子第二步检索；

（5）根据欧氏距离进行特征匹配，按相似度值由高到低顺序输出，实现最终的检索结果。

4 实验及结果分析

4.1 实验平台和数据

实验平台为Windows 7操作系统，实验工具是MATLAB 2016a的环境下分别进行了：单一的颜色特征检索、单一的形状特征检索、累加颜色直方图和Hu不变矩的加权检索，以及本文的检索方法。数据库中服装图像的选取于互联网共计600张图像，其中大衣150张，短裤150张，长裤150张，短裙150张。

4.2 实验方案和评价方法

完成了六组实验：不同颜色特征和Hu不变矩的各自单一特征的服装图像检索；对四次实验结果分析比较，选择颜色特征和形状特征进行加权处理完成第五组实验，实现对加权参数的确定；先用加权特征完成第一步检索，再使用LBP算子进行二次检索作为第六组实验。实验时从每个分类图像中随机选取10张图像作为查询图像，进行40次查询实验。每次的查询结果取返回的前20张图片，计算前20个检索结果平均查准率并引入排序评价方法[22]。

查准率：

其中，A代表相关图像的集合，B代表返回图像的集合，a代表返回结果中被正确检索图像，b代表返回结果中被误检的图像。

排序评价方法：

假定检索输出的数目为N，在N幅输出结果里，NR为结果中相关的数量，ρr为返回结果中相关图像的排列序号，NA为实际相关数量，则评价参数定义为[22]：

用K1表示平均序号：

最佳情况的平均序号K2：

其中，K2为处于最佳状态下，返回结果中的期望图像都能够排在最靠前的平均序号。如果K1K2的值与数值1的差值越接近于0则意味着查询的效果越好。

4.3 实验结果和分析

以大衣的检索返回结果作为各组实验的方法展示。如图2所示。

丢失的相关图像率M计算公式为：

图2 待检索大衣图像

图3 本文方法的检索结果

表1 以大衣的图像进行颜色形状加权系数选定的实验

表2 以大衣为例检索的平均排序比值

表3 六组实验的平均查准率

图2展示了以服装图像中的大衣为示例进行检索的返回结果，由返回结果可以看出图像中相关图像较多，且相似度很高的图像在检索输出中都排序靠前，实现良好的检索期望。表1是对加权参数的选定，由表中数据可以看出，不同的加权参数设置会产生较大的差异，并基于此，选择为20%颜色特征和80%形状特征的加权。依据表2、表3的数据分析，可以看出相较于其他的方法，本文的检索方法有更高的查准率以及平均排序比值更加接近于1；但也能够看出图像背景因素的对检索结果导致的不利影响。

5 结语

本文提出了一种基于累加直方图与Hu不变矩加权特征和LBP的服装图像检索方法。实验数据分析说明：先利用颜色形状特征加权处理的同步组合检索进行第一次检索，后利用LBP算子进行第二次检索的检索方法具有可行性。同只使用一种特征检索的方式比较，本文的检索方法在服装图像的场景中能较好提升检索的准确率。但由实验结果分析，服装图像的背景噪点对检索结果产生了不利的影响，下一步的研究工作在于引入图像分割的方法对服装图像进行处理以及结合其他特征算子以提高检索的准确率和优化检索时间。