基于JSeg和显著性检测的服装图像分割方法

摘要：针对服装图像分割问题，提出将JSeg算法应用于图像显著性区域的分割算法，利用人脸检测辅助判别背景区域与人体着装区域。通过网络商城实际图像样本实验，验证了方法的有效性，可为服装结构和特征提取，以及可视化检索提供参考借鉴。

关键词关键词：服装；图像分割；JSeg；显著性计算；人脸检测

DOIDOI：10.11907/rjdk.143864

中图分类号：TP317.4

文献标识码：A文章编号文章编号：16727800（2015）002013604

基金项目基金项目：国家科技支撑计划项目（2013BAH41F00、2013BAH41F01）； 数字与交互媒体北京市重点实验室开放课题（KF201308）

作者简介作者简介：刘正东（1971-），男，吉林九台人，博士，北京服装学院计算机信息中心副教授、硕士生导师，研究方向为虚拟现实交互技术与图像内容检索。

0引言

基于内容检索的服装图像处理能高效、可靠地提取图像中的着装区域，并识别服装结构。其一般通过分割方法将图像划分成若干有意义的区域，分割结果可用于后期处理，如服装款式识别等。设计可靠、有效的图像分割算法可极大简化后期处理。

边缘检测常用于图像分割处理，例如Canny算子检测＼[1＼]通过亮度梯度检测边缘，进而检测物体目标的边界。然而，边缘检测一般会产生不封闭的轮廓，孤立的边缘线对后续处理（比如目标识别）会带来困难。曲线演化方法（Curve evolution methods）＼[2＼]利用初始曲线的不断演化，可在图像中形成包围物体的边界。曲线演化适用于将整幅图像划分为多个独立区域，但对有杂乱背景的图像进行分割时会产生无意义的小区域，而且在某些情况下对整幅图像分割是没有必要的。为了快速分割背景和前景，Rother等＼[3＼]提出改进后的GrabCut方法，通过最小分割/最大流方法完成图像分割，但需要少量的人机交互才能将背景与兴趣点分离开来。

优先图像分割的思想＼[4，5＼]是以兴趣点检测为基础，首先对观察者感兴趣的区域（比如人脸）进行检测并粗略定位。例如：对于一张以模特为主题的照片，观察者目光很快会集中到模特着装上，而忽略其它无关部分。Hare＼[6＼]采用人脸下方的区域作为服装区域的分割基础。Itti＼[7＼]定义了图像的显著性概念，提出利用多尺度图像特征中心区域与周围的差异得到显著性检测。Ma和Zhang＼[8＼]将局部像素对比度作为计算显著性检测的基础。Liu＼[9＼]运用图像高斯金字塔多分辨分析理论，将分层和对比度有机结合起来。近年来，有学者＼[10＼]结合图像视觉显著性计算与图像分割思想提出了目标分割算法，获得了良好的效果。Huang＼[11＼]融合了显著性计算与GraphCut进行服装区域分割尝试。

本文针对图像中服装区域自动分割和结构提取，提出一种结合JSeg图像分割和视觉显著性计算的服装区域自动分割算法。相对于已有方法，实现了不需要训练数据以及人工干预的服装区域分割，而且可初步分辨服装结构信息。

1JSeg算法对图像的分割

为从图像中较好地得到服装的大致形状，尽量不受纹理、褶皱、阴影等内部图案的影响，首先需对图像进行分割。Vincent Martin＼[12＼]对经典的分割算法进行了实验，包括Meanshift、JSeg、EGBIS、CSC、SRM、Region Growing等，并在BSD（Berkeley Segmentation Dataset）数据库＼[13＼]基础上进行了算法验证。根据测试结果，对于服装图像而言，JSeg算法具有较好的表现。Li＼[14＼]对纺织品印花图像进行了图像分割研究，也验证了JSeg算法对服装类图像分割的有效性。JSeg算法＼[15，16＼]是基于区域的颜色和纹理特征的无监督图像分割方法，分颜色量化和空间分割两个处理阶段，每个阶段相对独立。

1.1颜色量化

颜色量化是对图像中的全部颜色进行分类，不需考虑图像中每个颜色值的分布状况。为了使颜色编码更好地适应人们视觉可感知的颜色差别，使用与视觉相统一的LUV色彩空间。首先使用PGF＼[15＼]滤波去除图像噪声，在去除颗粒噪声影响的同时保留边缘信息。

定义1：图像中某一点x0（n）为中心的窗口，窗口大小为W×W ，x0（n）的邻域p（n）={xi（n），i=0，1，…， m（n）-1}，其中xi（n）为窗口中的像点，m（n）是窗口内像点的总数。根据Fisher判断准则得到相应的m（n）值。利用各点的权重ω，计算xnew（n）并代替原来的中心点。

xnew（n）=∑m（n）-1i=0ωipi（n）∑m（n）-1i=0ωipi（n）∈P（n）（1）

ωi=e（pi（n）-μi）2-2σ2i（2）

其中，μi为p（n）的均值、σi为p（n）的方差值。

对于W×W窗口中任意点xi（n），di（n）为xi（n）与x0（n）之间的距离。令T（n）={d0（n），d1（n），…， dm（n）-1（n）}。计算T（n）的均值Tav，并以此估计颜色的类别数：N=βTav（3）

其中，β=2，为常数。

得到类别数后，通过GLA算法＼[15＼]进行量化处理，将颜色分成几个有代表性的类别，这些类别将图像划分成不同的区域，并为每个颜色类别作上相应的标号。图像中的全部像素用所对应颜色类别号来替代，称之为颜色类图。

1.2空间分割

空间分割是在颜色量化阶段形成的类图基础进行的。将类图生成 J图像，应用区域生长法对J图像进行分割。每次迭代开始时计算J图像，如某区域内像素值和尺寸较小，则不能成为新的分割区；将值小于平均J值的像素并入相邻的分割区域。重复此步骤，直到小窗口的J图像达到最小尺寸。最后进行分割区域的合并阶段，计算直方图距离并进行合并。

定义类图中N个数据点集合Z的均值m：

m=1N∑z∈Zz（4）

将Z划分为C类Zi（i = 1， 2，…， C），mi是每个Zi类的均值，Ni为Zi类数据点数量：

mi=1Ni∑z∈Ziz（5）

定义ST为数据点的总方差，SW为属于同一类的数据点的总方差：

ST=∑z∈Zz-m2（6）

SW=∑Ci=1Si=∑Ci=1∑z∈Ziz-mi2（7）

计算得到J值：

J=（ST-SW）SW（8）

得到J图像后即可进行区域生长。定义阈值TJ=μJ+ασJ。其中，μJ为非种子区域里J的均值，σJ表示方差。α取值范围为-0.6、-0.4、-0.2、0、0.2、0.4。计算小于TJ的J值，将相关像素作为候选的种子点。区域生长后得到初始图像分割结果，仍然存在过分割的区域，可根据相邻区域的颜色欧式距离对其合并。相邻区域两个颜色直方图的欧式距离为：

DCH（i，j）=Pi-Pj（9）

其中，P是颜色直方图。计算每两个相邻区域颜色直方图之间的距离，并存储在距离表中，将表中距离最小的两个区域进行合并。循环此过程，直到相邻两个区域间的距离达到预设阈值。

图1中，通过图像分割将内部图案分组和简化，有效去除了纹理、褶皱和阴影，边缘线条表示分割后的每个区域轮廓。可以看出，分割后的每个区域都是封闭的。对于服装的图像来说， JSeg 分割算法在过分割方面相比它比其它算法具有优势，但也存在着一些不足：JSeg算法不区分背景和前景（着装人体），将全部的图像进行分割；对于图像中存在的阴影、文字、饰品等物体对象不能通过先验知识予以排除，如图1中人体背景投影、图片中的商品标识等。针对上述问题，需要在JSeg分割的基础上作必要的改进。

图1JSeg分割算法对服装图像分割后的效果

2显著性计算与人脸检测相结合的区域判别

对于网络商城中的服装图像，人们关心的只是模特着装区域，因此有必要直接对其进行检测。人们的目光往往容易聚焦到照片中感兴趣的部分，图像处理中的显著性计算可以实现此目标。Cheng＼[17＼]基于输入图像的颜色统计特征提出了基于直方图对比度（Histogram Contrast，HC）的显著性值检测方法。

图像I中像素Ik的显著性值定义为：

S（Ik）=∑Ii∈ID（Ik，Ii）（10）

式（10）忽略颜色在图像中的空间关系，具有相同颜色值的像素会具有相同的显著性计算值。将具有相同颜色值Cj的像素作为一个集合，从而计算每个颜色的显著性值：

S（Ik）=S（Cl）=∑nj=1fjD（cl，cj）（11）

其中，Cl为像素Ik的颜色值，n为图像中所含的颜色总数，fj为Cl在图像I中出现的概率。用平滑操作改善每个颜色的显著性值。每个颜色的显著性值被替换为相似颜色显著性值的加权平均值。

S′（c）=1（m-1）T∑mi=1（T-D（c，ci））S（ci）（12）

其中，T=∑mi=1D（c，ci）为颜色c和其m个最近邻ci之间的距离。

HC方法速度快，并且产细节精确的结果，根据算法的实际效果和计算效率，本文选择HC方法。Cheng＼[17＼]提出了效果更好的RC算法，但计算效率相对较低。图2可以看出，RC算法同时也扩大了图像显著性区域的面积，对于服装图像来说并不是很适合。结合CHR＼[18＼]的人脸检测方法，可以相对容易地识别服装区域的大致范围。其方法是将显著性区域作为分割图像的蒙版，显著性值高的分割区域作为备选区域。围绕着检测到的人脸标识区，与该区域联通的分割区域作为识别结果。

图2文献＼[17＼]FT、HC、LC、RC、SR算法的计算效果

3实验结果与分析

由于没有可供参考的服装图像数据库，本文收集了20张多种类型的模特着装图片，进行算法性能和效果测试。图片主要来源于多个服装电子商务网站。将图片统一处理成宽220、高220的RGB彩色图像，并手工标记图像结构。实验软件环境：采用Visual Studio 2013 for Desktop，实现的编程语言为C#。计算机硬件环境：CPU是Intel Core Duo E8300（2.83GHz），内存容量4GB。

图3展示了4个样本的分割过程及最终效果。每个样本的处理包括4张效果图，从左到右分别是原图、JSeg分割图、显著性检测图、分割结果图，其中分割结果图中的矩形代表检测到的人脸区域。

为说明本文算法的有效性，与其它方法进行了对比实验。图4为与文献＼[6＼]算法（简称A）和GrabCut算法（简称B）的效果比较。A算法通过检测人脸下方的区域获取服装区域。因为没有源代码，使用了自己编制的程序，B算法是基于GrabCut算法，在人机交互后再进行Otsu阈值分割。A算法可以得到人体的轮廓，但是对于人体阴影部分不能合理分割。B算法对于人体外形的抽取比A算法好，但是没有考虑服装与人体区域的分割。本文算法对于不同姿态的人体提取较好，而且具备了服装中各个结构部分的大致区分。

为了定量检验算法效果，使用查全率和查准率两个衡量指标对分割结果进行分析。其中，查全率：Recall=S'/M，表示分割结果与手工标记的比率；查准率：Precision= S'/S，表示当前分割结果中准确部分所占的比例。其中，M是手工标记的样本图像中的分割区域数量，S为图像分割后的数量，S'是分割结果中准确的数量。表1列出了指标值，除了查全率和查准率，还包括平均运行时间。

从表1可以看出，A算法对于人体姿态的变化敏感，查全率和查准率都比较低。B算法的运行效率很高，查全率和查准率都有了很大提升。本文算法在进一步缩短运行时间的基础上，提高了查准率，而查全率比GrabCut算法略低。

4结语

本文探讨了人体着装图像的服装区域提取和结构图像分割，解决作为柔性物体的服装因为褶皱、纹理、光照、悬垂等非刚体属性给图像的服装区域识别带来的困难，提出了联合JSeg算法与图像显著性计算，辅助人脸识别对图像中的服装目标进行分割，避免了人机交互的干预环节，提高批量处理的效率。实验结果表明该算法在效率和准确度方面具有良好的表现。研究结果只是工程应用的第一步，可作为可视化服装手绘检索的基础和前提。手绘服装结构的检索涉及到服装结构的划分和识别，本实验中也发现分割结果中有结构细节丢失的现象。如何更好地识别服装结构，以及提高系统的实时性和准确率，是下一步需要研究的重点。

参考文献参考文献：

＼[1＼]CANNY J. A computational approach to edge detection＼[J＼]. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1986（6）： 679698.

＼[2＼]CREMERS D， FUNKALEA G. Dynamical statistical shape priors for level set based sequence segmentation＼[M＼]. Variational， Geometric， and Level Set Methods in Computer Vision. Springer Berlin Heidelberg， 2005： 210221.

＼[3＼]ROTHER C， KOLMOGOROV V， BLAKE A. Grabcut：interactive foreground extraction using iterated graph cuts＼[C＼]. ACM Transactions on Graphics （TOG）. ACM， 2004， 23（3）： 309314.

＼[4＼]AGARWAL S， AWAN A，ROTH D. Learning to detect objects in images via a sparse， partbased representation＼[J＼]. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2004， 26（11）： 14751490.

＼[5＼]TSENG C H， HUNG S S， TSAY J J， et al. An efficient garment visual search based on shape context＼[J＼]. WSEAS Transactions on Computers， 2009， 8（7）： 11951204.

＼[6＼]HARE O N， SMEATON A F. Contextaware person identification in personal photo collections＼[J＼]. IEEE Transactions on Multimedia， 2009， 11（2）： 220228.

＼[7＼]ITTI L， KOCH C，NIEBUR E. A model of saliencybased visual attention for rapid scene analysis＼[J＼]. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1998， 20（11）：12541259.

＼[8＼]MA Y F AND ZHANG H J. Contrastbased image attention analysis by using fuzzy growing＼[C＼]. In MULTIMEDIA '03 Proceedings of the eleventh ACM international conference on Multimedia. 2003： 374381.

＼[9＼]LIU T， YUAN Z， SUN J， et al. Learning to detect a salient object＼[J＼]. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2011， 33（2）： 353367.

＼[10＼]刘毅， 黄兵， 孙怀江， 夏德深. 利用视觉显著性与图割的图像分割算法＼[J＼]. 计算机辅助设计与图形学学报，2013，25（3）：402409.

＼[11＼]黄磊， 夏添， 张勇东， 林守勋. 融合显著性分析与图割的姿态无关服装区域分割算法＼[J＼]. 计算机辅助设计与图形学学报，2012，24（5）：621627.

＼[12＼]Image segmentation experimentations＼[EB/OL＼].http：//wwwsop.inria.fr/pulsar/personnel/Vincent.Martin/segmentation/.

＼[13＼]Berkeley Segmentation Datase＼[EB/OL＼].http：//www.eecs.berkeley.edu/Research/Projec ts/CS/vision/grouping/segbench/.

＼[14＼]李鹏飞，王刚，景军锋，焦珂.基于JSEG算法的纺织品印花图像分割＼[J＼]. 纺织学报，2010，31（5）：137140.

＼[15＼]DENG YINING， MANJUNATH B S. Unsupervised segmentation of colortexture regions in images and video[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2001， 23（8）： 800810.

＼[16＼]VICTOR M A， ROSELIN M J， KAVITHA V.Preferential image segmentation using j segmentation based on color， shape and texture＼[J＼]. International Journal of Engineering and Technology， 2010， 2（2）： 131135.

＼[17＼]CHENG M M， ZHANG G X， MITRA N J， et al. Global contrast based salient region detection＼[C＼]. Computer Vision and Pattern Recognition （CVPR）， 2011 IEEE Conference on. IEEE， 2011： 409416.

＼[18＼]SONG Y， LEUNG T. Contextaided human recognition–clustering＼[M＼]. Computer VisionECCV 2006. Springer Berlin Heidelberg， 2006： 382395.

责任编辑（责任编辑：陈福时）