服饰设计视觉显著性检测

孙菲菲， 徐平华， 丁雪梅， 王荣武， 吴雄英

(1. 东华大学 服装与艺术设计学院， 上海 200051； 2. 东华大学 现代服装设计与技术教育部重点实验室，上海 200051； 3. 浙江理工大学 服装学院， 浙江 杭州 310018； 4. 东华大学 纺织学院， 上海 201620；5. 上海出入境检验检疫局， 上海 200135)

服饰设计是系统性、整体性的工作，通过视觉传达诱导消费[1-3]。设计中，色彩、形态、质感等的对比能够引起视觉冲突，强调设计理念、品牌文化[4-5]。除此之外，平面广告、网站布局、工业设计等进行视觉传达时，无一不在突显设计重点，以一种刺激性的信息影响受众，所引起的视觉关注度成为产品识别和视觉营销中重要的评价指标[6]。

人类视觉具有较强的选择性注意能力，可在复杂场景下迅速聚焦于服饰产品的感兴趣区域(ROI)。

与文字相比，图像更为醒目，便于长久记忆。眼动仪作为心理学基础研究的重要仪器，目前已被广泛应用于设计评价、消费行为研究当中[7-9]。多幅设计作品由于眼动追踪设备误差、测试人员生理和心理因素的干扰，很难定量衡量设计内容的视觉关注差异。随着设计图稿的快速增加，批量检测和评估需要消耗大量的人力和时间，亟需一种相对客观、稳定的方法对设计内容进行可视化表征。

视觉注意客观模型作为机器视觉研究中的热点之一，从场景的角度来看，场景中的某些内容比其他内容更能引起观察者的注意，称之为视觉显著。当前，图像视觉显著性检测方法可概括为自底向上和自顶向下2大类别。其中：自底向上的显著性检测基于图像本身，是从输入图像中提取的不同底层特征，获得的视觉显著性主要由底层的视觉信息(如颜色、光强、边缘等)驱动[10]；自顶向下的显著性模型则与具体任务有关，并由目标所驱动，受到主观意识支配，依赖于具体的任务[11]。由于服饰图像内容的不定性，本文采用自底向上的视觉显著性检测方法，首先依据图像亮度、颜色和方向特征信息构建多尺度高斯金字塔，利用归一化合并的方式对特征进行滤波和融合，并绘制出服饰图像的显著区域及显著程度，提出用以量化视觉显著度的评价指标。

1 底层视觉特征提取

人眼视网膜的感光细胞分为2类：一类是视杆细胞，可感知外界的亮度信息；另一类是视锥细胞，感知颜色信息，通过初级视觉皮层将视觉信息进一步细分和处理。基于此，文献[12]提出了利用图像的亮度、颜色和方向特征模拟人类视觉功能。图像的亮度、色彩及纹理是3个可直接从图像中提取的特征，属于图像的底层特征。本文采用自底向上的服饰显著性检测方法，首先对服饰图像的亮度、色彩及纹理方向进行提取。

1.1 亮度特征提取

彩色图像转换为黑白图像，其亮度值可用灰度值表示。常见的图像灰度化的方法包括直接分量法、最大值法、平均值法及加权平均法。一幅RGB格式的图像可分为红、绿、蓝3个通道，亮度特征从人体生理学角度出发，采用三通道加权的方式计算更符合生理视觉特性。

亮度(L)的计算方法如式(1)所示。

L=0.587g+0.299r+0.114b

(1)

式中，r、g、b分别代表图像的红、绿、蓝3个通道，对其赋予不同的权重系数，进而计算得出图像的亮度特征。

该方法依据YIQ色彩模型中人眼对色彩敏感程度，将图像中的亮度分量分离出来[13]。

1.2 色彩特征提取

从人眼视锥细胞只能在明亮光线下感受颜色的生理机制出发，为剔除颜色与亮度间的耦合关系影响，本文研究对高亮区域的三通道值r、g、b分别进行归一化处理，其余区域各通道值赋值为0。高亮区域的定义为亮度值超出图像最大亮度值10%的区域。

RGB图像只有红、绿、蓝3个颜色通道，为得到黄色通道，利用归一化后的r、g、b值,根据Borji等[12]提出的方法重新计算4个通道值：

(2)

式中，R、G、B、Y分别为红、绿、蓝、黄4个变换得到的通道值。利用以上4个通道值，计算得出红-绿、蓝-黄的颜色对：

RG=|R-G|

(3)

BY=|B-Y|

(4)

式(3)、(4)中利用色彩绝对值，突显出2个相反颜色中兴奋值。

1.3 方向特征提取

大脑初级视觉皮层细胞对特定方向的刺激有强烈的反应。Daugman[14]研究发现，Gabor滤波器与视觉皮层的反应较为相近。基于此，本文采用二维Gabor滤波器对图像方向特征进行描述：

(5)

该函数由高斯核函数和余弦函数调制得出。其中：x′=xcosθ+ysinθ，y′=-xsinθ+ycosθ；λ为余弦函数的波长；θ为Gabor滤波器的方向；ψ表示相位；σ为高斯包络的标准差。依据文献[12]的简化方法，固定次要变量，设定λ=7，ψ=0，γ=1，σ=2.333。对于重要变量θ，选择了4个代表性的方向，分别为0°，45°，90°和135°，以此构造出4个滤波器，将输入图像滤波获得4个方向的特征图。

2 特征显著图构建与融合

2.1 特征显著图构造

图像金字塔是以多分辨率来解释图像的一种结构，最初用于图像压缩。所谓图像金字塔模型，是通过对输入图像构造不同分辨率的图像组，按序排列形如金字塔的图像集合。图像高斯金字塔变换示意图如图1所示。

图1 图像高斯金字塔尺度变换Fig.1 Image Gauss pyramid scale transformation

特征显著图的构建依据Rodieck等[15]提出的生物同心圆拮抗感受野的数学模型。图像高斯金字塔的尺度变换利用了低通滤波器-高斯函数对图像进行平滑处理，降采样(比例为1/2)对图像进行变换，获得尺度依次递减的图像组I(σ),其中σ=0,1,2,…,8。以亮度图为例，

I(t,b)=|I(t)ΘI(t+b)|

(6)

式中：t=2,3,4;b=3,4(见图1)；符号Θ表示2幅图像相减。由于2幅特征图尺度不同，在处理前需将小尺度图像放大至大尺度图像，这样，利用每个特征图构造出的9个金字塔图像可计算得出6幅高斯差分图。类似地，将色彩、方向等7个特征进行差分计算，共计获得42幅特征显著图。

2.2 特征筛选

为模拟神经元侧抑制，剔除冗余信息，增强反差效果[15]，需要对2.1中计算得出的42幅特征显著图进行特征竞争和筛选。

本文采用迭代的局部交互方式，对大量反复出现的特征区域相互抑制，突出少量出现的显著区域。利用Rodieck[15]提出的感受野数学模型：

(7)

式中：σex=2%，表示兴奋区域的范围；σih=5%表示抑制区域的范围；cex为兴奋常数；cih为抑制常数，取值参照文献[16]分别设定为0.5和1.5。利用该函数对特征图并行滤波，以迭代的方式逐渐抑制图像的均匀区域，突出显著区域。

2.3 特征显著图融合

亮度、颜色及方向特征的显著图处理后分别得出1、2、4幅显著图，因此需将多个特征显著图进行融合，合并为一幅最终的服饰视觉显著图。

首先，需对同类特征显著图进行归一化合并处理。颜色特征和方向特征分别有多幅特征显著图，需进行合并处理。以方向特征为例，将4幅归一化合并出的图再次处理，得到方向特征的总体显著图。

(8)

(9)

3 视觉注意热区分析

利用图像分析技术，客观地描绘视觉热区，并提出视觉覆盖率和分散度2个指标，用以衡量服装设计元素的视觉关注效果。

3.1 视觉覆盖率

基于2.3节提出的视觉综合特征显著图，首先按照显著权重对热点覆盖区域占比进行评价，得出视觉覆盖率(Hv)评价指标。

(10)

式中：i为热点分割图中0～255之间的任意亮度值；Si为亮度值为i的像素点个数；S为图像像素点总数；Hv结果采用百分制表示。

3.2 视觉分散度

此外，为测定视觉分散特征，首先提取热点分割图中视觉落点最为显著和致密的区域，并提取出视觉重心Pc，目的在于寻找出该陈列场景的聚焦落点位置。视觉分散度依据次显著落点与视觉重心的分离程度进行测算：

(11)

4 结果与分析

服装设计中涵盖了色彩、造型、款式、材质等基本要素，构成了服装整体视觉效果，因此本文实验选取了色块图、不同纹理的材质图、配饰效果图、服装款式图及成衣图进行视觉显著性检测。以上算法采用Visual V++语言编程，实现检测结果的输出和存储。

以图2所示色块图为例，颜色涵盖黑、品红、黄、蓝及过渡色块，包含了常用的主要色彩。以此图为检测对象，检验本文方法对不同颜色的敏感程度及关注区域。

图2 色块图Fig.2 Color blocks map

图3示出色块图的视觉显著度检测结果。可看出，色块图的视觉显著性检测分布因输入图像的颜色及亮度的不同而产生差异。图中：灰度值越大(原值越接近255，归一化值越接近1)，表明视觉关注度越显著；灰度值越小(原值越接近0，归一化值越接近0)，则表明视觉关注度越低。除表达出视觉显著程度外，若根据该图的域值进行分割，便可有效地划分出输入图像的显著区域。

图3 色块图的视觉显著度检测结果Fig.3 Visual saliency detection of color blocks

为更好地将显著结果可视化表达出来，本文实验将不同显著度定义为不同的颜色，其中深红色表示视觉关注度最高，黄色次之，绿色、蓝色、灰色部分的显著度依次衰减，处理结果如图4所示。服饰设计传达效果除色彩外，与作品本身的材质、纹理、廓型等息息相关。图5～8分别示出面料、配饰、成衣图、着装图的视觉显著性检测结果。

图4 色块图的视觉热点分布图Fig.4 Visual hot area distribution of color blocks

图5 绉组织织物视觉显著性检测结果Fig.5 Visual saliency detection of wrinkled fabric.(a)Original image;(b)Visual hot map;(c)Overlay visual area;(d)Visual dispersive map

图6 彩绘袜视觉显著性检测结果Fig.6 Visual saliency detection of painted socks image.(a)Original image;(b)Visual hot map;(c)Overlay visual area;(d)Visual dispersive map

图7 成衣图视觉显著性检测结果Fig.7 Visual saliency detection of garment image.(a)Original image; (b)Visual hot map;(c)Overlay visual area; (d)Visual dispersive map

图8 着装图视觉显著性检测结果Fig.8 Visual saliency detection of dress chart.(a)Original image; (b)Visual hot map;(c)Overlay visual area; (d)Visual dispersive map

2.2中的特征筛选和融合充分模拟了人眼的中心偏差理论，即假定人眼的初始视野中心锁定在图像的中心，并将人的视觉中心设定为显著性特征的分布中心后进行特征的筛选和融合。图5中绉组织织物的视觉显著图最为显著的区域集中在图像中心区域，这是由于其表面纹理分散均匀，其视觉覆盖率Hv为35.33%，视觉分散度Dv为0.7082；而图6、7的显著区域集中在色彩和形状冲突严重的位置，图6的视觉覆盖率Hv为22.57%，视觉分散度Dv仅为0.279 7，图7的视觉覆盖率Hv为17.73%，视觉分散度Dv更低，其值为0.137 1。图8示出人体穿着服装的整体效果，其视觉兴趣在检测中不仅包含服装，还涵盖了人体形态和面部特征，因此其视觉关注区域集中在考虑到服装显著性的同时，也对人体的裸露部分进行视觉追踪。视觉落点集中到面部区域和少量的服装区域，其视觉覆盖率Hv为22.50%，视觉分散度Dv为0.180 2。以上典型样本显著中心分散到图像色彩、亮度或纹理方向突出的区域中，与人眼的视觉机制较为吻合。视觉热点图可视化地描绘了图像各区域的显著情况，而视觉覆盖率和分散度用于对图像显著性的2个方面进行全局性描述和定量评价。

在检测速度方面，以1幅尺度为840像素×1 100像素、分辨率为120像素的色块图(见图2)为例，系统检测时间为0.886 s。系统硬件配置为：CPU Intel(R)2.70 GHz，RAM为8 GB。本文实验选取的图像最大尺度为1 200像素×3 200像素，最小尺度为500像素×500像素，检测时间均小于1 s，检测耗时随着图像分辨率及尺度等的差异会有所不同。

5 结 论

从机器视觉角度提出了采用图像视觉显著性检测，以满足当前服饰品设计的客观、批量化评估的需求。首先对图像亮度、颜色、纹理方向等底层特征进行提取，利用多尺度的分解方法构建出金字塔模型；采用归一化合并的方式对特征显著图进行滤波；最后，对形成的3类特征图进行融合，根据显著程度绘制出视觉热点图及亮度图，从而划分图像的视觉显著区域，并提出了2个用于全局性评价整幅图像显著度的评价指标。

结果表明，本文所采用的算法可快速完成服饰图像的视觉显著区域及显著程度的检测，本文实验所采用的图像检测时间均小于1 s。服饰设计视觉显著性检测方法的研究，有助于实现产品设计质量的客观、批量化评估，对平面广告、家装设计、店铺陈列同样具有一定的应用价值。后续的研究重点将关注算法检测出的视觉显著区域及显著度与眼动仪对主观受试者检测均值的一致性，从而对算法进行优化，以适应纺织品服装视觉显著性检测需求。本文融合图像底层特征形成视觉显著图，一定程度上反映了服饰图像的视觉冲击力，有助于促进今后服饰部件自动分解和语义解读的深入研究。

[1] BESTLEY R, NOBEL I. Visual Research: An Introduction to Research Methods in Graphic Design[M]. London:Bloomsbury Publishing, 2016:15-18.

[2] 郑晶晶, 季晓芬. 消费者对服装陈列的视觉感知[J]. 纺织学报, 2016, 37(3):160-165.

ZHENG Jingjing, JI Xiaofen. Visual perception of consumers on clothing display[J]. Journal of Textile Research, 2016, 37(3):160-165.

[3] 穆红, 林清华. 基于视觉搜索的服装店铺陈列优化[J]. 纺织学报, 2015, 36(9):125-128.

MU Hong, LIN Qinghua. Display optimizing of retail clothing store based on visual search[J]. Journal of Textile Research, 2015, 36(9):125-128.

[4] WORKMAN J E, CALDWELL L F. Centrality of visual product aesthetics, tactile and uniqueness needs of fashion consumers[J]. International Journal of Consumer Studies, 2007, 31(6): 589-596.

[5] 范康宁. 服装设计中的色彩运用[J]. 美术大观, 2009(9): 128.

FAN Kangning.Color application in fashion design[J]. Art Panorama, 2009(9): 128.

[6] 厉莉. 基于服装品牌产品的视觉识别元素应用系统研究[D]. 上海：东华大学, 2012:3-4.

LI Li .Study on application systems of visual identity elements based on the products of apparel brand[D].Shanghai:Donghua University,2012:3-4.

[7] 马冬阳, 周洪雷, 王云仪. 服装非对称外轮廓设计的视觉均衡感研究[J]. 东华大学学报(社会科学版), 2012, 12(3): 196-199.

MA Dongyang,ZHOU Honglei,WANG Yunyi. Study on visual balance of asymmetrical apparel contour design[J]. Journal of Donghua University(Social Sciences Edition), 2012, 12(3): 196-199.

[8] 胡宁. 基于视觉注意机制的服饰平面广告[D]. 上海：东华大学, 2010:4-8.

HU Ning. Study on assessment of fashion print advertisement based on visual attention mechanism[D]. Shanghai:Donghua University,2010:4-8.

[9] 蔡钰茹, 陈彩霞, 杨以雄. 基于头盔眼动跟踪实验的服装卖场橱窗陈列探析[J]. 东华大学学报(社会科学版), 2013, 13(2): 81-86.

CAI Yuru,CHEN Caixia,YANG Yixiong. Research on display of clothing store window based on helmet eye tracking experiment[J]. Journal of Donghua Univer-sity(Social Sciences Edition), 2013, 13(2): 81-86.

[10] 管声启, 高照元, 吴宁, 等. 基于视觉显著性的平纹织物疵点检测[J]. 纺织学报, 2014, 35(4):56-61.

GUAN Shengqi,GAO Zhaoyuan,WU Ning,et al. Defect detection of plain weave based on visual saliency mechanism[J].Journal of Textile Research,2014, 35(4):56-61.

[11] 王岩. 视觉注意模型的研究与应用[D]. 上海：上海交通大学, 2012:7-8.

WANG Yan. Research and application of visual attention model[D]. Shanghai:Shanghai Jiaotong University,2012:7-8.

[12] BORJI A, SIHITE D N, ITTI L. What stands out in a scene? a study of human explicit saliency judgment[J]. Vision Research, 2013, 91(15): 62-77.

[13] GUNJAL B L, MALI S N. Comparative performance analysis of DWT-SVD based color image watermarking technique in YUV, RGB and YIQ color spaces[J]. International Journal of Computer Theory and Engineering, 2011, 3(6): 714.

[14] DAUGMAN J G. Complete discrete 2-D Gabor transforms by neural networks for image analysis and compression[J]. IEEE Transactions on Acoustics Speech & Signal Processing, 1988, 36(7): 1169-1179.

[15] RODIECK R W, STONE J. Analysis of receptive fields of cat retinal ganglion cells[J]. Journal of Neurophysiology, 1965, 28(5): 832-849.

[16] LI Zhicheng, ITTI L. Saliency and gist features for target detection in satellite images[J]. IEEE Transactions on Image Processing, 2011, 20(7): 2017-2029.