基于视觉显著模型的织物起球等级评价

管声启，胡璐萍，常 江，倪奕棋，王琪璇，管宇灿，张理博

(1.西安工程大学 机电工程学院，陕西 西安 710048；2.绍兴市柯桥区西纺纺织产业创新研究院，浙江 绍兴 312030;3.山西大同大学 计算机与网络工程学院，山西 大同 037009)

0 引 言

随着人们生活水准的提高，消费者对织物的要求也越来越高，尤其是织物的抗起球性能，因此，织物的起毛起球检测也成为该领域的焦点。当前织物起毛起球性能的评价主要依靠传统的标准样照对比法，该方法根据给定的样品结合各级别起毛起球的特点(如毛球数、毛球大小和分布密度等)信息进行客观地评价，具有一定的主观性。由于个体差异，不可能对织物的起球性能进行客观的等级评估。随着机器视觉在工业自动化中的广泛应用，基于机器视觉的织物起球评定技术应运而生[1-2]。

在用于织物的图像分析技术方面，已经进行了许多研究。文献[3]通过傅里叶变换进行起球等级评估，但傅里叶变换是一种无法获得图像局部信息的全局方法。文献[4]使用二维离散小波变换来处理织物图像。尽管小波变换可以抑制常规和明显的突变信号，但它不能抑制织物纹理的单个信号，单个信号会影响客观评价的准确性。文献[5]通过小波变换的局部二值模式[6]提取了起球特征，但是，起球的局部细节很容易丢失。文献[7]等结合小波变换和Gabor滤波方法进行图像分割。尽管该方法可以有效地实现织物绒毛和起球图像的去噪处理，并获得织物毛球的分割图像，但是由于织物毛球的尺寸不均匀和织物纹理粗糙度不同，可能会造成小波分解中毛球层的定位不准确，导致毛球信息丢失。文献[8]通过傅里叶变换和小波分析相结合的方法获得了全局信息和局部细节，但是在特定条件下，起球可能会周期性出现，因此很难辨别。

由上述分析可知，目前织物起球图像客观评价法仍面临无法避免背景纹理和光照不均等低频信号的干扰问题，从而影响最终的起球分级。假如机器能模仿人类主观评级法只提取感兴趣的起球信息，这样就能弥补传统图像处理技术的缺陷，具有重要意义[9]。因此，本文提出了一种基于视觉注意机制的起球分级新方法，以解决上述问题。首先，通过高斯金字塔分解及中央-周边操作得出局部特征显著图；其次，融合谱残差分析法获得的全局特征显著图得出织物起球显著图；最后，对显著图进行分割得出起球兴趣图，通过提取兴趣图起球特征参数从而对织物毛球进行分析和等级评定。

1 视觉注意机制显著模型

视觉注意机制是人类视觉系统中一种特殊机制。人类视觉通过快速扫描全景图像信息并传入大脑，通过大脑对全景信息的分析与理解，获取需要集中注意的目标区域(通常称为关注焦点)，然后在该区域投入更多的关注，从而获取关注目标的详细信息，同时抑制其他无用的信息。视觉注意机制实际上是在保持低频信息的同时抑制视野中的高频信息[10]。文献[11]提出了视觉注意机制模型和显著性目标的概念，它采用高斯金字塔模型，并使用中央-周边差分算子来处理图像以获得感兴趣区域。小波变换具有在多尺度空间和频域上同时分析的特点，因此具有良好的局部信息表示能力。通过局部分析图像的整体特征(颜色、纹理、方向、亮度等)，可以有效地消除特征图像中的冗余信息，并保留图像中的显著部分，从而获得局部分析的特征显著图。文献[12]提出了谱残差分析法，该方法对图像进行全局分析，并使用谱残差模型进行显著性检测。该方法认为图像的信息全部包含在图像的幅度谱信息中，因此减去先验知识的幅度谱，剩下的就是显著部分的幅度谱，从而得到显著部分。

高斯金字塔分解具有空域和时域上同时执行多尺度分析的能力，对各尺度图像低通滤波处理建立金字塔模型并采用中央-周边差分算子获取局部分析的特征显著信息，但是高斯金字塔分解具备很好的局部信息表征能力，容易引起部分冗余信息被检测。因此，本文在抑制背景多余信息的同时，进一步融合图像的全局特征显著信息来增强显著目标。谱残差算法从图像全局考虑，直接对原始图像的灰度图像做傅里叶变换处理，通过与均值滤波的图像做差分处理即可获得全局分析的显著目标检测图像。

2 改进的显著模型算法

为了检测显著目标，通常将图像分为显著部分和非显著部分。构造织物起球的显著性图，旨在增强织物起球信息和背景信息之间的对比度(显著性)，为织物的分割提供条件。本文算法主要通过基于高斯金字塔分解局部特征显著和基于谱残差分析的全局特征显著构造视觉注意机制显著模型，进而改善起球的显著性图，增强显著目标，在背景中抑制冗余信息，从而提取织物毛球特征参数进行起球等级评定。高斯金字塔可以模仿人类视觉的中央-周边操作，通过对各尺度图像低通滤波处理来建立金字塔模型，同时采用中央-周边差分算子获取局部分析的特征显著信息。为了避免高斯金字塔分解过程中出现部分冗余信息被检测，通过谱残差算法直接对原始图像的灰度图像做傅里叶变换处理，利用对谱残差及相位谱进行傅里叶逆变换并进行重构获得全局分析的显著目标检测图像。改进算法流程如图1所示。

图 1 织物起球疵点检测显著模型Fig.1 Saliency model of fabric pillingdefects detection

2.1 局部特征显著图

2.1.1 高斯金字塔分解 高斯金字塔能够对一幅图像进行多尺度表示，从而可以模仿人眼看到近处的图像较为细致(对应金字塔底层)，看到远处图像较为模糊(对应金字塔顶层)，所以在一定程度上可以模仿视觉感受野。

由于高斯滤波器[13]可用于消除高斯噪声，也可用于多尺度计算，因此，可先用高斯低通滤波平滑起球图像，然后以方差为1.6，采样率为2，向下采样处理底层子图像，每次分解获得的图像分辨率是前一层图像的1/2。接着继续降采样处理第2层子图像，以此类推，最终消除织物纹理、光照不均等噪声[14]。处理结果如图2所示。

(a) 织物起球图像

(b) 基于高斯金字塔的4层分解

(c) 分解后的放大子图图 2 织物起球图像高斯分解Fig.2 Gaussian decomposition of fabricpilling image

图2(a)为织物起球原始图像，图2(b)为起球图像的高斯金字塔分解图。将金字塔分解图层通过上采样放大后如图2(c)，通过观察可以看出，第1层图像主要包含周期性纹理、起球等信息；第2层图像中周期性纹理明显减少，非周期性纹理明显增多，光照不均(左上角光照较亮，右下角光照较暗)更明显，该图层主要包括起球、较少的周期性纹理、非周期性纹理、光照不均等低频信息；第3层图像中周期性纹理已经去除，主要包含起球、非周期性纹理、光照不均等低频信息；第4层子图像主要包含非周期纹理信息和光照不均信息等低频信息。如果选择第3层图与第4层图进行计算消除光照不均和非周期性纹理，则可以提取织物起球信息。

2.1.2 中央-周边操作 为模拟感受野，在高斯金字塔分解后，通过中央-操作织物起球子图像[15]，该方法主要利用图层与图层作差的方式提取织物的起球信息，从而使织物起球信息显著度提高，根据织物起球显著图可表示为

s(δ)=|g(s)Θg(c)|

(1)

式中：δ为周边层与中央层之间层差；Θ为中央-周边操作；c为中央尺度；s=c+1为周边尺度[16]。

选取合适的中央层与周边层是提高检测显著度关键，仅对包含起球、光照不均以及不平整信息中央层与主要含光照不均以及不平整信息周边层进行差分操作，才能提高织物起球信息的显著度。因此，选取子图第3层与第4层进行中央-周边操作获得织物起球信息，中央-周边操作结果如图3所示。

图 3 织物起球局部特征显著图Fig.3 Local feature silencing saliencyimage of fabric pilling

对比图2(a),从图3可以看出，织物周期性纹理已被去除，光照不均明显得到改善，织物起球更加突出，织物起球图像的显著度得到了提高。

2.2 全局特征显著图

高斯金字塔分解具备很好的局部信息表征能力，但是容易引起一些冗余信息被检测。根据织物起球图像特征，可将织物起球图像信息分为新颖部分和冗余部分。

在织物起球图像中，反复出现的均匀特征是织物纹理，是冗余信息；起球则为新颖部分,可通过抑制织物起球图像的冗余部分得到图像的新颖部分[17]。

根据上述理论，采用谱残差分析抑制起球图像中冗余信息来增强显著目标。谱残差分析法[18-19]是独立于对象特征的视觉显著性检测模型。该模型通过对原始图像的灰度图像做傅里叶变换处理，利用对谱残差及相位谱进行傅里叶逆变换并进行重构获得织物起球全局特征显著图，显著效果如图4所示。

图 4 织物起球全局特征显著图Fig.4 Global feature saliency image of fabric pilling

2.3 织物起球显著图

为了获取织物起球显著图，将局部特征显著图和全局特征显著图进行线性融合，可表示为

k(t)=af(t)+(1-a)h(t)

(2)

式中：k(t)为融合后的起球特征显著图；f(t)为局部特征显著图；h(t)为全局特征显著图；a为2幅图像的融合度，a∈{0,1}；t为像素坐标。融合后织物起球显著图如图5所示，实验结果显示，融合度a取0.7时取得了较好的融合效果。

图 5 织物起球显著图Fig.5 Saliency image of fabric pilling

2.4 织物起球兴趣区形成

为了客观地评定织物起球等级，在起球显著图的基础上，通过高斯拟合阈值分割法[20]对起球部分进行分割，效果如图6(a)所示，剔除噪声后起球兴趣图如图6(b)所示。

(a) 织物起球兴趣区 (b) 剔除噪声后起球兴趣图图 6 织物起球兴趣图Fig.6 Interest images of fabric pilling

图6(a)尽管采用高斯拟合阈值分割法获得了较好毛球图像，但它也与少量的非毛球信息噪声点混合在一起，因此有必要滤除这些噪声点。首先，通过统计织物起球兴趣图的数目个数和面积大小，然后在直方图[0，255]之间每隔10进行阈值分割，找出面积与数目突变的点，对小于该阈值的像素点进行剔除，从而有效滤除非毛球信息噪声，噪声点滤除后的效果如图6(b)所示，可以看出效果有明显改善。

3 图像质量评估

为评估织物起球显著特征图所获得的信息是否充分、准确，采用结构相似度评价算法[21]将织物起球图像和起球显著图像的信息量进行对比来评估显著图像的质量。该算法利用图像像素间的相关性进行图像质量客观评估。该算法引入了基于结构信息化质量评估的替代补充框架进行图像的结构相似度分析。结构相似度算法[22]可表示为

S(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ

(3)

利用结构相似度进行图像质量评估时，将织物起球显著图像分解为大小为11×11的子图像，利用式(3)计算出子图像的评分，当计算出图像所有的子图像评分后，整幅图像的评分可以由式(4)计算子图像的平均结构相似度，得[23]：

(4)

式中：j为参考图像和待测图像中第j个图像；M是图像的子图像总数。Sm的取值范围为[0，1]。当Sm取值为1时，表明参考图像和要测试的图像相同或非常相似，要测试的图像的质量极高；当Sm取值为0时，表明参考图像和要测试的图像非常不同，要测试的图像的质量极低。

4 实验结果及分析

4.1 实验条件

为了验证本文算法的有效性，从标准图像库中选择100幅起球样本图像,其中，1～20为1级起球图像，21～40为2级起球图像，41～60为3级起球图像，61～80为4级起球图像，81～100为5级起球图像，每幅图像的像素为600×600；在Inteli7-7500处理器，8 GiB内存，Windows10操作系统的计算机上进行验证，采用Matlab R2018b进行编程。

为评估织物起球显著特征图所获得的信息是否充分、准确，对织物显著图进行图像质量评估，其平均结构相似度值结果如表1所示。

表1 织物起球1～5级显著图平均结构相似度值

通过表1可知，织物起球显著图1～5级的平均结构相似度值均大于0.69，表示所得织物起球显著图像和输入的织物起球图像相似度较高，图像失真较少，即待测图像的质量较高，保留了更多的原图像的结构化信息。通过实验得出织物起球显著图分割效果如图7所示，图7(a)为织物起球1～5级原始图像，图7(b)为织物起球显著图分割效果图。

(a) 原始图像

(b) 分割效果图图 7 织物起球1～5级原始图像与分割效果对比图Fig.7 Comparison of fabric pilling grade 1～5 original image and segmentation effect

4.2 实验及其效果分析

为了验证客观评估可替代主观评估方法的可能性，本文采用与人工评级的对比实验。为了验证本文算法的准确性，采取计算织物起球总面积、起球粒数这2个特征作为判断起球等级指标，其中：起球总面积采用统计起球兴趣图中疵点的白色连通区域中的像素；起球粒数的计算，采用八连通邻域法搜索像素值不为零的连通区域。通过人工标定得出织物起毛起球评级标准，如表2所示。

表2 织物起球1～5级评级标准

本文算法与织物起球1～5级评级标准对比实验结果如图8所示，图8(a)为织物起球1～5级评级标准，图8(b)为该文算法评级结果。

图8中，通过对比织物起球1～5级评级标准结果与该文算法评级结果，可以看出用织物起球总面积特征进行等级评定有95个样本的起球图像等级评价是正确的，准确率为95%，其中，1个1级起球样本被错误识别为3级，1个2级起球样本被错误识别为1级，1个3级起球样本被错误识别为1级，1个2级起球样本被错误识别为2级，1个3级起球样本被错误识别为4级；用织物起球个数特征进行等级评定有96个样本的起球图像评价是正确的，准确率为96%，其中，1个1级起球样本被错误识别为2级，1个2级起球样本被错误识别为3级，2个3级起球样本被错误识别为2级，1个4级起球样本被错误识别为3级。分析误判原因：主要是因为织物起球数目与起球总面积等级划分不明确引起的误判。综合上述可得，该算法能有效滤除各种噪声，得到有效的起毛起球特征参数，实现1～5级织物起毛起球等级的准确评定。

(a) 人工标定织物起球1～5级评级标准

(b) 本文算法评级图 8 织物起球图像评价结果Fig.8 Evaluation results of fabric pilling image

5 结 语

针对现有的起球客观等级评价效果不理想，通过高斯金字塔分解实现毛球与织物纹理分离并去除光照不均等信息，在此基础上采用中央-周边操作获得织物起球疵点局部特征显著图，然后通过融合谱残差分析获得全局特征显著图使织物起球显著度得到显著提高，最后采用高斯拟合阈值分割得出织物起球兴趣图提取起球特征。仿真结果证明：本文织物起球等级客观评价方法能够提高起球图像的显著度，从而使织物起球客观评价具有较高的准确率，证实了本文算法的可行性和有效性，但该算法的泛化性还有待进一步研究。