基于深度学习的印花织物循环图案基元分割

林 峰，向 忠

(浙江理工大学 机械与自动控制学院，浙江 杭州 310018)

0 引 言

目前印花厂在制作印花图样时，一般由设计师将样布中的循环图案基元分割出来，绘制成合适的模板，最终根据实际需要排列成各式各样的印花图样。这种成本极其高昂，耗时较长，极大地增加了印花织物开发设计的时间。面对快速发展的企业需要，亟需开发一种自动分割织物循环图案基元的方法。近年来，随着深度学习技术的发展，为业界提供了一条新的思路。

传统的分割算法主要可以分为三类，一类是基于空间域的方法，一类是基于频域的方法，一类是基于颜色域的方法。第一类方法是利用图像函数局部峰值之间的距离确定循环图案的周期规律，并由此得到织物循环图案基元。最早Terzopoulos等人利用灰度共生矩阵(gray-level co-occurrence matrix，GLCM)寻找出循环基元的周期规律[1]，但是该方法进行周期分析耗费的计算时间很长，并且稳定性较差。为此，Parkkinen等人利用GLCM的统计量K进行计算，在一定程度上提高了GLCM方法的计算速度[2]。Lin等人尝试使用自相关函数进行峰值计算[3]，这种方法对局部畸变有一定容忍度，然而这种方法需要对自相关函数进行平滑处理，因此计算时间同样比较长。景军锋等人提出一种使用距离匹配函数(distance matching function，DMF)进行循环图案基元分割的方法[4-5]，这种方法的优点在于计算时间比较短，然而使用距离匹配函数的方法对几何畸变等噪声非常敏感。Unser等人提出了和差直方图(sum and difference histograms，SDH)的方法[6]，该方法的分割效果不弱于基于GLCM的方法，大大提高了计算速度，但是缺点在于只能对灰度图进行处理，因此会丢失很多颜色信息。为此Li等人提出了利用HSV颜色空间的H分量进行计算的方法[7]，一定程度上提升了分割效果，但是该方法无法处理包含多种花型的图案基元的复杂印花织物。何旋等人提出一种基于自适应模板匹配的方法，该方法以边缘点密度为评价标准确定出模板，只适用于简单印花织物，对于包含多种花型的图案基元的复杂印花织物，由于循环图案基元之间的间距很小，该法依然难以分割[8]。

第二类方法是基于频域的方法[9-10]。Matsuyama等人采用傅里叶变换进行周期分析[11]，循环图案基元的周期可以通过傅里叶函数频谱图的脉冲分布来确定，但是该方法只适用于纯色织物。

第三类方法是基于颜色域的方法。Kuo等人提出利用颜色特征对印花织物循环图案基于进行分割[12]，首先由彩色扫描仪获得彩色的印花织物图案，采用模糊均值聚类方法获得图案的颜色特征，印花织物循环图案基元经过霍夫变换得到，然而这种方法只适用于颜色边界比较清晰的图案，对颜色丰富且复杂的图案基元无法有效分割。

上述的分割方法往往需要人工设计一个特征提取器，适应性较差，只对一些简单的循环图案基元有效，无法适应具有多种花型的循环基元的复杂印花织物图案，不能满足实际的需要。近年来，深度学习算法的应用日趋广泛，推动了计算机视觉的快速发展，特别是在图像分类[13-15]、目标检测[16-17]、实例分割[18-19]等方面。类似的，在纺织领域，深度学习的方法被应用于织物瑕疵检测方面[20-21]，并且已经取得了显著的检测效果，但是如今几乎没有学者将其应用在织物循环图案基元分割上。为此，该文提出了一种基于预训练卷积神经网络的分割方法。实验结果表明，该文算法不仅可以分割具有简单花型的织物循环图案基元，还可以准确分割包含多种花型的织物循环图案基元，具有较好的鲁棒性。

1 循环图案基元分割算法

1.1 算法流程

该文算法利用预训练AlexNet网络进行特征提取，然后对特征进一步计算，分割出织物循环图案基元。

该文算法先将织物图像输入到预训练AlexNet网络中进行特征提取，之后对每张特征图在霍夫空间中进行投票，得到循环基元的尺寸，最后在输入图像中分割出织物循环基元，算法流程如图1所示。

图1 算法流程

1.2 预训练AlexNet网络

Alex Krizhevsky等人提出了AlexNet网络[22]，并在当年的图像分类比赛中一举夺魁，获得了广泛的关注。随着卷积神经网络变深，会产生梯度消失的问题。为此，与以往的卷积神经网络相比，所提出的网络中应用了ReLU激活函数进行处理，取得了很好的效果，同时使用了局部响应归一化，大幅度提升了模型的泛化能力。此外，该网络还在全连接层中添加Dropout层，对全连接层的输出特征随机进行舍弃，解决过拟合问题。AlexNet的网络结构如图2所示。

图2 AlexNet网络结构

该网络一共有5个卷积层，卷积层通过卷积运算实现特征提取，每一个卷积层的输出进行ReLU激活，然后使用最大值池化后的输出作为下一个卷积层的输入。第5个卷积层经过池化后连接了3个全连接层，得到1 000个输出值，这1 000个输出值分别对应类别的概率。该文采用经过预训练的AlexNet网络进行特征提取，移除网络的全连接层，只留下卷积层。由于去掉了全连接层，输入的织物图像可以任意大小，这使得网络可以更好地适应实际场景。

1.3 循环基元尺寸计算

如图3所示，依次分别为AlexNet预训练网络的第1到第5个卷积层，卷积神经网络第一层通常学习边缘和其他低层次特征。随后，随着层数变深，网络可以学习到更深层的特征表示，比如复杂的颜色和花型。因此，卷积神经网络可以被认为是一组具有不同抽象层次的过滤器，当图像区域出现特定特征时，这些过滤器就会被激活。该文使用这些过滤器作为特征提取器，无需任何人类的先验知识，就可以自主学习到复杂的特征。

图3 AlexNet网络的卷积层

图4 特征层中的激活峰值

带有循环图案基元的印花织物具有循环往复的特点，将织物图像输入预训练网络后，在不同特征层间会产生有规律的激活峰值，该文使用非极大值抑制算法获得这些峰值，特征层中的激活峰值如图4所示。每对峰值对应一组位移向量。因此，不同特征层中出现次数最多的位移向量的绝对值，就是循环图案基元的尺寸。该文在霍夫空间中对每一对位移向量进行投票，来确定循环图案基元的尺寸。

如前所述，该文使用的预训练网络一共有5个卷积层，l表示在第l个卷积层，其中l∈L。f表示特征层，fl∈Fl表示卷积层中所有的特征层。每个特征层中激活峰值的位置用p表示，则有pm,pn∈Pfl。由每对激活峰值得到一组位移向量，用sm,n表示。位移向量的计算公式如式(1)所示。

通过对2组患者实施不同的治疗措施，2组患者病情均出现不同程度的好转，但是观察组患者治疗有效率97.1%显著高于对照组患者62.9%，差异有统计学意义（P<0.05）。 见表 1。

Sfl={sm,n:|pm-pn|,m≠n}

(1)

其中，|. |是向量的绝对值。

接下来需要从位移向量集合Sfl按照出现次数，将出现次数最多的位移向量作为循环基元的尺寸。在这一步将Sfl映射到霍夫空间H中进行投票。由于每个卷积层中的特征层大小不同，投票无法直接进行，需要进行权重归一化。该文假设每个投票服从以sm,n为中心的二维正态分布，σl为第l个卷积层的协方差矩阵，计算过程如式(2)所示：

(2)

其中，

(3)

由此，循环基元尺寸的计算公式如下：

(4)

1.4 循环图案基元分割

在得到循环图案基元的尺寸后，需要进一步在织物图像中分割出完整的基元。为此，先对特征层进行挑选，减少计算量。根据特征层拥有的位移向量数量|Sfl|，对特征层赋予权重wfl，权重计算公式为：

(5)

其中，γ是先验值，该文将其设置为0.8，β为邻域半径。

(6)

然而利用M(x,y)进行简化会产生一定的偏移，该文将偏移量记为o*=(ox,oy)，偏移量的计算公式为：

随后利用IPM算法[23]在优化后的特征层的位移向量空间中进行计算，得到循环图案基元的质心坐标，最后用质心坐标和前面确定的循环基元尺寸分割出最终的循环图案基元。

2 实验结果

本次实验使用Pytorch深度学习框架中的预训练AlexNet网络模型进行。实验运行在Centos7.0系统下，服务器配置为1张英伟达GTX 1080Ti显卡，64G运行内存及512G的固态硬盘。

为更好地分析该文算法的性能，与其他算法进行了对比，以验证算法的优越性。目前关于印花织物循环图案基元最新的算法是Li等人提出的HSDH算法[7]。HSDH算法首先将RGB彩色图像转为HSV颜色空间中的图像，然后提取出图像的H分量，进行去噪和直方图均衡化处理。随后利用这个分量的图像代替以往研究者采用的灰度图像，分别计算水平方向和垂直方向的和差直方图的能量特征函数，根据能量特征函数的峰值间隔得到织物图案的周期，从而分割出印花织物的循环图案基元。

图5 简单织物分割结果

在实际生产中，为了满足消费者的需求，企业生产的印花织物通常具有丰富的纹理特征，每一个循环图案基元中包含多种花型，形成了不同风格的织物图案，因此能够识别出具有多种花型循环图案基元的复杂印花织物具有重要的意义。循环图案基元包含的花型越多，拥有的特征越复杂，分割的难度也就越大。该文首先在简单的印花织物图像上进行实验，这种织物的循环图案基元中只包含少量花型，一般为1～3种，特征较为简单。实验结果如图5所示，左列为HSDH算法的分割结果，右列为该文算法的分割结果。从图中可以看出，该文算法与对比算法都能分割出完整的织物循环图案基元。

随后该文在复杂的印花织物图像上进行了实验，这类织物的循环图案基元包含多个花型，一般为4种以上，特征较为复杂，连人眼也无法快速地分出它们的循环图案基元。所有的实验结果如图6所示。结果表明，在这类复杂的印花织物上，HSDH算法几乎不能分割出完整的循环图案基元，在能量函数曲线上是一条直线。而该文算法依然可以准确地分割出完整的循环图案基元。这是因为在卷积神经网络中，浅层通常可以获得边缘等低级特征，而深层可以学习到更复杂的特征信息，例如复杂形状，使得该文算法对复杂印花织物的循环图案基元也具有很好的分割效果。

图6 复杂织物分割结果

该文进一步对两种算法的效果进行了定量评价，以验证算法的可行性，其中简单织物和复杂织物图像各18张。该文算法与HSDH算法的准确率如表1所示。从表中可以看出，对于简单织物，该文算法的准确率比HSDH算法高出11.1%，在复杂织物上更是高出77.8%。得益于卷积神经网络强大的特征提取能力，该文算法总体准确率可达91.7%，而HSDH算法总体准确率只有47.2%。虽然HSDH算法被认为是一个好算法，但是仅仅局限于具有简单循环基元的图案，未考虑到织物具有丰富的纹理特征的影响。对比HSDH算法，该文算法具有较好的综合性能，能够对织物的循环图案基元进行准确的分割。

表1 算法准确率 %

3 结束语

针对印花织物循环图案基元自动分割难度大的问题，该文提出了一种基于卷积神经网络的织物循环图案基元分割算法。实验结果表明，对比HSDH算法，该文算法不仅可以分割出简单织物的循环图案基元，在复杂的织物上也有很好的分割效果。该算法具有很好的适应性和准确率。但是该算法在实际应用中还存在一定的局限性，因为需要对预训练网络所有的卷积层进行计算，使得计算时间相较于传统方法更长。未来，会继续考虑计算效率，对算法的结构进行优化以进一步提高计算速度，从而适用于更多的场景。