基于深度学习的纺织品图案智能辅助设计

王晓龙　王颖

摘  要：为了实现基于深度学习的纺织品图案智能辅助设计系统，将分形图案与深度学习风格迁移算法相结合，利用深度学习框架Tensorflow，首先生成基于Mandelbrot集合的分形图案，接着从图像转换网络结构、感知损失函数等几个方面改进了已有的神经网络风格迁移算法，对分形图案进行风格化设计，使生成的创意图案更符合纺织品图案边界要求高、保持图案细节完整的特点，更加符合纺织品打印要求。

关键词：深度学习;分形图案;风格迁移;卷积神经网络;纺织品图案

中图分类号：TP391.4      文献标识码：A 文章编号：2096-4706（2020）02-0131-03

Abstract：In order to realize the intelligent aided design system of textile pattern based on deep learning，the fractal pattern is combined with the algorithm of deep learning style transfer. Using Tensorflow，the fractal pattern based on Mandelbrot set is generated firstly. Then，the existing neural network style transfer algorithm is improved from the aspects of image conversion network structure and perceptual loss function，the fractal pattern is stylized to make the creative pattern meet the requirements of textile pattern boundary，keep the pattern details complete and meet the textile printing requirements.

Keywords：deep learning;fractal pattern;style migration;convolution neural network;textile pattern

0  引  言

本文介绍基于深度学习的纺织品图案的自动化生成技术。使用深度学习架构和技术来生成纺织品图案（以及其他艺术内容）是近年来借助科学可视化方法形成的一个艺术与科学相结合的研究领域，其特点主要表现在：既允许自动化艺术品的生产，又扩展了创造性表达的领域，因此为图案设计者开辟了新的天地。

1  深度学习

深度学习已经成为一个快速发展的领域，目前经常用于分类和预测任务，如图像和语音识别以及翻译。自2006年开始，深度学习体系结构在图像分类任务上显著优于使用手工特征的标准技术。深度学习的成功以及人工神经网络的架构和技术再现，主要有以下几个原因：

（1）技术的进步，如：預训练（从而解决了多层神经网络预训练的低效性）、卷积（提供主题平移不变性）、LSTM（长短期记忆，解决了循环神经网络训练的低效性）。

（2）大数据的可用性。

（3）高效和廉价的计算能力，特别得益于图形处理单元GPU，GPU最初是为视频游戏设计的，现在已经成为深度学习应用的最大市场之一。

因此，在大数据日益发展的今天，随着越来越多的大型纺织品图案数据库的出现，基于深度学习的智能纺织品图案生成系统将能够自动从数据库中学习图案设计风格并产生新的图案内容。

2  生成分形图案

分形图是一种以数学理论作为基础，通过调整迭代函数、变化规则及颜色参数等数据进行编程设计，实现程序代码的可视化，将枯燥的数据转化为绚丽的图形或图像。由于分形图的生成原理，其具有极精细的结构，若没有源代码，分形图将不易复制和拷贝。这种分形图实现了分形几何学与计算机图形学的完美联合，同时也是科学与艺术的融合，另外分形图的美是不可估量的，为纺织图案设计增添了新元素[1]。本文主要利用Tensorflow计算复平面上分形图，通过改变迭代函数形式和参数而生成变化分形图，并将其保存为图片形式，方便后期进行纺织品图案的风格化设计。

在TensorFlow中，我们定义如下的计算步骤：

xs = tf.constant（Z.astype（np.complex64））zs = tf. Variable（xs）ns = tf.Variable（tf.zeros_like（xs， tf.float32）） with tf.Session（）： tf.global_variables_initializer（）.run（） zs_ = tf.where（tf.abs（zs） < R， zs**2 + xs， zs） not_diverged = tf.abs（zs_） < R step = tf.group（ zs.assign（zs_）， ns.assign_add（tf.cast（not_diverged， tf.float32）） for i in range（ITER_NUM）： step.run（） final_step = ns.eval（） final_z = zs_.eval（）

其中，zs对应式（1）中的z，而xs对应式（1）中的c。方便起见，只要计算时数值的绝对值大于一个事先指定的值R，就认为其发散。每次计算使用tf.where只对还未发散的值进行计算。结合ns和zs_就可以计算颜色，得到经典的Mandelbrot图像。

3  分形图案实时风格化

3.1  深度学习网络结构

本文设计的深度学习网络结构由两部分组成，如图1所示，一是学习风格图片到内容图片迁移的图像转换网络fw，其中，w（weights）是fw所有神经元的最优权值;二是采用由牛津大学视觉几何组（Visual Geometry Group，VGG）开发的卷积神经网络结构VGG-16网络模型，用于计算损失函数的损失网络φ。该网络结构通过卷积层提取不同层的卷积特征（Feature Map），可以表达人类对图像的视觉感知情况。利用卷积特征计算分形图案和风格图片的视觉感知对比损失情况，根据不同卷积层的特征图可以定义一系列的损失函数l1，l2，……，lk。假设一幅分形图案x通过深层卷积神经网络fw计算得到创意图案y，则定义y=fw（x），每个损失函数计算一个标量值li（y，yi），衡量输出的y和目标图像yi之间的差距，损失函数可以从纹理、光照、直方图等多方面考虑。因此fw的求解过程就转化为利用式（2）进行梯度下降求最优解，其中λi为每个损失函数i的权重比例。

3.2  图像转换网络

图像转换网络结构如表1所示。3个卷积层后紧接着5个残差块，然后两个上池化层，最后一个卷积层，第一层和最后一层的卷积核都是9×9，其余均为3×3。每个残差块中包含两层卷积。我们的网络结构中把Batch Normalization用Instance Normalization[2]来替换，所有在生成器网络中的Batch-Normalization都这样替换。这样做能阻止实例特定的均值和协方差简化学习的过程，提高风格迁移速度同时使生成的图像效果更好。同时，deconvolution（transposed convolution）也全部换成了resize convolution，可以防止棋盘格纹理的产生。再者，为了更适应纺织品图案边界要求高的特点，通常的Zero-Padding被Reflect-Padding取代，减少了边界效应。

3.3  感知损失函数

由于生成的分形图案多数是一些纯色背景的图像，如果直接对其进行风格化，风格化后图像的边缘会呈现出对物体颜色的延伸，边界将会变得不平整，为了在创意图案生成过程中，不丢失分形图案本身的细节，使其更符合纺织品图案打印需求，在損失函数的定义中我们采用了两种策略：其一，对分形图案进行语义分割[3]，将分割模版同时作为分形图案的增广一同输入到神经网络中，从而保证优化过程中只处理我们感兴趣的内容。其二，在分形图案与最终输出图像创意图案之间建立一种在颜色空间中的局部仿射变换[4]，即创意图案的每一个颜色通道中的每个像素值，都可以由分形图案的局部区域像素的线性组合得到。通过建立这一关系，就达到了通过分形图案来约束创意图案的目的，从而不丢失分形图案的细节。

4  实验及分析

本文采用预先训练的VGG-16作为特征提取器。选择conv3_3作为内容表示，conv1_2，conv2_2，conv3_3，conv4_3作为风格表示。考虑到纺织品图案对纹理及边缘要求的特殊性，我们对于生成的分形图案，分别采用不同的风格图片进行了风格化比较：对于油画及画面颜色丰富的风格图片生成的创意图案边界效果略失真;如果风格图片颜色单一或与分形图案颜色相近，则生成的创意图案纹理和边界都非常清晰，基本符合纺织品图案的打印需要。

5  结  论

基于深度学习的纺织品图案设计技术，其特点主要表现在，它能将一些原应属于不可视的信息转化成图形或图像展示在我们面前，其图形图像形态离奇，风格独特，非人脑所能想象，可以成为一种取之不尽的创作源泉。此外，因为这是一种将非线性科学与计算机图形图像技术结合的产物，所以，其图案是一种数字化的信息，具有生成快，操作简便的特征，非常适合在敏捷产品制造系统中使用。

参考文献：

[1] 王淑缓，杨旭红.复平面上分形图的生成及在纺织品上的应用 [J].丝绸，2017，54（8）：56-61.

[2] ULYANOV D，VEDALDI A，LEMPITSKY V.Instance Normalization：The Missing Ingredient for Fast Stylization [J/OL].arXiv：1607.08022[cs.CV]（2016-07-27）.https：//arxiv.org/abs/1607.08022.

[3] CHEN L C，PAPANDREOU G，KOKKINOS I，et al. DeepLab：Semantic Image Segmentation with Deep Convolutional Nets，Atrous Convolution，and Fully Connected CRFs [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2016，40（4）：834-848.

[4] LUAN F，PARIS S，SHECHTMAN E，et al. Deep Photo Style Transfer [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu，HI，USA，2017（1）：6997-7005.

[5] WEISSTEIN E W. Gram Matrix [EB/OL].（2019-11-01）.Wolfram MathWorld. http：//mathworld.wolfram.com/GramMatrix.html.

作者简介：王晓龙（1997-），男，汉族，吉林长春人，本科在读，研究方向：轻化工程;通讯作者：王颖（1975-），女，回族，河北张家口人，教师，讲师，硕士研究生，研究方向：计算机应用技术。