基于对抗神经网络的小样本生成技术

徐为立，袁和刚，任凯，董越，麦晓庆

（国网宁夏电力有限公司中卫供电公司，宁夏中卫,755000）

0 引言

深度学习[1-2]需要大量数据的训练才能得到一个泛化能力比较强的学习模型。然而受自然因素和人力、物力限制，获得海量数据是非常困难的。因此，使用有限数量的数据来生成更多相同特征的多样性的数据是当前深度学习所缺乏的，具有重要研究意义。

生成对抗网络[3](Generative Adversarial Network,GAN)可以学习样本数据中潜在信息，并将学习到信息用于新样本的生成，但容易出现梯度消失和模式崩塌等问题。本文在数据增强生成对抗网络（Data Augmentation Generative Adversarial Network，DAGAN）[4]的基础上，对其网络结构进行了调整，并将该网络命名为DAGAN3+。实验结果表明，改进网络后生成的图像可以达到很好的效果。

1 相关工作

数据扩充的目标是用新样本扩充训练集。深度生成模型可以利用训练数据的分布来为特征增强和图像增强生成更加多样和真实的样本。

FIGR[5]将元学习的Reptile结合到遗传神经网络中，学习同一类几幅图像的数据分布，但生成的图像质量有待提升。DAWSON[6]是基于元学习的自适应小样本生成框架，把MAML 应用于生成模型，但需要通过评估开发集来获得生成器的梯度。GMN[7]将Matching 成新颖的图像，但生成的图像稍有模糊。

2 模型框架

本模型框架使用一个自动编码器将现有的图像进行编码，然后添加噪声，接着进行解码，从而得到新的同类的图片。

2.1 网络模型

模型目标函数如公式（1）所示：

公式（1）中x表示真实图片，z表示输入生成器网络的噪声，G(z)表示生成的图片。D(x)是判别器网络判断图片为真的概率。而D(G(z))是判别器网络判断生成器生成的图片为真的概率。

生成器网络应该使生成的图片尽可能得接近真实图片。换言之，就要让D(G(z))尽可能得大，这时V(D, G)会变小。该模型也是由一个生成器和一个判别器组成，如图1所示，生成器接收一个来自类C的图片Xi，然后图片通过生成器的编码器，得到图片的低维特征向量Ri。另一个输入是符合高斯分布的噪声，噪声通过线性处理后，与图片的特征向量拼接，一同输入到解码器中，由解码器生成一张图片Xg。

图1 DAGAN网络结构

2.2 生成器模型

2.2.1 U-Net3+

UNet 3+将编码器中小尺度、同尺度的特征图以及来自解码器的大尺度的特征图融合到每一个解码器层，这些特征图包含了全尺度下的细粒度语义与粗粒度语义。本文基于UNet 3+生成网络，提出了一种新的生成器结构。该网络将全尺度的跳跃连接来自不同尺度特征图中的高级语义与低级语义相结合；而深度监督则从多尺度聚合的特征图中学习层次表示。UNet 3+不仅提高了精度，还减少了网络参数，提高了计算效率。

2.2.2 残差块

DAGAN中使用的残差网络结构容易导致梯度混淆和信息损失，因此本文使用一种新的瓶颈模块SandGlass。首先在逆残差块中降维，然后再进行升维，在更高维特征之间构建短连接。它在更高维度进行恒等映射与空间变换，确保了深度卷积在高维空间处理并获得更丰富的特征表达。实验证明该设计模式比已有的残差块更有效，而且不会导致额外的参数量与计算量的提升。

2.3 判别器模型

数据扩充模型可以在源域中使用对抗神经网络来学习。一个数据来自于数据域D={x1，x2，...，xN}和相应的目标域{t1，t2，...，tN}。本文使用了一个改进的WGAN[8]判别器，它要从同一个类中取出两组数据。

从数据域D中取出两个数据，第一个输入数据点xi和第二个数据点xj，表示从相同类别的数据中选取两个不同的真实样本数据。另一个输入数据点表示输入某样本类别的真实数据和该样本种类的生成数据。

3 实验分析及评价

3.1 视觉效果实验

为了验证本文算法的有效性，在公开数据集VGG-Faces进行了测试。对数据集中2396个类打乱顺序，将将前1802用作训练集，1803-2300用测试集，2300-2396用作评价集，实验结果如图2所示。

图2 VGG-Face实验结果

从图2可以看出，本文所提算法DAGan3+得到的人脸视觉效果优于其他两种算法。

3.2 数据增强效果实验

为了验证该算法的增强效果，利用增强后的数据集训练测试网络，用平均分类的正确率评价数据增强算法的性能。先在真实数据上训练判别器，每类有5、10或15个样本。结果为5次独立运行的平均值。表1是实验测试结果。

表1 网络测试结果准确率对比

从表1可以看出，本文所提算法在准确率上较其他算法那更高，也证明了所提算法的增强效果最优。

4 结论

针对小样本生成问题，本文将多尺度融合的U-Net3+和生成对抗神经网络相结合，提出了一种新的小样本生成网络。在公开数据集上进行了生成和数据增强对比实验。结果表明本文所给模型能够生成更加多样、真实的图像，其数据增强效果更好。