生成对抗网络GAN的研究

吴晨薇

摘  要：近年来，深度学习作为--种生成方式方法能够有效地解决建立自然性解释数据的生成难题，尤其是对于生成高维数据，GAN所采用的神经网络结构不限生成维度，极大的扩展了生成数据样本的范围。除此之外，GAN在自然语言处理领域也具备有效的能力，比如生成对话，由文本生成图像等。这种潜在分别生成无限样本的能力，在AI对图像和视觉计算、语音和语言处理、互联与大型系统信息安全等领域具有重大的应用价值，结合互联网的海量数据以及高效的计算能力，深度学习获得了极大的重视与发展。

关键词：生成对抗网络;神经网络;交叉熵;损失函数

一、GAN的简介

1.1GAN 的起源和背景

首个神经网络模型在1960年前后就被提出，期间经过众多学者的不断努力，神经网络也不断被优化，但由于缺乏大量的数据以及计算机的计算能力限制，神经网络算法--直没有发挥出其应有的潜力。直至2006年深度学习及其理论的提出，结合互联网的海量数据以及高效的计算能力，深度学习获得了极大的重视与发展。

2  GAN的研究意义

计算实验的分析，对平行控制中的人工系统和实际系统平行执行的过程通过建模的方式进行分析和评估，最后以平行方式来执行对复杂系统的控制的实现。这在--方面可以进行人工系统的预测学习和实际系统的反馈学习，在另一方面也可以进行控制单元的模拟学习和强化学习。其次，GAN还能够用于解决标注数据不足的训练学习问题，常见的就是无监督学习。再者，GAN也可以在自然语言处理领域大显身手，比如生成对话，有文本生成图像等。这种生成无限样本的能力，在图像和视觉计算、语音和语言处理、互联与大型系统信息安全等领域都具有重大的研究应用价值，这也是目前发展GAN对研究人工智能的主要意义

3、深度学习研究现状

近几年来，机器学习中的深度学习迅速成为了人工智能领域的焦点，无论是研究还是应用方面都得到了极大的发展，相关的理论成果和技术应用不断突破，并在以下链接中有相关描述。Neural Information Processing Systems（NIPS）、International Conference on ComputerVision（ICCV）、International Conference on Machine Learning（ICML）、TheAssociation for the Advancement of Arificial IntelligenceAAAI）International Joint Conference on Artificial Intelligence（IJCAI）

等机器学习领域的国际学术会议也提高了對深度学习的关注程度。于此同时，深度学习的思想在学术界和企业也得到了极大地关注。2006 年Hinton在《科学》杂志.上提出了深度网络和深度学习的理论后，深度学习的研究就开始不断升温，加拿大、美国、欧洲等地相继建立了深度学习的科研要地。

4、GAN的优点

生成对抗网络有无限的生成能力，希望这种生成能力可以按照需求有目的的进行。因此构建了根据语言描述生成图像的模型。GAN的生成能力不仅仅体现在从无到有，还体现在由小到大。基于GAN与残差网络的高分辨率图像生成方法，就是以小图像为输入，经过残差网络的多次特征提取，经转置卷积操作扩大生成高清晰大图像。并以生成器与判别器的对抗以及生成图像与真实图像的比较，训练提高生成的高清图像的质量和保证原图像信息的重现。

3、GAN的原理

现在以生成图像为例，假设我们有两个网络，G（Generator）和D（Discriminator）。正如它的名字所暗示的那样，它们的功能分别是：

G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G（z）。

D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D（x）代表x为真实图片的概率，如果为1，就代表100%是真实的图片，而输出为0，就代表不可能是真实的图片。

如何用随机梯度下降法训练D和G？论文中也给出了算法.

二、GAN的分类。

1、GAN的分类

2.1 StyleGAN StyleGAN[3]提供了一个升级版本的 ProGAN 图像生成器，重点关注生成器网络。更多不一样的随机 的图片这些方面研究尚浅，StyleGAN 不仅可以生成高质量的和逼真的图像，而且还可以对生成的图像进行较好的控 制和理解，甚至使生成可信度较高的假图像变得比以前更加的容易。

2.2  可视化和理解生成式对抗网络

可视化和理解生成式对抗网络[5]为理解生成式对抗网络的内部机制提供系统分析的一项工作，用于在单元，对象和场景级别可视化和理解 GAN。帮助研究人员和从业者更好地了解模型。

2.3  其他较早的 GAN 衍生模型

为了解决GAN模型生成网络的高斯白噪声输入没有限制导致模型训练崩塌，一个改进方法是给GAN 设置约束，加入额外的信息 y 到 G、D 和真实数据来建 模。DCGAN[7]是 GAN 模型发展中的一个里程碑，将有监督学习中的 CNN 和无监督学习 中的 GAN 结合到了一起，确定了一套训练稳固的结构，便于工程实现。CycleGAN 提出循环 GAN，实现自我约束，通过对原域图像两步变换返回原域，提 高生成图像的质量。InfoGAN[8]，原始 GAN 模型输出为 G（z），没有利用生成网络输入自由度 noise z。InfoGAN 做出了改进，将输出改为 G（z，c）。WGAN[9] 和 LS-GAN 没有改变 GAN 模型的结构，在优化方法上进行了改进。

在图像和视觉计算、语音和语言处理、信息安全、棋类比赛等领域，GAN 正在被广 泛研究，具有巨大的应用前景[10]。其突出的生成能力不仅可用于生成各类图像和自然语言 数据，还启发和推动了各类半监督学习和无监督学习任务的发展[11]。当然，现阶段的 GAN 在实现生成诸如智能汽车模拟道路，生成具有更多细节的图片，更多不一样的随机 的图片这些方面研究尚浅，GAN 的实际应用目前并未有很大的成效，GAN 正在不断地快 速发展，实用性会越来越高的。

三、交叉熵

1、交叉熵的定义式：

交叉熵的损失函数在GAN的运用中扮演着重要的角色

交叉熵是一个信息论中的概念，它原来是用来估算平均编码长度的。给定两个概率分布p和q，通过q来表示p的交叉熵.

那么，在神经网络中怎样把前向传播得到的结果也变成概率分布呢？Softmax回归就是一个非常有用的方法。

假设原始的神经网络的输出为，那么经过Softmax回归处理之后的输出为：

这样就把神经网络的输出也变成了一个概率分布，从而可以通过交叉熵来计算预测的概率分布和真实答案的概率分布之间的距离了。

2、损失函数

在逻辑回归问题中，常常使用MSE（Mean Squared Error）作为loss函数，此时这里的就表示期望输出，表示原始的实际输出（就是还没有加softmax）。这里的m表示有m个样本，loss为m个样本的loss均值。

四、结论

本文根据生成对抗网络的简介，原理，再过渡到分类讲到了各种GAN的模型以及优缺点，同时也通过对神经网络的简述讲到了交叉熵的定义，如何使用交叉熵以及为什么使用交叉熵。本文篇幅较短，仅从表面讲述了生成对抗网络的原理及所需的个别方法。

参考文献

[1]  https：//blog.csdn.net/weixin_375674

[2]  51/article/details/80895309