基于深度卷积生成对抗网络模型的超分辨数据重建

宋俊芳

摘要：深度卷積生成对抗网络的超分辨任务包括生成网络和判别网络建模过程。实现分为寻找到低分辨图与高分辨图之间的关系模型和利用量化后的关系将低分辨图像通过恢复生动纹理和颗粒细节达到高分辨图两步。方法重建的图像可为高精度的目标检测提供保障。

关键词：深度卷积；生成对抗网络；超分辨重建；低分辨图像；高分辨图像

中图分类号：TP391.41 文献标识码：A 文章编号：1007-9416（2018）06-0075-01

1 深度学习超分辨重建

超分辨任务是指将同一场景的低分辨图变为高分辨图的过程，任务的难点是要对知高分辨图退化为低分辨图的机理，作出合理的假设（如低分辨率图完全拥有用于推理预测其所对应的高分辨率的部分信息），来逆向（低分辨到高分辨）建模倒逼，寻找这种内蕴性的表达。目前比较流行的就是采用深度学习的思路训练这样的网络模型，较为经典的如基于深度卷积生成式对抗网络的超分辨任务。它包括两个部分，生成网络（可用各种深度神经网络，如卷积神经网络、深度置信网络等）与判别网络（带有二分类器的各种深度神经网络）；其中生成网络用于将低分辨图变为高分辨图，也称伪高分辨图；判别网络用于区分真实的高分辨图和伪高分辨图，进而实现指导生成网络的过程；需要注意的是伪高分辨图与真实高分辨图的尺寸是—致的。优化时，需要满足判别网络尽可能以最大的概率判别真伪，同时又需要生成网络得到的伪高分辨图尽可能与真实的高分辨图分布特性一致，即判别网络以最小的概率将生成的伪高分辨图判断为真实的高分辨图。当生成式对抗网络训练完成后，取出生成网络部分怦可实现低分辨图到高分辨图的恢复；其中的求解仍采用交替迭代，即固定判别网络时，优化生成网络的参数；同理，固定生成网路时，优化判别网络的参数。

2 深度卷积对抗式生成网络建模

生成式对抗网络是一个整体架构，其中的生成模型和判别模型可以采用各种深度神经网络，唯一不一样的是它包含两个网络。而深度卷积对抗生成网络模型是将生成模型与判别模型都采用传统卷起神经网络的架构来实现。下面分别对生成模型和判别模型如何用卷积神经网络实现数据的输入-输出作出描述。

2.1 生成模型构建

假设模型的输入噪声z服从均匀分布下的采样即：R100～ ，如何利用卷积神经网络得到稳定的输出（即得到生成图像，其尺度与自然图像的尺寸一致），可以将传统卷积神经网络替换为转置卷积神经网络，其池化操作被转置或者微步卷积层替代，它可以被看作是传统卷积操作的一种逆向传递过程。

2.2 判别模型构建

判别模型的输入是自然数据和生成模型的输出数据，输出是所对应的类标1和0；这一部分仍采用传统的经典卷积神经网络模型实现，如LetNet5，VGGNet等。改进之处是将所有的池化层被卷积操作代替，并且真伪分类器除了它一层外，所有的隐层使用的非线性函数修正为线性单元的改进版Leaky ReLU。而判别模型中的卷积流、卷积、非线性和批量归一化保持不变。

3 任务实现

超分辨任务包括两部分：（1）寻找到低分辨图与高分辨图之间的关系模型；（2）利用量化后的关系将低分辨图像通过恢复生动纹理和颗粒细节等以达到高分辨图的效果。具体过程如图1所示，输入为低分辨图，输出为重建的相对高分辨图，当整个网络收敛时，取出图中左下脚的虚线部分，并将对应的生成图像作为最后恢复的高分辨图像。

详细算法步骤如下：

输入：采集图像，人工获取的高分辨率图像训练样本。

输出：和高分辨率图像同样尺寸的生成图像。

（1）初始化深度卷积网络参数：，通过深度卷积网络获取得到对应的特征图；初始化深度对抗网络参数：初始化目标函数参数：。（2）对判别模型参数和生成模型参数进行交替迭代优化。（3）取出生成网络部分即只关注生成模型，输入低分辨图，通过深度卷积网络预测其输出。

4 结语

将深度卷积生成对抗式网络模型用于图像的超分辨重建，在生成网络和判别网络中都引入深度转置卷积神经网络，所有的池化层被卷积操作代替，并且真伪分类器除了它一层外，所有隐层使用的非线性函数修正为线性单元的改进版Leaky ReLU。结果使得用该方法重建图像，不仅清晰度变好，且边缘信息得到了很好的保留，可为高精度的目标检测与分类识别提供保障。

参考文献

[1]张喜升.对抗样本和生成对抗网络——深度学习中的对抗方法综述[D].南开大学，2016.

[2]虢齐.基于深度学习的图像生成技术研究与应用[D].电子科技大学，2017.

[3]朱纯，王翰林，魏天远，等.基于深度卷积生成对抗网络的语音生成技术[J].仪表技术，2018，（2）：13-15+20.

[4]滕达，宋晓，龚光红，等.深度神经网络图像识别鲁棒性增强方法研究[C].中国体视学与图像分析学术会议.2015.

Abstract：The super-resolution task of deep convolution generation against network includes generation network and discriminative network modeling process. The realization is divided into finding the relationship model between the low-resolution map and the high-resolution map and using the quantified relationship to achieve the high-resolution map by recovering the low-resolution image through vivid texture and particle details. The reconstructed image can provide high-precision target detection.

Key words：deep convolution； generation of confrontation network； super-resolution reconstruction； low-resolution image； high-resolution image