基于残差网络的图像超分辨率算法改进研究

麻旋 戴曙光

摘 要：图像超分辨率重建算法的主要内容是使用低分辨率的图像信息生成高分辨率图像。近年来，随着深度学习和卷积神经网络的发展，出现了很多基于卷积神经网络与残差网络的超分辨率算法。为了解决这些算法参数数量过多、处理过程复杂、训练时间长等问题，结合现有残差网络模型和深度学习算法对其进行改进，包括调整网络结构，减少需要学习的参数，以及去除批归一化层，降低计算复杂度。改进后的网络模型能够取得更好的效果，生成图像的主观和客观评价有一定提高。

关键词：图像超分辨率；残差网络；深度学习；卷积神经网络

DOI：10.11907/rjdk.172519

中图分类号：TP312

文献标识码：A 文章编号：1672-7800（2018）004-0091-03

Abstract：The main content of the image super-resolution reconstruction algorithm is to use low-resolution image information to generate high-resolution images. In recent years， with the development of deep learning and convolution neural network， there are many super-resolution algorithms based on convolution neural networks and residual networks appear. In order to solve the problem of excessive number of parameters， complex processing process and long training time in these algorithms， this article proposed an improved algorithm that combined with the existing residual network model and the deep-learning algorithm. The key improvements are adjusting the network structure， reducing the need to learn the parameters， removig the Batch-Normalization layer and reducing the computational complexity. The improved network model can achieve better results， and the subjective and objective evaluation of the generated images are improved.

Key Words：image super-resolution； residual network； deep learning； convolutional neural network

0 引言

图像超分辨率重建技术（SR）是一种使用一幅或多幅低分辨率（LR）图片生成高分辨率（HR）图像的技术，使用该技术可以使低分辨率图像在放大时能够取得比常用的双三次插值更好的效果。其中，使用单幅图像进行超分辨率重建（SISR）方法是研究的重点[1]。目前超分辨率技术实现方法主要有基于插值[3]、基于重构[2]和基于学习[4]3种方法。基于学习的方法又分为自学习和样本学习方法，自学习使用输入低分辨率图像的内部结构相似性重建高分辨率图像，样本学习是通过对外部的大量图像进行学习，找出LR块和HR块的对应关系，然后将这种对应关系应用到重建中，实现超分辨率重建。

在使用外部样本的超分辨率算法中，Yang等[12]首先在大量训练图像中找出LR/HR对，然后利用稀疏表达，得到一对共享参数且误差最小的字典，在重建中利用训练得到的字典将LR图像进行非线性变换得到HR信息，然后与LR的双三次插值相加，得到HR图像。近年来，随着深度学习和人工神经网络的发展，Dong等[6]提出使用卷积神经网络进行LR/HR变换与训练的SRCNN算法，SRCNN算法是使用三层卷积神经网络进行超分辨率重建的算法。因为网络结构过深会造成训练速度变慢，而且由于过拟合的影响，图像质量提升不明显，所以只采用了三层网络。

本文将卷积神经网络用于图像超分辨率重建方法的优化。受文献[5]的启发，借鉴深度残差网络模型修改残差网络结构，减少不必要的处理。实验结果表明，改进后的算法超分辨率重建效果更好。

1 残差网络设计与改进

1.1 残差网络介绍

残差网络与普通卷积神经网络相比，主要是在输入与输出之间增加了一条通路，从而使网络只需学习LR与HR的残差，残差网络由此得名。如果画出整个网络输入到输出的通路，会发现殘差网络相当于多个不同深度的网络总和，而其中深度网络所占比例较小，所以能在一定程度上解决深度卷积网络的梯度消失和过拟合问题。

基于残差网络的超分辨率重建模型SRResNet[5]结构如图1所示，LR图像先经过输入的卷积层，进入一个残差网络单元，每个单元内有两个卷积层，在层间使用批归一化和ReLu激活函数，经过多个残差单元后进入Dconv层，得到最终的SR图像。

1.2 残差网络改进

1.2.1 残差单元结构优化

在SRResNet中，每个卷积层后都有一个批归一化（Batch Normalization）[7]处理步骤。批归一化处理是指使用每个训练批次数据的均值和方差对卷积后的数据进行白化处理，然后加入平移和缩放参数，以增加网络容纳能力。使用批归一化处理后的数据能够使下一层神经网络更好地学习，一定程度避免了梯度弥散现象，在深度网络中应用较多。

批歸一化在基于卷积神经网络的应用上很成功，效果改善明显，但在超分辨率应用中使用批归一化效果很差[8]。这是因为批归一化处理在一定程度上破坏了图像空间信息，使后面网络需要学习的参数更多，导致最终结果更差，抵消了深度网络带来的增益，所以在改进网络的设计中，将BN层去除。由于去除BN层会导致深度网络出现梯度弥散现象，所以在深度支路上的残差网络中加入池化层，从而减少参数，使网络训练更有效率。

图2中，图2（a）是原SRResNet残差单元，图2（b）为去除BN层后的网络单元，图2（c）为增加的池化层残差单元。

1.2.2 网络结构优化

图3左侧是一个典型的残差网络，f1、f2、f3分别是3个不同的残差块，离输入端的距离由近到远。右侧是其等效图，可以看出在整个网络中，层数较深网络的支路不多，大部分是中等层数的网络，而越靠近输出端的网络，在深度网络中权重越大。由此可得，通过调节f1、f2、f3残差网络单元内卷积神经网络的层数分配，即可调节整个网络模型中深度网络的权重。

在SRResNet中，每个残差网络单元内的卷积层数量，在改进后的网络中，网络前部使用包含较多层的残差网络单元，越靠后使用的残差网络单元层数越少。该设计可以在使用相同数量参数的情况下使整个网络包含的深度网络支路更多，从而提高生成图像的质量。

图4为改进后的网络结构图，残差单元中的卷积神经网络层数按离输入端远近分别为3层、2层、1层。根据之前的说明，可知调整后网络的深度支路增加，从而使优化后的网络能够更有效率地工作。同时，为了避免深度网络中的梯度弥散和过拟合现象，在网络层数较深的支路，也即在靠近输出端的残差网络单元中加入池化层。

2 实验过程与结果分析

实验所用的计算机配置为 i7-4700 CPU， GTX880m GPU，16G RAM，操作系统为Ubuntu 16.04，软件有TensorFlow、CDUA 8.0、OPENCV3.0等。

为了验证本文算法的重建效果，实验使用超分辨率重建常用的测试数据集Set5[10]、Set14[11]。为保证实验的有效性，训练数据集使用DIV2K数据集[9]。DIV2K数据集是新提出的一种为图像重建使用的数据集，包含1 000张涵盖各种类型2K分辨率的自然图像，非常适合本文的算法验证。

2.1 训练过程

首先对数据集里的高清图像进行随机截取，即在图像内随机取若干个分辨率为384×384的图像作为HR图像y，然后对y进行4倍下采样得到96×96的LR图像x，网络模型通过学习x到y的映射得到其神经网络内的权值参数。训练中使用Adam优化算法使网络能更快收敛，学习速率为0.000 1，迭代数目（epoch）为1 000。

在神经网络训练过程中，反向传播是一个重要步骤，该步骤需要使用损失函数对网络效果进行评判，从而调整神经网络中的权值。算法使用网络均方误差MSE作为损失函数。公式（1）中L（θ）是网络的损失函数，Yi是LR图像，F（Yi；θ）是经过网络后生成的SR图像，Xi是原始HR图像。

2.2 结果分析

实验结果使用峰值信噪比（PSNR）进行评价，公式（2）为其表达式。由于卷积网络的特性，经过网络的图像会将边缘去除一部分，在评价中，将原始HR图像也剪除一部分，以方便计算PSNR。

实验中使用的对比算法为：双三次插值（Bicubic） 、SRCNN[]、SRResNet[]。为保证实验的公平性，3种对比算法使用相同的训练数据集和测试数据集，在同一实验平台上进行计算。

表1为各测试数据集在不同算法下的平均PSNR，从表中可以看出，本算法相对于其它算法，PSNR有一定提高。

图5中从左到右分别为原始HR图片、Bicubic、SRCNN、SRResNet和本文提出算法处理后的图片。从图中可以看出，Bicubic的效果最差，质量明显低于其它算法，本文提出算法处理后的图片比较清晰，在一些图片上的处理效果超过了其它对比算法。

3 结语

通过分析残差网络和卷积神经网络，对基于残差网络的图像超分辨率重建算法提出几项改进，对改进后的算法进行了一系列实验和测试工作，并和广泛应用的双三次插值Bicubic算法、典型的基于卷积神经网络的SRCNN算法，以及改进之前的算法SRResNet进行了对比。从生成SR图像的PSNR对比可以看出，改进算法的重建效果更好，整体看起来更清晰。与SRResNet 算法相比，改进后的算法需要学习的参数更少，而且在训练时间较少的情况下能达到更优的结果。然而，在相同训练下，改进后算法重建图像所需的时间多于SRCNN，离实时处理图像序列还有较大差距。因此，减少处理时间是下一步需要研究的方向。

参考文献：

[1] 李欣，崔子冠，朱秀昌.超分辨率重建算法综述[J].电视技术，2016，40（9）：1-9.

[2] 周靖鸿，周璀，朱建军，等.基于非下采样轮廓波变换遥感影像超分辨重建方法[J].光学学报，2015（1）：98-106.

[3] BTZ M， EICHENSEER A， SEILER J， et al. Hybrid super-resolution combining example-based single-image and interpolation-based multi-image reconstruction approaches[C].IEEE International Conference on Image Processing，2015：58-62.

[4] LIAN Q S， WEI Z. Image super-resolution algorithms based on sparse representation of classified image patches[J]. Acta Electronica Sinica，2012，40（5）：920-925.

[5] LEDIG C， THEIS L， HUSZR F， et al. Photo-realistic single image super-resolution using a generative adversarial network[J].Computer Vision and Pattern Recognition，2016：4681-4690.

[6] DONG C， CHEN C L， HE K， et al. Learning a deep convolutional network for image super-resolution[M]. Computer Vision-ECCV 2014. Springer International Publishing，2014：184-199.

[7] IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift[J]. Computer Science，2015：448-456.

[8] YANG Z， ZHANG K， LIANG Y， et al. Single image super-resolution with a parameter economic residual-like convolutional neural network[C].International Conference on Multimedia Modeling. Springer， Cham，2017：353-364.

[9] TIMOFTE R， AGUSTSSON E， GOOL L V， et al. Ntire 2017 challenge on single image super-resolution： methods and results[C]. In CVPR 2017 Workshops，2017.

[10] BEVILACQUA M， ROUMY A， GUILLEMOT C， et al. Low-complexity single image super-resolution based on nonnegative neighbor embedding[J]. Bmvc，2012：135.

[11] ZEYDE R， ELAD M， PROTTER M. On single image scale-up using sparse-representations[C].International Conference on Curves and Surfaces，Springer-Verlag，2010：711-730.

[12] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution as sparse representation of raw image patches[C].Computer Vision and Pattern Recognition. IEEE Conference on，2008：1-8.

（責任编辑：黄 健）