注意力和生成对抗网络融合的图像超分辨率重建

张桐，王华军，文良华，李庆，陈劲松

（1.宜宾学院 智能制造学部，四川宜宾 644000；2.成都理工大学 地球物理学院，四川成都 610059）

图像分辨率是评价图像质量的重要指标，要提高图像分辨率，物理方法是提高单位面积内感光靶片的容量，增加单位面积内像素的数量，但是会造成光学成像设备的成本大幅增加，从而限制了应用领域[1,2]．超分辨率技术采用软件算法使低分辨率图像获得高分辨率，是计算机视觉的热点研究方向，在遥感、医学和灾害应急管理等领域得到广泛应用．

超分辨率技术分为三种类型，分别是基于插值[3-4]、基于重建[5-9]和基于学习[10-15]．基于插值和基于重建的算法数学模型单一，造成重建图像质量不高．基于学习的算法通过对样本数据集的学习，建立高分辨率和低分辨率图像对之间的端到端映射关系，然后对输入的低分辨率图像进行重构．由于深度学习技术的迅速发展，基于学习的算法已成为超分辨率技术的研究重点．

生成对抗网络是深度学习技术的重要分支．DONG[16]首次将深度学习的方法应用于图像超分辨率，提出了一种基于卷积神经网络的SRCNN 模型，主要分为图像特征表示、特征非线性映射和图像重建三个模块；但将图像划分成小区域图像块进行训练，导致收敛速度太慢．Goodfellow[17]提出了一种生成对抗网络，该网络结构主要由一个生成器和一个判别器构成，低分辨率图像输入生成器生成高分辨率图像，判别器判断生成器生成的图像是真实图像还是假图像；但是生成对抗网络存在生成器损失函数不收敛和图像纹理模糊的问题．LIM[18]通过实验证明，在网络结构中加入批量规范化层，使输入数据近似服从标准正态分布，虽然可以改善训练不稳定，但是并未提高输出图像的纹理细节．

为了解决上述问题，本文提出一种融合注意力机制和残差模块的生成对抗网络．首先采用像素损失函数作为基本的超分辨率模型，依次加入纹理损失、感知损失和对抗损失．其次，生成器用残差模块实现密集连接和跳跃连接，连接每一个卷积层的输入与该层尾部的激活输出；将输入的图像特征通过卷积后，进入注意力模块进行加权，并对生成器图像特征提取的多级关系进行权重分配．最后，通过上采样模块重构高分辨率图像．

1 生成对抗网络

1.1 超分辨率模型

超分辨率重建是指采用软件算法将低分辨率图像转换成高分辨率图像的过程．在分析过程中，对原始图像进行降质和加噪声处理，得到低分辨率图像．低分辨率图像和原始图像之间的关系表示为：

其中，Input表示低分辨率图像，H表示高分辨率图像，Fk表示退化矩阵，Nk表示高斯噪声．

1.2 生成对抗网络

生成对抗网络是深度学习中重要的网络模型结构，它采用对抗学习的方法，使生成器和判别器达到纳什均衡．生成对抗网络主要包含生成器和判别器两部分，生成器的作用是将低分辨率图像转换成高分辨率图像，判别器的作用是比较真实图像和生成器生成的假图像，判断生成图像的真假．

生成对抗网络的对抗过程本质是一个优化过程．首先，保持生成器的目标函数不变，优化判别器，使得判别器的判别准确率提高，真样本的预测值接近1．相反，当对生成器进行优化时，保持判别器的目标函数不变，使得生成器的判别准确率最小，假样本的预测更接近于0．将两种优化模型相结合，构成二元极小极大的目标函数．生成对抗网络的结构表示如下：

其中Pdata(x)表示真实图像的概率分布，Pz(z)表示由发生器生成的图像分布，LG是发生器，LD是鉴别器．

2 网络设计与原理

2.1 网络设计与优化

生成器输入一幅低分辨率图像，通过卷积提取浅层特征，为了扩大网络的接受域，在残差模块之后，引入注意力模块，然后通过8 组残差模块进行密集连接提取深层特征，每个残差模块包含3×3 卷积和Leaky ReLU 激活函数．从低分辨率图像中提取特征后，通过残差模块获取丰富的图像细节，利用上采样模块放大到原图像尺寸，最后通过卷积层完成对图像重构．图1 为含有注意力和残差模块的生成器网络结构．

在残差模块结构单元中，BN 层归一化可以保证梯度下降，但增大了计算量，导致降低了收敛速度，延长了提取图像信息的训练时间．去除BN 层不但提高了图像重建的速度，而且增强了图像重建的效果．残差模块具体内部结构由卷积和Leak ReLU 激活函数构成一组，共有三组进行串联构成残差模块（如图1）．

卷积网络在处理图像信息时，往往通过深层建立网络中各层图像之间的连接．然而，深度卷积网络不可避免地会产生更多的参数，导致计算效率低下．通过添加注意力模块可以建立单独的空间关系．输入图像通过两个1×1的卷积映射到两个新的特征空间，分别经过MaxPool 和AvgPool 模块（如图1）．然后将两个模块输出进行融合，再通过1×1 的卷积，进行非线性划分两个卷积，再次分别经过MaxPool 和AvgPool 模块．由sigmoid 激活函数得到权系数，通过改变维数来恢复输入通道的数目．注意模块的输出表示为：

其中，x表示输入图像，α表示矩阵变形输出，μ表示尺度参数，y表示注意模块输出．

判别器由图像特征提取和分类模块组成．特征提取模块由8 个卷积层组成，每个卷积层后面是Leaky ReLU 激活函数和BN层．特征提取模块之后是分类模块，采用两个全连接的层，然后是一个sigmoid 激活函数．判别器的训练有利于生成对抗网络中高分辨率图像的生成．

2.2 损失函数

在生成对抗网络中，生成器损失函数的设计对高分辨率图像的生成起到至关重要的作用．生成器损失函数包括内容损失、感知损失、纹理损失和对抗性损失．内容丢失主要用于优化生成的高分辨率图像和真实图像像素之间的平方方差．像素插值越小，重建图像越逼真．感知损失从预先训练好的网络中提取高级特征进行语义比较，捕获两幅图像之间的相似特征，避免了对图像像素一致性的要求．纹理损失函数促进了纹理信息的局部匹配，减少了图像的伪影，生成了更逼真的纹理．对抗性损失主要用于判断生成器获得高分辨率图像的概率．生成器损耗函数表达式如下：

其中，α、β、γ是损失函数的平衡系数；Lcon表示内容损失函数，Ltext表示纹理损失函数，Lpec表示感知损失函数，Ladv表示对抗性损失函数．

3 实验和结果分析

3.1 数据集

在模型训练时，使用Div2K[19]数据集作为训练集，包括800 幅高清图像，并通过旋转和剪切对训练集进行扩展．测试集采用公共数据集SET5[20]、SET14[21]和BSDS500[22]进行测试．本文采用客观量化的图像超分辨率方法，对重建图像与原始图像的峰值信噪比（PSNR）和结构相似性（SSIM）进行了描述．PSNR 值越高，代表超分重建的图像失真度越小．当SSIM 越接近1 时，说明超分重建图像与原始图像的相似度越高．

3.2 不同算法比较

比较不同模型对低分辨率图像进行超分辨率重建．训练批为64 个，将高、低分辨率图像划分成像素为32×32 的图像对．像素参数和块的批量越大，模型训练效果越好．培训分两步进行．在第一步中，使用像素损失训练模型对生成器进行训练，并将学习速率设置为1×10-4，每5 000 次迭代衰减一次．对生成器模型进行微调，通过像素损失对模型进行优化，以获得满意的结果．优化器采用Adam 优化器．在生成器训练完成后，加入判别器，交替训练生成器和判别器，直至模型收敛．然后，添加残差模块和注意力模块．与其他网络相比，本文算法在峰值信噪比和相似度上获得了最优效果（见表1，其中最佳量化值以粗体显示）．图2 显示了不同网络模型在放大4 倍时，生成的高分辨率图像．其他网络方法生成的图像边缘比较模糊，本文生成的图像细节更清晰，特别是边缘的纹理效果更好．

表1 不同网络模型的定量分析结果Table 1 Quantitative results of different network models in Set5, Set14, and BSDS500

图2 双三次、SRCNN、VDSR、SRGAN和本文重建图像的比较Fig.2 Comparison of bicubic, SRCNN, VDSR, SRGAN and Ours reconstruction results

3.3 不同迭代次数的比较

实验在不同迭代次数下进行，模型经过70 000次迭代的训练，用以观察图3 的纹理细节．经过40 000 次迭代，图像的细节已经由模糊变清晰．随着程序的迭代次数增大，图像细节变化幅度趋于平稳．

图3 不同迭代次数的重建结果比较Fig.3 Comparison of different iterations and, Ours reconstruction results

3.4 注意力模块实验

注意力模块实验主要通过消融实验来验证有无注意力模块的网络性能．本实验的训练集是Div2K数据集，测试集是Set5 数据集．超分辨率比例因子为4，每个模型经过70 000 次迭代的训练，记录最高的PSNR 值，得到表2 的结果．从表2 中可以看出，注意力模块的加入可以有效地提高网络模型的PSNR 和SSIM 值，分别提高0.45db 和0.02．可见，注意力模块可以提高分辨率图像的生成准确率．

表2 注意力模块消融实验Table 2 Results of ablation experiments to verify the network performance with or without the attention module

4 结语

本文提出在生成对抗网络的基础上，加入注意力模块和残差模块，构成一种注意力和生成对抗网络相结合的新型网络，经过与双三次、SRCNN、VDSR 和SRGAN 主流算法对比，不仅提高了模型训练的稳定性，而且减少了网络参数的个数，提高了计算效率，从而进一步提高了图像的纹理细节．