图像超分辨率重建算法综述

孙菁阳，陈凤东，韩越越，吴煜雯，甘 雨，刘国栋

哈尔滨工业大学 仪器科学与工程学院，哈尔滨150001

随着工业技术不断发展，人们对图像分辨率要求不断提高，但很多领域图像分辨率不能满足需求，例如很多监控成像系统不具备光学变焦能力，不能提供关键目标的高分辨图像。在医学图像领域，图像分辨率受限于X光机、核磁共振扫描仪等设备分辨能力。在遥感领域，期望通过图像超分辨重建提升遥感精度，因此近年来图像超分辨率重建技术成为研究热点。

真实世界（Ground True，GT）是连续的，数字图像是真实世界的二维表示，是真实世界在传感器中以一定空间频率被离散采样和量化的二维像素矩阵。

真实世界的低频采样图像（Low Resolution，LR）通常被认为是真实世界高频采样（High Resolution，HR）图像的某种退化，即：

其中，Ix代表低分辨率图像（LR），D代表退化函数，Iy代表相应的高分辨率图像（HR），δ代表退化过程的参数。

一般退化函数D包含降采样、模糊和噪声等过程，即：

其中，↓s为比例因子为S的降采样，Iy⊗κ代表模糊核κ与HR图像之间的卷积操作，nς为可加的带标准差ς的噪声。

因此，图像超分辨率重建（SR）问题含义如下所示：

输入LR图像Ix，重建相应的HR图像

其中，F为重建模型，θ为重建模型的参数。

通常用损失函数进行重建模型的逼近：

其中，λΦ(θ)是正则化项。损失函数的计算需要重建的HR图像Iy和真值图像（GT），常采用Iy代表GT图像。常见的损失函数包括逐像素差的均方误差及多种损失函数的组合。

图像SR算法需要解决增加分辨率（上采样）的同时不引起模糊和噪声增加问题。图像SR算法可分为插值法、重构法及学习法三类。

近年来涌现出大量SR算法，本文先简要阐述典型算法思想，然后从上采样位置和上采样方法、学习策略、损失函数等维度，对典型和最新的基于深度学习的图像超分辨率重建算法进行评述，分析了最新的发展现状，并对未来发展趋势进行展望。

1 图像超分辨率重建算法思想

通过插值实现上采样是很自然的想法。为解决上采样引起模糊和噪声增加问题，插值法的思想是通过图像某点周围若干已知点及位置关系，利用插值公式算出插值点的值实现增加分辨率，并控制不引起模糊和噪声增加。典型算法包括双三次插值法、边缘导向的插值[1-2]及梯度引导的插值等。

双三次插值法：将要插值的点周围的16个像素的灰度值用于插值，不仅考虑了4个直接相邻点的灰度值，而且还考虑了每个相邻点之间的灰度值变化率的影响。

边缘导向的插值：通过计算输入LR图像的协方差及局部协方差系数，根据HR和LR图像间几何对偶性进行边缘区域插值[3-4]，或定向滤波[5]和数据拟合的边缘导向内插，将丢失的高分辨率像素插值到不同方向，然后使用最小均方误差准则拟合最终插值像素。

梯度引导的插值：利用梯度算子计算LR图像梯度[6]，通过双三次插值得到HR图像梯度，并考虑梯度分布与像素分布空间相关性，局部调整梯度分布，最后采取插值策略求解HR图像强度值。

插值法不能有效解决模糊和噪声增加问题，常作为其他算法的上采样子步骤。

重构法的思想是基于多帧图像，结合先验知识，建立LR图像和HR图像之间观测模型，并引入图像局部或全局先验模型，建立数据保真项和图像先验正则化的优化模型。典型算法包括：迭代反向投影法[7]、凸集投影法[8-9]、基于贝叶斯框架[10]、马尔可夫随机场理论法[11-12]和最大后验概率法[13]等。

重构法计算量大，过程耗时且放大倍数变化就无法获得足够先验知识，效果往往不理想。

学习法分为使用深度学习前和后两个阶段。

使用深度学习前的典型方法包括：Example-based方法[14]、邻域嵌入方法[15]、稀疏表示法[16]、支持向量回归方法[17]等。基本思路是通过给定样本图像集，计算测试样本图块（patch）与训练样本patches间的邻域关系，构造约束关系，获得先验知识并逼近测试样本的HR图像。要求LR图像已拥有充分用于推理对应高分辨率部分（例如边缘等）的信息，通过对一组同时包括HR图像和LR图像的样本集合的训练，学习得到一个联合系统模型，其表现形式包括：一组学习到的插值核或低分辨率块或低分辨率块与高分辨率块间的映射系数等。基于学习法的超分辨率重建思想如图1所示。

图1 基于学习法的超分辨率重建Fig.1 Super-resolution problem model based on learning method

随着深度学习技术的迅速发展，基于深度学习的SR取得快速进步，发展出众多算法，本文对主流的监督学习SR算法进行重点评述。

2 基于深度学习的图像超分辨率重建算法评述

2.1 评述维度简介

借鉴Wang等人的方法[18]从上采样位置和上采样方法、学习策略（递归学习、残差学习、稠密连接、注意力机制）、损失函数等维度，对典型和最新的基于深度学习的图像超分辨率重建算法进行评述。

（1）上采样位置

SR算法中上采样是必要的步骤。上采样位置包含：预上采样、后上采样、逐步上采样和迭代上下采样四种类型。如图2所示。

图2 上采样模型Fig.2 Upsampling model

预上采样是基于端到端的映射，降低了学习的难度。但常会引起噪声放大和模糊，如图2（a）所示。预上采样在早期算法中使用，例如SRCNN[19]、ESPCN[20]和DRCN[21]等。

后上采样是把上采样模块移动到卷积层之后，如图2（b）所示。在不增加分辨率的情况下把LR图像送入到卷积层中，在低维空间中形成大多数映射。大大减少了时间和空间成本，但不能处理多尺度超分辨率问题。后上采样使用较多，例如SRResNet[22]、VDSR[23]、EDSR[24]、GAN[25]等，2020和2021年的超分辨算法大多数采取了后上采样的方法，例如HAN[26]、LIIF[27]等。

逐步上采样是基于一系列卷积层并逐步重建高分辨率图像，如图2（c）所示。在每一阶段，图像都被放大到与高分辨率图像大小相同的尺寸。优点是在不引入过多空间和时间成本的情况下降低了学习难度，可以处理多尺度超分辨率问题，但存在模型设计和难以训练的问题。例如LapSR[28]以及CDC[29]。

迭代上下采样模型可以捕获到LR-HR图像对之间的相互依赖性，将有效的迭代过程添加到SR中以更好地探索深层LR-HR关系，如图2（d）所示。例如Haris等人[30]利用迭代的上下采样层，提出了深度反投影网络[30]（DBPN），将上采样层和下采样层交替连接，利用所有中间重建的HR特征图拼接，重建最终的HR结果。该模型可以更好地得到LR-HR图像对之间的深层关系，从而使得图像重建结果质量更高。但是DBPN的反向投影单元结构的结构非常复杂，并且需要人工设计，所以该模型还不太成熟，需要进一步探索，因此迭代上下采样被使用的比较少。

（2）上采样方法

为了克服插值方法缺点并学习端到端的上采样操作，出现了反卷积层和亚像素层。

反卷积层，即通过插入零值并进行卷积来扩展图像，分辨率。以使用3×3内核执行2×上采样为例，如图3所示。首先，将输入图像扩展为原始大小的两倍，将所有新像素值设置为0。然后利用核大小为3×3、步长1和填充1进行卷积。使用反卷积作为上采样的算法不是很多，例如LapSR[28]、FSRCNN[31]等。

图3 转置卷积层模型Fig.3 Transposed convolutional layer model

亚像素层通过卷积生成多个通道，然后执行上采样，如图4所示。在该层中，首先应用标准卷积来产生具有s倍通道的输出，其中s是上采样因子。假设输入大小为h×w×c，则输出大小为h×w×sc，然后执行整形操作，以产生sh×s×w×c大小的输出。大多数SR算法都使用亚像素层作为上采样方法，例如ESPCN[20]、SRResNet[22]、EDSR[24]等。

图4 亚像素层模型Fig.4 Sub-pixel layer model

（3）学习策略

①残差学习：可分为全局残差学习和局部残差学习。残差学习模型如图5所示。残差学习避免了图像的复杂转换，只需要通过残差映射来恢复丢失的高频信息。大部分区域的残差可以认为是零，这种方法大大降低了模型的复杂度和学习难度。

图5 残差学习模型Fig.5 Residual learning model

局部残差学习与ResNet中的残差学习类似，用于解决网络深度不断增加所引起的降级问题。由于残差学习能解决梯度消失和梯度爆炸的问题，2017年后的网络结构几乎都包括残差学习。

②递归学习：即多次应用相同的模块，如图6所示。

图6 递归学习模型Fig.6 Recursive learning model

使用递归学习的典型的典型算法包括：DRCN[21]、CDC[29]、SRFBN[32]等。

③密集连接：密集连接可以充分利用网络模型各个层次的特征，使超分辨率模型获得更丰富的特征表达，提高重建效果。密集连接模型如图7所示。

图7 密集连接模型Fig.7 Dense connection model

密集连接不仅有助于减少梯度消失和爆炸、增强信号传播，还可以通过使用较小的增长率（即密集块中的通道数）和级联的压缩通道极大地减少参数的数量。

对于每个连接块，将所有之前图层的特征图用作输入，并将其自己的特征图用作所有后续层的输入。这种紧密的特征重用连接方式不仅有助于减轻梯度消失、增强信号传输，还大幅度减少了参数数量，并消除了一维通道。例如SRFBN[32]、RDN[33]。

④结合注意力机制：由于大多数现有的基于CNN的SR方法都忽略了中间层的特征相关性，因此在超分辨结果中LR图像的纹理细节往往趋于平滑。因此，在SR任务中，生成细节的纹理特征仍然是较困难的问题。大多数基于深度学习的超分辨率算法中，不同位置和通道上的神经元具有相同的权重。结合注意力机制的超分辨率模型可以选择更重要的信息分配更多权重来改善重建效果。注意力机制将深层神经网络的重点放在信息较多的区域，忽略无关信息。例如CDC[29]构建三个分别与平坦区域、边缘和角相关联的组件注意力块；HAN[26]使用图层注意模块（LAM）和一个通道空间注意力模块，都取得不错效果。

（4）损失函数

损失函数用于衡量重建生成的高分辨率图像和实际高分辨率图像之间的差异，以指导重建模型优化。在早期算法中，通常采用逐像素均方误差（Mean-Square Error，MSE）损失函数，但它不能准确反映重建质量。因此，已经提出了其他一些损失函数，如内容损失、纹理损失以及对抗损失函数等。多种损失函数的组合使用是目前的主流。

2.2 典型算法评述

利用上述维度，选取如下典型算法，进行简要评述：

首次将卷积神经网络应用到图像SR的算法是SRCNN[19]，其采用双三次插值将LR图像放大到目标尺寸，然后通过三层卷积网络拟合非线性映射，最后输出HR图像。相对于传统方法提高了图像重建质量。但计算量较大，训练速度慢。随后SRCNN中又加入一层卷积层，构建FSRCNN[31]网络，速度有较大提升。

为解决深层网络难以训练问题，何恺明等人[22]提出残差网络ResNet获得成功，并对后续研究产生重大影响。此后网络设计越来越多利用残差使网络加深。例如VDSR[23]模型，构建极深网络，通过残差学习解决收敛速度慢问题，提升了网络性能，提升了图像重建的质量。再例如2017年，韩国首尔大学的SNU CV Lab团队提出EDSR[24]网络模型。EDSR是单幅图像超分辨率增强深度残差网络，EDSR去除SRResNet的批量标准化（BN）层，通过扩大模型尺寸提升了重建质量。

为克服插值法的缺点并学习端到端的上采样操作，引入了亚像素卷积层，Shi等人[20]提出基于像素重排的ESPCN网络模型。网络输入原始LR图像，经过三个卷积后，得到与输入图像大小相同，通道数为r2的特征图像。再将特征图像每个像素的r2个通道重新排列成一个r×r区域，对应HR图像中一个r×r子块，从而大小为H×W×r2的特征图像被重新排列成rH×rW×1的HR图像。图像尺寸放大过程的插值函数被隐含在前面卷积层，由神经网络自行学习到。该方法卷积运算都是在LR图像尺寸大小上进行，因此效率较高。

为了避免过度拟合的发生，2016年，Kim等人使用递归神经网络RNN构建DRCN[21]网络，如图8所示。RNN用于非线性映射时，通过RNN，数据循环多次通过该层，若将该RNN展开，等效于使用同一组参数的多个串联卷积层；利用ResNet思想，加入skip-connection，加深网络结构（16个递归），增加网络感受野，提升了性能。

图8 DRCN网络结构图Fig.8 DRCN network structure diagram

2016年，Lai等人[28]提出一种拉普拉斯图像超分辨算法，并且提出了一种新的损失函数Char损失函数。

为充分利用网络模型各个层次的特征，从而使超分辨率模型可以获得更丰富的特征表达，SRDenseNet模型[34]将DenseNet引入单幅图像超分辨率重建，在稠密块中将每一层特征都输入给之后所有层，使所有层特征串联（concatenate）起来，而不像ResNet那样直接相加。SRDenseNet网络结构图如图9所示。

图9 SRDenseNet网络结构图Fig.9 SRDenseNet network structure diagram

SRDenseNet网络中采样位置是后上采样，前向传播过程分为四步：（1）使用卷积层提取低层特征；（2）使用多个稠密学习高层特征；（3）使用反卷积层进行上采样；（4）使用卷积层重建HR图像。根据上采样输入特征的三个结构（a）、（b）、（c），越来越多的特征从上到下被输入到反卷积层。在（b）中添加了从第一卷积层到去卷积层的跳转连接，并且将底部卷积的输出特征和顶部密集块的输出特征拼接在一起，然后输入进反卷积层。在（c）中，添加了密集跳转连接，并且第一个卷积层的输出和每个密集块的输出被输入到所有随后的密集块，从而在去卷积层之前的所有层连接都是密集的。这种设计使得输入到反卷积层的要素数量巨大。因此，在反卷积层之间添加1×1卷积层以减少特征数量。实验结果表明（c）>（b）>（a），即不同级别的特征的组合有利于提高性能。

2018年，Zhang等人[33]以残差网络为基础，在残差块内引入密集连接，提出RDN提高了主观视觉效果以及客观评价指标。

2018年，Zhang等人[35]认为图像含有大量低频信息阻碍了卷积神经网络的表征能力，提出深度残差通道注意力网络RCAN。通过简单堆叠残差块来构建更深的网络，设计了一个残差中的残差（RIR）结构来构造深层网络，由残差组（RG）和跳远连接（LSC）组成RIR结构，由残差块和短跳连接（SSC）组成RG。提出的通道注意力（Channel Attention）机制，通过对特征通道之间的相互依赖性建模来自适应重新缩放每个通道特征。

2018年，Li等人[36]提出多尺度残差网络MSRN新型网络架构。网络结构分成特征提取和重建两部分，可用不同大小卷积核来适应性检测不同规模的图像特征。通过引入残差学习会让神经网络更有效率。

随着生成对抗网络的发展，出现了许多基于生成对抗性网络的超分辨率重建算法。

2017年，Ledig等人[25]提出SRGAN网络模型。SRGAN首次将对抗训练应用于图像超分辨率重建问题中，结果显示经对抗训练的网络生成的图像更加真实自然。

SRGAN之后出现一系列基于对抗网络的SR算法，Wang等人[37]研究了类条件图像的超分辨率重建，提出了一种训练有GAN丢失和感知丢失的SFT-GAN。

2018年，Bulat等人[38]设计了一个基于GAN的Highto-Low网络从HR图像获取较自然的LR图像来模拟真实低分辨率数据。第一阶段是学习这个降级过程；第二阶段使用pair数据重建。在第一阶段，可使用不同未配对数据集，比如由Celeb-A、AFLW、LS3D-W和VGGFace2组成的高分辨率图像数据集，或者低分辨率图像数据集Widerface。第二阶段，用上一步输出结果，使用成对训练数据从低分辨率到高分辨率地训练GAN。与像素上的均方误差相似，VGG特征中的均方误差不足以用来完全表示特征图的真实特点。所以在特征图中加入了对抗性损失，并将其命名为“SRFeat”。网络结构如图10所示。通过两个步骤训练了生成器：即预训练和对抗训练。在预训练阶段，通过最小化均方误差损失来训练网络。在预训练阶段，通过最小化MSE训练网络。通过预训练得到的网络可以提高峰值信噪比，但无法得到图像中的高频细节。在之后的对抗训练中，包括视觉相似的损失、图像图像GAN损失和特征GAN损失函数需要最小化。

图10 SRFeat网络结构图Fig.10 SRFeat network structure diagram

2019年，Zhang等人[39]认为通过对HR下采样构建样本图像的过程丧失了原始数据所能获得的细节和准确性，尤其是在放大远处物体时。他们使用单反相机在不同焦距下进行拍摄，通过光学变焦获得ground truth数据，并为真实的计算变焦提供一个数据集SR-RAW。使用SR-RAW来训练一个深度网络，该网络具有一种新的上下文双边损失，对输入和输出图像之间的轻微失调具有很强的鲁棒性。经过训练的网络在4倍和8倍的计算变焦中实现了先进的性能。Zhang等人对面向真实场景的超分辨重建带来重要影响。

2020年，Wei和Xie等人提出了组件分而治之思想的图像SR算法CDC[29]。采用对图像中平坦区域、边缘、角三类不同的区域进行分而治之的方式进行图像超分辨重建并建立了一个大规模且多样的真实图像SR数据集。分而治之是基于堆叠的沙漏网络建立了名为HGSR（Hourglass Super network）的基本模型。HGSR通过在所有尺度上重复进行自下而上和自上而下的推理来学习多尺度特征。通过HGSR，CDC可以构建三个分别与平坦区域、边缘和角相关联的组件注意力块（Component-Attentive Block，CAB）。每个注意力块都通过中间监督（Intermediate Supervision，IS）策略来学习三个低级组件。由于不同的图像区域在各个方向上传递的梯度不同，将一种新的梯度加权（Gradient-Weighted，GW）损失函数用于重建。重建的区域越复杂，损失函数受到影响就越大。即该模型可以根据重建难度来适应模型训练。

2020年，Lugmayr等人提出的SRFlow[40]方法通过归一化流学习图像超分辨率，可以从LR图像中生成多个不同的SR图像。将超分辨率表述为学习高分辨率图像上的条件概率分布的问题，并使用负对数概率单个损失的方式训练模型。不同于对抗网络方法，GAN要求仔细调整参数以实现多种损失，而SRFlow使用一次稳定训练损失：negative log-likelihood，从而克服了GAN模型崩溃的问题。SRFlow使用完全可逆的编码器，该编码器可以将任何输入的HR图像映射到潜流空间，并确保准确的重建。

信息特征在SISR问题中起着重要的作用。频道注意在保留每一层中信息丰富的功能方面是有效的。但是频道注意将每个卷积层视为一个单独的过程，因此缺少了不同层之间的相关性。2020年Niu、Wen等人提出了一个新的整体注意力网络HAN[26]，该网络由一个图层注意模块（LAM）和一个通道空间注意力模块（CSAM）组成，通过考虑各层之间的相关性，LAM自适应地强调分层特征。通过学习每个通道所有位置的置信度，CSAM可以捕获更多信息特征。HAN整个框架基于RCAN，与其不同的是：HAN将每个RG的输出Concat连接起来，然后通过LAM对图层进行加权，即LAM能够增强高贡献特征层并抑制冗余特征层；特征提取部分最后的输出接一个CSAM，自适应获取通道内和通道间更重要的信息。作者提出的CSAM机制包含来自特征图所有维度的响应，为了精度和速度的权衡，把它用于最后一个特征组的末尾。较新颖的是，作者在CSAM中使用3维卷积，以通过捕获联合通道和空间特征生成注意力特征图。

2020年，Luo、Xie等人提出了轻量级晶格网络Lattice-Net[41]，该网络包含四个部分：浅层特征提取：两层3×3卷积级联、多个级联的晶格块（Lattice Block，LB）、反向融合模块（Backward Fusion Module，BFM）以及上采样模块。

Hyun等人提出了变分超分网络VarSR[42]，该网络从LR和SR图像的潜在共同分布中抽取样本，生成多种SR图像形成多对一关系。VarSR方法LR与HR是一对多的关系，通过对共享分布中的多个潜在变量进行采样来匹配低/高分辨率的潜在分。作者为LR和HR图像引入两个潜在变量，并以此作为网络训练的输入。训练时跟以前经典的SR方法一样，网络最后可以生成多个看上去效果还不错的SR图像。这可以解决确定性SR模型的单一结果不佳，而VarNet可以生成多个接近HR的输出，因此经过多次搜索可以构成足够大小的候选清单，即它是以产生多个输出而减少犯错误的机会。在训练阶段使用LR和HR作为输入，以生成LR和HR的潜在分布，然后从潜在分布z中随机抽取，与LR结合生成SR。在推理阶段，从潜在分布z中采样，结合LR，生成多个SR。

考虑高频细节主要位于边缘和纹理周围，Wang等人提出了SMSR[43]网络，以学习稀疏掩码来修剪以输入图像为条件的冗余计算。在SMSR中，空间遮罩学会识别“重要”位置，而信道遮罩学会标记那些非重要区域中的冗余频道。所以，可以精确定位和跳过冗余计算，同时保持可比的性能。

2021年，Qiao等人[44]综合测评了现有超分辨卷积神经网络模型在显微图像超分辨任务上的表现，提出傅里叶域注意力卷积神经网络和傅里叶域注意力生成对抗网络模型，在不同成像条件下实现最优的显微图像超分辨预测和结构光超分辨重建效果，实现了比其他现有卷积神经网络模型更鲁棒的显微图像超分辨预测效果，可在实际生物成像实验中替代现有超分辨成像方法，应用场景得到较大程度的拓展。

为解决图像低动态范围影响图像超分辨率重建效果问题，Deng等人[45]将独立的视觉任务的图像超分辨（Super-resolution）和多曝光图像融合（Multi-exposure Image Fusion）进行有机结合，提出了耦合反馈神经网络CF-Net[44]，对输入的一对过曝光和曝光不足的图像同时进行图像融合及超分辨。CF-Net由两个耦合的循环子网组成。两个子网将低分辨率的曝光过度或曝光不足的图像作为输入。每个子网均包含一个特征提取模块，一个超分辨率模块和几个耦合的反馈块（CFB）。特征提取模块由两个卷积层组成，用于初始提取输入图像的特征，而超分辨率模块使用连续的上采样结构来获取高级特征并提高图像的分辨率。耦合反馈模块是CFNet网络结构中最重要的部分，采用的是MSSIM作为损失函数对CF-Net进行端到端训练。

特定倍率的超分辨算法是常见的。连续上采样并高质量放大图像的算法更令人期望。2021年Chen等人提出了一种局域隐函数方法LIIF[27]实现连续地描述复杂图像的局域信息，可以将对应区域的图像信息连续地表达为目标像素坐标到其隐含编码的映射并进行RGB值的预测。该网络具有连续获取坐标的优势，因此使用该连续局部表达式可以获取任何分辨率的图像。与传统放大特定倍率的超分辨算法不同，通过训练连续上采样放大图像的LIIF网络，所获得的连续模型可以实现30倍放大内的任意多分辨率的提高，并获得极好的重建效果。LIIF代表了连续上采样并高质量放大图像的最新水平。

上述典型算法的评述结果，见表1。

表1 典型深度学习SR算法比较Table 1 Comparison of typical deep learning SR algorithms

3 超分辨率重建算法未来展望

综上所述，超分辨率重建算法未来可能的发展方向包含以下方面：

（1）改进网络结构

①改进网络结构考虑以下方面：结合局部和全局信息，大的感受野可以提供更多的纹理信息，这样可生成更加真实的HR图像。结合低层和高层信息，深度学习中的较浅层易于抽取如颜色和边缘等低层特征，而较高层更易获得如目标识别等高层次的特征表示，结合低层网络抽取的低层细节信息和高层网络抽取到的高层纹理信息可获得效果更好的HR图像。结合特定内容的注意力机制，增强主要特征可促进生成的HR图像具体更加真实的细节。

②结构轻量化：目前网络结构日趋复杂，如何减少模型大小，降低时间开销并保持性能（特别是大倍数SR）仍然是未来的研究方向。

③损失函数：目前损失函数通常采用加权得到，最有效的损失函数还不明确，如何找到LR-HR-SR图像间的潜在联系并找到更加准确的损失函数是值得研究的方向。

④图像质量评估：PSNR/SSIM方法不能客观地反映图像的主观效果，MOS方法需要大量的人工成本并且无法复制。需要提出更准确的图像质量评估方法。

（2）无监督学习

不需要LR-HR图像对的无监督SR是一个重要的研究方向。Helou等人[46]提出了随机频率掩模改善超分辨率和降噪网络并介绍了一种扩展到超分辨率和降噪的条件学习观点，提出了一种用于训练图像的随机频率掩模来规范化网络并解决过度拟合的问题。改进了具有不同合成内核，真正超分辨率，是高斯盲去噪和实像去噪的最新盲超分辨率技术。

（3）面向真实场景

真实世界的图像往往具有复杂的退化模型。基于深度学习的SR有一个重要前提假设是测试图像的分布与训练图像的分布一致，当训练过程中采用的退化模型和测试时的实际图像的退化模型不一致时，重建结果往往会产生明显的退化。因此构建符合真实场景的超分训练集、实现更适合于实际应用场景的算法是最值得研究人员进行深入探索的。