基于稀疏编码和随机森林的多帧图像超分辨率算法

包莹莹，王华君，徐燕华，徐平平

（1.无锡太湖学院 工学院，江苏 无锡214064；2.东南大学 信息科学与工程学院，江苏 南京211189）

基于稀疏编码和随机森林的多帧图像超分辨率算法

包莹莹1，王华君1，徐燕华1，徐平平2

（1.无锡太湖学院 工学院，江苏 无锡214064；2.东南大学 信息科学与工程学院，江苏 南京211189）

针对多帧低分辨率图像重建问题，提出了基于稀疏编码和随机森林的超分辨率算法。首先，使用高分辨率训练图像和低分辨率训练图像获取高分辨率字典；然后，使用重叠块缓解块边界的振铃现象，并使用反向投影保证全局一致性；最后，利用稀疏编码提取和融合LR图像中的有用信息，随机森林完成分类。实验结果表明，相比其他几种较新的超分辨率算法，本文算法重建获得的峰值信噪比（PSNR）最高，重建后的图像最为自然，且具有较快的运行速度。

图像重建；超分辨率；稀疏编码；随机森林；多帧；反向投影保

超分辨率（Super-resolution，SR）[1]图像重建是一种根据低分辨率图像创建超分辨率图像的技术，该技术已经引起人们的广泛关注[2]。视频技术的发展促进了SR技术的发展，SR技术能帮助人们根据低分辨率（LR）图像生成高分辨率（HR）图像[3]。

图像超分辨率重建技术可分为两类：基于重构的SR[4]和基于样本的SR[5]。基于重构的SR方法根据图像成像过程计算HR图像，对于实现SR很直观且很容易。然而，该方法需要很大计算量。

基于样本的SR根据从训练HR图像提取的小图像块重建HR图像。例如，文献[6]提出的一种基于相邻嵌入的算法，当仅有一幅LR图像时，该方法取得了较好的重建效果，然而，该算法容易忽略图像中的有用信息。文献[7]改进了文献[6]算法，提出了一种基于稀疏编码[8]的SR方法，利用稀疏编码联合大量候选向量中的少量基向量来描述信号，实验结果显示该方法能很好的重建HR图像。然而，当拥有多幅用于重建HR图像的LR图像时，该方法仍有进一步优化的空间。

基于上述分析，提出了基于稀疏编码和随机森林的SR算法，主要贡献为：1）扩展了基于稀疏编码的单帧SR算法，提出了一种联合随机森林分类和由HR元素生成LR元素的方法；2）能处理不同数量的观察LR图像。在一组观察LR图像中，每个块中，自动确定用于SR的LR图像数量。

1 稀疏编码

稀疏编码[9]联合大量候选向量中的少量基向量来描述信号，称这些基向量为元素。

设D=[d1，d2，…，dk]∈Rp×K为一种包含K个不同元素的字典，α∈RK为信号s∈R∂K稀疏表示的系数向量。则l0范式稀疏编码问题可转化为：

式中，ε为预定义的近似容忍度，或表示为

式中，T为用于稀疏表示的预定义元素数量。通过向量α的一些非零元素定义l0范式‖α‖0：

给定一个字典D，问题（1）和（2）为NP难题[10]，通常利用匹配追踪类算法获取近似解。另一种稀疏编码方法将问题转化为l1范式问题：

问题（4）使用稀疏的l1测量稀疏模型，问题（4）称为l1范式稀疏编码。使用拉格朗日乘子η，该问题变为：

式中，η≥0为稀疏约束强度。采用l1范式稀疏编码作为SR的模块，且使用feature-sign搜索算法求解问题。该算法搜索非零系数αj的sign。采用这种假设，解决了非约束二次规划问题，且如果算法没有正确初始化则进一步优化该算法。该算法在有限迭代次数内搜索到问题（5）全局最优解。

2 提出的超分辨率算法

2.1 根据LR图像计算HR图像

完成HR图像重建前，首先使用HR训练图像和LR训练图像获取HR字典Dh∈Rqh×K和LR字典Dl∈Rql×K。假设使用x=Dhα表示HR块x，使用L∈Rq1×qh表示图像退化的3个过程：S、H和W。然后，通过式（6）关联LR和HR图像：

式中，Dl=SHWDh。假设基于稀疏编码的SR核心思想是稀疏表示中HR块与LR块分享相同的系数。对每个输入LR块y，寻找与Dl相关的稀疏表示。然后，根据LR块系数联合Dh中相应的HR基向量，从而生成相应HR块x，如图1所示。

图1 基于稀疏编码的SR框架

2.2 缓解块边界的振铃现象

在基于块的方法中，首先获取LR块的稀疏表示，然后获取相应的HR块。分别获取每个局部块的稀疏表示不能保证相邻块之间相互兼容且在块边缘常常会出现振铃现象。为了缓解振铃现象，使用重叠块。为了提高算法计算效率，仅计算相邻块重叠区域的特征均值。对联合后的相邻HR块，使用二维Hanning窗口[11]降低重叠区域的影响。

2.3 使用反向投影保证全局一致性

利用反向投影[12]保证全局一致性。设X0为使用分片SR获取的HR图像且上节解释了加权X0平均运算。为了最小化X0与HR图像之间的差异，通过梯度下降法求解以下最小化问题：

式中，为权衡参数。修正后的梯度下降方法为：

式中，v＞0为步长参数。优化的X作为具有全局一致性的HR图像。

2.4 基于稀疏编码的多帧SR

在多帧图像场景中，假设每个LR图像为同一HR图像不同退化过程后的输出。尽管多帧SR预期能获取较好的结果，但提取和融合LR图像中的有用信息很重要。

通过剪切操作符Cj∈Rqij×pl，j=1，…N，从观察LR图像Yj，j=1，…，N提取不同大小块yj，j=1，…，N。

与单帧SR相似，设X表示重建的HR图像，x为从X提取的块，且设Y1，…，YN为LR图像且y1，…，yN为x与对应的LR图像的块。为了实现多帧SR，求解以下优化问题：

首先从一组观察LR图像选择一幅目标图像，且使用其他辅助LR图像重构目标图像的HR图像。然后，与单帧SR相似，y1和以相同的方法重建。

2.5 利用随机森林分类

最后，通过随机森林[13]完成分类。所有树都是通过一系列个数为N的采样点独立训练的，这些采样点是。训练一个单一的随机树主要通过寻找分裂功能、递归分割训练数据为不相交的子集。

对于Tt的所有内部节点。分裂始于根节点，并通过一个贪婪的方式在树中继续进行，直到达到一个最大深度ξmax，并创建一个叶子节点。Θ的值定义响应函数rΘ（xL），本文的响应函数成对差异，即rΘ（xL）=xL[Θ1]-xL[Θ2]-Θth，其中Θ2∈{1，…，DL}⊂Z。

为分裂函数 σ（·）查找好的参数 Θ，分裂函数σ（xL，Θ）的质量定义如下：

式中，Le和Ri分别为左和右子节点，|·|是基数运算符。定义两个域：。函数E（XH，XL）旨在测量数据的纯度。而本文定义了一个新的正则化函数E（XH，XL），不仅在标签Y空间上操作，同时也对输入空间X上进行操作，E（XH，XL）的定义如下式所示：

算法过程如算法1所示。

3 实验结果及分析

每个实验分别执行100次，每次实验使用不同的观察图像，这些图像在每个实验中通过特定过程生成，且实验的均值和标准差已经存在。仿真实验在配置为 Win7操作系统、intel酷睿 II处理器、1.86 GHz主频、2.95 GB RAM的 PC机上进行，使用MATLAB 7.1编程。

将本文算法与4种传统算法进行比较，分别为单幅联合字典学习（SF-JDL）[14]和自适应稀疏域选择算法（ASDS）[15]、双边总变分（BTV）方法[16]、基于正则化BTV的多帧SR（LABTV）[17]。

3.1 评估指标

为了比较SR算法的性能，使用峰值信噪比（PSNR），PSNR定义如下：

式中，MSE为原HR图像与估计HR图像的均方误差，且PSNR越高表明SR性能越佳。

3.2 定量分析

表1所示为PSNR的值测量结果，PSNR值越高表示图像的高频成分越多。

从表1可以看出，文中算法大多数情况下均能获得最高的PSNR值，与原始图像的PSNR值相差最少，表明重建效果最好。

3.3 定性分析

随机选择一幅目标图像，通过亚像素精确块匹配估计从目标图像到其他4幅图像的相对位移。表2所示为实验设置，表3所示为本文算法获取的最优参数值。图2所示为重建结果示例图。从图2可以看出，与其他算法重建的HR图像相比，本文算法重建的HR图像分辨率较高。

表1 分辨率增强因子为2时各个算法的PSNR值（/dB）

表2 实验参数

表3 本文算法参数

图2 各个算法的重建结果比较

3.4 运行速度比较

好的SR算法应具备3方面的优势：图像纹理、图像自然性和算法处理速度。表4所示为各个算法的平均运行时间。

从表4可以看出，ASDS算法的运行时间最少，因为 ASDS算法最简单。对于 256×256的图像“Wall”，“Nestling”和“Cameraman”，以及MATLAB中常见的其他20幅图像，在MATLAB 7.1平台上，本文算法运行时间仅略高于ASDS，少于其他几种比较的算法。本文算法在改善重建效果的情况下，仍能保持较快的运行速度，可见其优越性。

表4 各个算法的平均运行时间比较（/s）

4 结束语

文中提出了一种基于稀疏编码和随机森林的多帧SR算法，许多基于稀疏表示的传统单幅图像SR方法使用字典学习技术联合HR和LR图像字典，而本文算法优先提出HR图像字典且考虑了图像退化过程，从而根据HR字典生成LR图像。通过实验结果表明了提出算法的有效性，相比其他几种较新的SR算，提出的算法在重建效果、PSNR、处理速度方面均能取得较好的效果。

未来会提出一种能根据观察LR图像自动确定阈值 σ的方法，从而更好地改善多帧图像SR效果。

[1]张新明，沈兰荪.基于多尺度边缘保持正则化的超分辨率复原[J].软件学报，2003，14（6）:1075-1081.

[2]Willets K A.Super-resolution imaging of SERS hot spots[J].Chemical Society Reviews，2014，43（11）: 54-64.

[3]周明远，石英.基于图像超分辨率重建的质心细分的研究[J].电子设计工程，2015，23（9）:127-130.

[4]黄璇，杨晓梅.基于低秩及全变分的视频超分辨率重建[J].计算机应用研究，2015，32（3）:938-941.

[5]Sinkó J，Kákonyi R，Rees E，et al.TestSTORM: Simulator for optimizing sample labeling and image acquisition in localization based super-resolution microscopy[J].Biomedical Optics Express，2014，5（3）:778-87.

[6]Chang H，Yeung D Y，Xiong Y.Super-resolution through neighbor embedding [C]//2012 IEEE Conference on ComputerVision and Pattern Recognition.IEEEComputerSociety，2010:275-282.

[7]Jianchao Y，Zhaowen W，Zhe L，et al.Coupleddictionary training for image super-resolution.[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2012，21（8）:3467-3478.

[8]郭坦.基于稀疏表示的超分辨率图像重建算法研究[D].重庆：重庆大学，2014.

[9]盛帅，曹丽萍，黄增喜，等.基于改进稀疏编码的图像超分辨率算法[J].计算机应用，2014，34（2）: 562-566.

[10]余英，罗永超，程明宝.带分批的一类具有恶化加工时间的排序问题的算法研究[J].湘潭大学自然科学学报，2013，35（2）:14-16.

[11]Podder P，Zaman Khan T，Haque Khan M，et al. Comparative Performance Analysis of Hamming，Hanning and Blackman Window[J].International Journal of Computer Applications，2014，96（18）: 1-7.

[12]Nayak R，Harshavardhan S,Patra D.Morphology based iterative back-projection for superresolution reconstruction of image[C]//International Conference on Emerging Technology Trends in Electronics，Communication and NETWORKING. IEEE，2014:1-6.

[13]邓生雄，雒江涛，刘勇，等.集成随机森林的分类模型[J].计算机应用研究，2015，32（6）:1621-1624.

[14]Jianchao Y，John W，Thomas H，et al.Image Super-Resolution via Sparse Representation.[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2010，19（11）:2861-2873.

[15]Weisheng D，Lei Z，Guangming S，et al.Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization.[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2011，20（7）:1838-1857.

[16]陈王丽，孙涛，陈喆，等.利用光流配准进行嫦娥一号CCD多视影像超分辨率重建[J].武汉大学学报:信息科学版，2014，39（9）:1103-1108.

[17]李银辉，吕晓琪，于荷峰.基于L1和L2混合范式的序列图像超分辨率重建[J].计算机应用，2015，35（3）:840-843.

A multi-frame image super resolution algorithm using sparse coding and random forest

BAO Ying-ying1，WANG Hua-jun1，XU Yan-hua1，XU Ping-ping2
（1.School of Engineering，Taihu University of Wuxi，Wuxi 214064，China；2.School of Information Science and Engineering，Southeast University，Nanjing 211189，China）

For the problem of multiple low resolution images reconstruction，a multi-frame image super resolution algorithm using sparse coding and random forest is proposed.Firstly，high resolution training images and low-resolution images are used to obtain high resolution in the dictionary.Then，the ringing of the block boundary is alleviated by overlapping blocks，and the whole consistency is guaranteed by reverse projection.Finally，sparse coding is used to extract useful information from LR images，and Random forest is used to finish classification.Experimental results show that proposed algorithm has the highest PSNR comparing with several other advanced algorithms.It has the most natural reconstruction image and the fastest execution time.

imageresolution；super-resolution；sparsecoding；randomforest；multi-frame；reverse projection

TN911

：A

：1674-6236（2017）08-0158-05

2016-04-05稿件编号：201604040

包莹莹（1983—），女，江苏宿迁人，硕士，讲师。研究方向：图像处理和模式识别等。