基于非冗余信息的超分辨率算法

鲜海滢 傅志中 万 群 徐 进

（1.电子科技大学电子工程学院，四川 成都611731；2.电子科技大学通信与信息工程学院，四川 成都611731）

引 言

超分辨率重建技术早期主要集中在单帧领域［1］。1984年，Tsai和 Huang［2］首次提出用低分辨率、欠采样图像序列生成高分辨率图像的思想，多帧超分辨率技术成为近二十年来研究的主流。各国专家提出了大量算法，包括自适应估计［3－4］；最大似然估计（ML）［5］；最大后验概率估计（MAP）［6－8］；凸集投影（POCS）［9］；小波插值［10－11］等。

Peyman在最近的新书［12］中指出：“多帧超分辨率技术背后的基本思想是，将低分辨率（LR）序列中的非冗余信息尽量纳入高分辨率（HR）图像中”，但纵观传统多帧重建技术，对于LR序列中的非冗余信息并未引起足够重视，普遍将所有信息视作平等对象加以处理。序列在时空域中的相关性很强，非冗余信息所占比重非常低，价值却非常高，忽视这一矛盾，其结果就是，非冗余信息在重建过程中被平滑或忽略。

1.基于MAP的多帧超分辨率重建算法框架

传统MAP多帧超分辨率重建算法基本观察模型为

式中：Yk是LR序列中第k帧的字典序列向量；X是理想HR图像的字典序列向量；n（k）为0均值高斯噪声；D是亚采样矩阵；Bk是模糊矩阵；Tk是形变矩阵。

在多帧超分辨率重建技术中，一般认为亚采样矩阵D已知。Yk作为观察序列，也是已知的。对于形变矩阵Tk，有两类处理方式，一类是采用配准技术，先获得LR序列的全域运动参数，再映射到高分辨率网格上，另一类是通过交替迭代的办法，在求解HR图像的过程中，不断修正该矩阵参数。对于模糊矩阵Bk，很多算法也假设已知，采用基于Radon变换的模糊参数估计技术，建立该矩阵。

1.1 图像配准

对序列各帧的运动估计，采用光流方程算法。Shi在文献［13］中，对光流方程算法的速度适用条件进行了详细论述，提出了一种改进光流方程算法。该算法主要思路是，以块匹配算法粗略的估计两帧图像的高速运动矢量，得到（δx，δy）——整像素级位移，以该参数对两帧图像进行预补偿，使其残余运动矢量满足低速运动条件。再用光流方程算法对补偿后的图像进行运动估计，得到残余运动矢量（Δx，Δy）——亚像素级位移，最终运动矢量为（δx＋Δx，δy＋Δy）。随后，利用上采样技术将运动参数映射到高分辨率网格上，即可得到形变矩阵Tk.

1.2 模糊参数估计

在多帧超分辨率重建技术中，造成模糊的主要原因在于摄像机自身运动，致使序列出现运动模糊。因此，采用基于Radon投影的技术［14］估计序列中的模糊参数，进而建立模糊矩阵Bk.

对LR图像进行傅里叶变换，通过Radon投影并求解最大值，可以得到模糊角度参数bθ，由暗条纹的间距可以得到运动模糊的尺度参数bsize.得到角度与尺度参数后，生成二维运动模糊算子bparameter，算子bparameter中各元素bparameter（x，y）满足如下条件

通过上采样，对数据进行装配，即可得到模糊矩阵Bk.

2.基于非冗余信息的重建算法

任意序列都包含3类信息：冗余信息，各帧都包含的信息；非冗余信息，各帧之间的差异信息；以及噪声。对多帧超分辨率技术而言，非冗余信息才是关注的重点。因为超分辨率技术的目的，并不单纯为了放大图像，而是希望结果图像尽可能多的涵盖序列中的所有信息，所以，各帧之间的差异信息显得尤为重要。由此，建立如下模型

式中：X为理想HR图像；Xredundance为冗余HR图像；Xnon－redundance为非冗余HR图像；n1为0均值高斯噪声；Yk是观察序列中一帧，k＝1，2，…K，K 为序列 长度；Yredundance为 冗 余 LR 图 像为第k帧非冗余图像；n2（k）为0均值高斯噪声。分两步对原始LR序列进行超分辨率处理。对LR序列Yk进行处理，得到冗余HR图像Xredundance；后对非冗余序列进行处理，得到非冗余 HR图像Xnon－redundance，将二者进行融合得到HR图像X.

2.1 冗余高分辨图像

根据MAP超分辨理论，如下公式成立

依据贝叶斯理论，得到重建公式

式中：K 为LR序列的帧数；α1为正则化参数；f（X）为势函数，选用高斯马尔可夫随机场（GMRF）函数，即式（4）中第二行公式；C为高通滤波算子，选用二维拉普拉斯算子。欲使式（4）最小，可对其右端求向量Xredundance的偏导数，并令其等于0.由于矩阵Hk的规模巨大，传统上采用迭代方法进行逼近。由式（4）可得

采用梯度下降法求解式（5），可得

式中：l为迭代次数；μl为迭代步长。为初始HR图像，本文通过对LR参考帧进行双线性插值获得。迭代结束条件为

式中ε为一很小的正数。

2.2 非冗余高分辨图像

同理，对非冗余信息，如下公式成立

式中：α2为正则化参数；K为序列的帧数。比较Xredundance重建公式（4）与Xnon－redundance重建公式（9），两式最大不同在于公式右端最后一项。式（4）由于不知道Xredundance概率密度函数，所以采用势函数f（）来逼近；而式（9）中，Xnon－redundance概率密度函数服从高斯分布。Xnon－redundance的重建公式如下

式中：ELMLN为LxMLyN×LxMLyN 的单位矩阵；k为迭代次数；μk为迭代步长［15］。为初始HR非冗余图像，通过对LR参考帧的非冗余图像进行双线性插值获得。迭代结束条件为

式中ε为一很小的正数。

3.非冗余序列估计

该算法需要从序列中提取非冗余信息。借鉴杂波抑制思想［15－16］采用自适应技术，估计冗余图像，进而得到非冗余序列。

3.1 冗余图像估计算法

在前文超分辨率算法中，以向量Yk表示输入的LR序列。为避免混淆，在冗余图像估计算法中，以矩阵Y（k）表示输入LR序列，（k＝1，2，…，K，K 为序列长度）。

令冗余图像为Yredundance，Yredundance中的任意一个像素Yredundance（x，y），与序列Yk中每一帧的相同位置像素Y（x，y，k）的差值平方和最小，（k＝1，2，…，K）.即

由此可见，汉代皇帝的敕令要想上升为法律，有严格的立法程序。首先，须要“具为令”，让某项皇帝的敕令获准立法，进入立法计划。然后，将进入立法计划的令交由朝臣商议后完成内容的制定。即“著为令”或“议著为令”。最后经由皇帝批准，颁行天下。

将Y（k）中每一帧以相同的方式分割为尺寸为m×n像素的块（本文选用8×8像素块），定义为Bmn（mn＝1，2）.设Y（k）中各像素值为Y（x，y，k），将各像素装配成向量Y（x，y）＝［Y（x，y，1］，Y（x，y，2），…，Y（x，y，K）］T.冗余图像Yredundance中任意一个像素的灰度定义为Yredundance（x，y）.选用空、时三维邻域，令Y（x，y）的邻域为

该邻域为长度为l的列向量，l＝8×K.则

式中：W 为权向量，W＝ ［w1，w2，…wl］T，且sum（W）＝1.它与Bmn为一一对应关系，即一个m×n像素的块对应一组权向量。根据式（12）的估计公式，建立如下代价函数

式中：＜＞为内积算子；Ek＝［1，1，…1］T，为长度为K的列向量。通过如下方程求解最优权向量

冗余图像可通过式（16）进行估计。

3.2 冗余图像最优权向量计算

3.3 非冗余图像序列

得到冗余图像Yredundance后，将其与LR序列Y（k）进行差分、归一化，并以字典序进行装配，即可得到非冗余序列

4.试 验

图1（a）是一帧HR红外图像，大小为720×576像素。通过均匀亚采样、运动模糊（模糊角度为3°，尺度为3像素），生成一个LR序列（图1（b）上）（180×144像素）。再对LR序列进行配准、估计模糊参数与冗余图像（图1（b）下）等过程，重建 HR图像（图1（c））。在模糊参数估计时，得到的角度参数为2°，尺度参数为2像素。

前文1.2节中假设，非冗余图像服从高斯分布。对其进行仿真验证。采用Parzen窗算法绘制非冗余图像的经验概率密度函数，如图2所示。可以看出，非冗余图像的经验概率密度函数与标准正态分布非常近似，从而说明前文的分析是合理的。

图3是采用图1（b）的LR红外序列进行的仿真试验，亚采样和模糊算子与图1相同。图3（a）～（c）是单帧超分辨算法的结果；图3（d）～（g）是传统多帧超分辨算法的结果；图3（h）是本文算法结果。图3（a）～（h），各算法的放大因子均为4×4.

图3的仿真试验存在HR的原图，可采用峰值信噪比（PSNR）指标定量对比各种算法性能。计算结果见表1.通过图3和表1的对比可以看出，本文算法无论相对于传统单帧还是多帧算法，都有更好的性能。大量试验表明，单帧算法在对噪声严重的红外图像进行处理时，块效应较为明显。传统多帧超分辨率重建算法，在对不同红外图像进行处理时，性能不稳定，常出现水波状振铃。我们的算法无论主观感受还是量化指标的表现都相对更好。

用实际拍摄的空对地红外序列进行仿真。图4（a）（左）为该序列中一帧，大小为128×160像素，序列长度为16帧。先对序列的模糊参数进行估计，其中模糊角度为1，尺度参数为2像素，图4（a）（右）为估计的冗余图像。图4（b）～（e）是传统超分辨率算法重建的图像，图4（f）为本文算法重建图像，放大因子都为4×4.从中可以看出，频域算法有一定振铃现象，而自适应和凸集投影（POCS）算法则在景物边缘出现一定程度的模糊，传统MAP算法对于细节的展示不如本文算法。

表1 各种超分辨率算法PSNR对比

5.结 论

传统多帧超分辨率技术，由于利用了多帧信息，从理论上讲，效果应该优于单帧技术。但就目前的多帧技术研究程度而言，优势尚不明显。在多帧技术中，各帧之间的差异信息，即非冗余信息才是最为重要的分量，然而传统多帧技术对此却少有重视。由于非冗余信息在整个图像信息中，权重极低，若不对非冗余信息进行单独处理，则非冗余信息极易在重建过程中，为冗余信息所掩盖。本文提出一种新的多帧重建算法，提取并单独处理非冗余信息，以最大限度的凸显该分量在超分辨率处理过程中的重要地位。

［1］GONZALEZ R C，WOODS R E.Digital Image Processing［M］.Bostom：Pearson Prentice Hall，2007.

［2］TSAI R Y，HUANG T S.Multiframe image restoration and registration［J］.Advances in Computer Vision and Image Processing，1984，1：317－339.

［3］HARDIE R C.A fast super－resolution algorithm using an adaptive wiener filter［J］.IEEE Trans Image Process，2007，16（12）：2953－2964.

［4］ELAD M，FEUER A.Superresolution restoration of an image sequence：adaptive filter approach［J］.IEEE Trans.Image Processing，1999，8（3）：387－395.

［5］ELAD M，FEUER A.Restoration of single super－resolution image from several blurred［J］.IEEE Trans.Image Processing，1997，6（12）：1646－1658.

［6］BAKER S，KANADE T.Limits on super－resolution and how to break them［J］.IEEE Trans.Pattern A－nalysis and Machine Intelligence，2002，24（9）：1167－1183.

［7］PICKUP L C，CAPEL D P，ROBERTS S J.Bayesian methods for image super－resolution［J］.The Computer Journal，2009，52（1）：101－113.

［8］XIAO Chuangbai，YU Jing，XUE Yi.A high－efficiency super－resolution reconstruction algorithm from image／video sequences［C］／／Third International IEEE Conference on Signal－Image Technologies and Internet－Based System.Shanghai，China，2007：573－580.

［9］AKQUN A Y，ALTUNBASAK Y，MERSEREAU R M.Super－resolution reconstruction of hyperspectral images［J］.IEEE Trans.Image Processing.2005，14（11）：1860－187.

［10］LEUNG K T，TONG C S.Effective use of low resolution image for super－resolution reconstruction［C］／／IEEE Congress on Image and Signal Processing.Snaya，China，2008：320－325.

［11］MERINO M T，NUNEZ J.Super－resolution of remotely sensed images using SRVPLR and SRASW［C］／／IEEE International Geosciences and Remote Sensing Symposium.Barcelona，2007，4866－4869.

［12］PEYMAN M.Super－resolution Imaging［M］.Boca Raton：Taylor ＆Francis Group，2011.

［13］SHI R，LI Z M.The optical flow estimation with displacement compensation for high－speed motion［C］／／IEEE International Conference on Communications Circuits and Systems and West Sino Expositions，2002，1：595－599.

［14］LOKHANDE R，ARYA K V，GUPTA P.Identification of parameters and restoration of motion blurred images［C］／／Proceedings of the 2006ACM Symposium on Applied Computing.New York，NY，USA：ACM press，2006：301－305.

［15］潘 鸣，裴云天，吴贵成.强杂波背景下高空红外运动点目标检测［J］.电波科学学报，2004，19（6）：757－760.PAN Ming，PEI Yuntian，WU Guicheng.Detection for moving infrared point target in high altitude with strong clutter background［J］.Chinese Journal of Ra－dio Science，2004，19（6）：757－760.（in Chinese）

［16］鲜海滢，傅志中，李在铭.强噪声背景红外微弱动目标集成检测［J］.电波科学学报，2008，23（3）：438－442.XIAN Haiying，FU Zhizhong，LI Zaiming.Integration detection algorithm of infrared small dim moving target based on strong complex noise［J］.Chinese Journal of Radio Science，2008，23（3）：438－442.（in Chinese）