基于关键帧间矩阵约束的多帧湍流图像盲复原∗

鱼 轮 李晖晖

（1.商洛学院电子信息与电气工程学院 商洛 726000）

（2.西北工业大学自动化学院信息融合技术教育部重点实验室 西安 710129）

1 引言

地基望远镜在观测天体目标时，光波在经过大气传播过程中，运动随机的大气湍流会造成空气折射率的变化，导致光波振幅和相位的随机起伏，使得地基望远镜成像系统的光学传递函数OTF跟着随机变化，最终使观察到的天体目标图像出现退化、抖动、扭曲和分辨率降低［1］。

实现大气湍流退化图像的复原，是系统下一步分类、识别、检测的基础。大气湍流的最大特点是具有很强的随机性［2］，这使得建模时很难描述和测定点扩散函数（Point Spread Function，PSF）的具体形式，必须从观察图像中以某种方式估计出退化信息。目前对这类反问题的处理大部分都采用盲复原算法［3］。根据复原时参与的观测帧数目，分为单帧复原和多帧复原。从单帧复原的角度看，近几年的处理方法大多数是构建一个代价函数，然后依据从大量自然图像样本统计信息中得到的一些图像梯度分布、边缘特征规律等先验信息，作为正则约束项，最后求解代价函数方程，求出图像和PSF的估计值［4～9］，这些算法都取得了一定的复原效果，但是单帧图像复原容易求得局部极小值，且在图像边缘的特征不明显或者被噪声污染严重时，这种先验信息构成的约束就很难求出正确的解［10］，同时，从自然图像中得到的统计特性等先验信息并不能通用约束各种类型的模糊图像。而多帧模糊图像中各自包含的信息更能直接反映PSF的特性，反映图像更为准确的退化信息，各帧之间的信息可以平衡互补，这些优点使得多帧图像复原效果较单帧复原效果更好［11］。多帧复原有两种算法，一种是非直接法，即首先估计出PSF，然后通过标准非盲卷积恢复出原始图像，缺点是对噪声敏感［12］，另一种是直接法，即直接利用模糊图像构成的矩阵零空间或者其列空间估计出模糊图像和PSF，缺点是大量的矩阵运算导致算法复杂度较高［12］。Bresler Y等人研究了多帧图像复原中估计模糊核函数和PSF尺寸的高效算法，但是在有噪声环境下，算法存在稳定性问题。另一方面，近年来也有学者结合湍流退化图像的特性进行多帧湍流退化图像复原［13］，但这些多帧复原算法大多处理时间长，且在观测帧空间不齐时需进行匹配预处理，这增加了算法的难度和图像复原时间。

基于以上分析，本文在前人研究的基础上［1～7］，提出一种基于关键帧约束和交替迭代的多帧湍流图像盲复原算法。为解决单帧复原时可利用的先验信息有限且不可靠、观测帧空间不齐时需匹配的问题，该算法先从输入图像序列中提取出关键帧，然后根据关键帧之间的相似性，构造出关键帧间相似矩阵，以此作为约束指导PSF的复原。为解决多帧复原时耗时长的问题，采用变量分离和增广拉格朗日方法对代价函数进行交替迭代，以达到快速性估计PSF和恢复图像的目的。

2 多帧短曝光退化图像模型

通常假设短曝光湍流退化图像的点扩散函数是空间移不变的，湍流退化图像模型可简化为目标图像和点扩散函数的卷积过程，表达式如下：

式中，⊗表示空间卷积运算，u表示原始图像，hi表示第i个通道的模糊核，通常假设点扩散函数之间{h1，h2，…，h L}是互质的，gi表示得到的观测序列，即退化图像序列，n为加性噪声，L是待复原的观测帧数目。

3 算法原理

3.1 算法概述

为了提高处理速度和复原图像的质量，在图像预处理阶段，利用关键帧提取算法自适应提取出关键帧湍流图像，然后在频域内分别构造估计原始图像和点扩散函数的代价函数方程，通过各向同性总变分模型约束指导图像复原，利用关键帧间相似矩阵约束来指导PSF复原，采用变量分离和增广拉格朗日方法对代价函数交替迭代最小化求解，最后当算法满足收敛条件时，得到复原结果。算法整体流程图如图1所示。

图1 算法流程图

3.2 提取关键帧

对于同一时间、同一地点获得的观测帧而言，方差值过大或者过小的图像，可能是异常值［2］。在得到观测帧序列后，采用基于方差的序列图像关键帧提取算法提取出关键帧。算法流程如下：

表1 关键帧提取算法

得到观测帧序列的关键帧后，下一步的目标就是估计点扩散函数，通过图像U迭代和点扩散函数h迭代估计出点扩散函数后，最后再做一个非盲反卷积，即可得到最终估计的清晰图像。算法详细的

流程如图2所示。

图2 算法详细流程图

3.3 点扩散函数和目标图像的估计

多帧湍流退化图像复原的代价函数表达式为

其中，第一项代表数据保真项，γ为权重参数，hk代表第k个观测帧未知的模糊核，gk代表第k个模糊观测帧，‖·‖代表l2范数，Q(u)是图像的约束项，R({ hk})是模糊核的约束项，为了求解方便，这里假设输入的每一帧观测图像的方差都是相同的。

求解上述代价函数问题时，一般是采用变量分裂的方法［13］，通过添加辅助变量，分解成含有l2范数和l1范数优化的子问题，然后使用增广拉格朗日方法［14］对子问题交替迭代最小化进行求解［15］，本文将上式分解为以下两个代价函数：

下面将介绍如何交替迭代求解以上两个代价函数。

3.3.1 点扩散函数的估计

为简化理论分析，这里假设用2帧（K=2）图像做复原来做推导，设模糊图像gk的尺寸为M，原始清晰图像u的尺寸为N，点扩散函数的尺寸hk为L。用来表示点扩散函数hk的估计，如果=hk，根据卷积的交换性质，则有

用向量矩阵来表达上式，则写为

其中δ是权值参数，矩阵R(h)的最小特征值记为λ1，最小特征值λ1对应的特征向量即为点扩散函数的估计向量［10］，RΔ的表达式为

Φ(h)是保证点扩散函数稀疏性和能量性的函数，表达式为

ψ(t)为

根据Harikumar［11］和FilipŠroubek等［10］的参考文献，用输入的观测帧构建的相似矩阵R(h)可以作为点扩散函数的约束项，式（6）、（7）和（8）表明相似矩阵R(h)的零空间代表的就是点扩散函数的值。

3.3.2 目标图像的估计

对于式（3），Q(u)采用图像梯度幅值的各向

同性TV模型约束，表达式为

其中ϕ(x)=‖x‖，利用向量矩阵表达Q(u)，上式可以改写为

其中Dx和Dy均是矩阵，分别表示对x和y的求导，这样式（3）就变为

采用变量分裂的思想，用vx代替Dxu，用vy代替Dyu，这样就产生了如下的约束问题：

该约束问题和式（7）等价，使用增广拉格朗日方法（或者分裂Bregman迭代法）处理该约束问题时，构建的代价函数为

采用交替迭代法，去求解该代价函数，其算法流程如表2所示。

表2 图像迭代算法

在迭代算法中，参数ax和ay是由于使用ALM算法而引入的，在迭代过程中，只要让参数α持续增大，这样就可以保证式（15）约束问题得到收敛。由于函数Φ是一个低阶的半连续的，具有proper和convex性质的函数，且[DTx，DTy]T是一个列满秩矩阵，这样就可以保证在参数α相对较小的情况下使式（3）约束问题收敛。

从算法步骤中可以看出来，使用变量分裂后，对每一帧而言，最小化vx和vy时，可以相互独立的迭代进行。

4 实验结果与分析

为验证本文所提算法的有效性，本文分别针对仿真模糊图像和真实模糊图像做出了两组对比性实验，对比的方法都是近年来在图像盲复原领域中较为先进的方法。模拟数据采用256piexls×256piexls的海事卫星湍流退化仿真图像。图像实测数据采用的是Zhu等［13］提供的大气湍流图像测试数据库。客观评价指标上，用PSNR、GMG、LS来衡量图像的复原效果［16］。实验条件为CPU Intel®Core（TM）i3-4160 CPU@3.60GHz，RAM 4GB的计算机上使用Matlab R2013b完成的实验仿真。

4.1 模拟湍流退化图像数据实验

在模拟湍流退化图像复原实验中，本文测试了Filip等［11］的多帧快速迭代最小化算法、Xiang等［13］的多帧湍流盲反卷积法进行对比，实验中，各个算法的参数均已调到最优。测试的输入图像为15帧，分别是10帧湍流退化程度相对较弱的图像和5帧湍流退化程度相对较强的图像。

输入的15帧湍流退化图像如图3所示。

图3 输入的15帧湍流退化图像

采用基于方差的序列图像关键帧提取算法提取关键帧时，提取的关键帧为第1，2，4，5，6，7，9帧。实验中发现，当阈值设为0.95倍的输入序列的方差平均值时，即threshold=0.95*时，复原效果更优。

图4是各个算法复原结果图。

图4中，图（b）是文献［11］的原始算法对15帧输入图像处理的复原结果，由于未做提取关键帧的处理，因此复原结果比较差，未能恢复出图像的细节，尤其是卫星的中心轮廓及天线部分依旧很模糊。图（c）是采用基于方差处理得到的结果，可以看出，本文提出的基于关键帧的提取算法对多帧图像复原结果有一定提升，可以看清卫星的整体轮廓和天线部分。本文算法处理效果好的原因就在于算法首先对输入的多帧图像做了提取关键帧的处理，这就避免了观测质量较差的图像错误指导图像盲复原。而文献［13］提出的基于B样条插值的非刚性图像配准的方法在处理模拟湍流退化图像时表现很不理想。相比之下，本文提出的算法不需要对多帧图像做配准对齐预处理，也能达到比较好的复原效果。

图4 复原结果对比

表3 复原结果指标统计

从表3中可以看出本文算法的实验指标整体上要优于其他两种算法。虽然文献［11］的峰值信噪比指标值要高于本文算法对应的峰值信噪比，但本文算法的复原结果从视觉效果上远远优于文献［11］的复原结果，且灰度平均梯度（GMG）和拉普拉斯梯度模（LS）的指标值优于文献［13］。这从另一方面也表明，要想客观公正的评价图像复原结果，需要从视觉质量和技术指标上综合评价。

4.2 实测数据实验

为进一步验证本文算法的实用性，本文选取了文献［13］给定的湍流测试数据库进行了实验，采用10帧月球表面（Moon Surface）的湍流退化图像进行测试。输入的10帧Moon Surface湍流退化图像如图5所示。

采用基于方差的关键帧提取算法提取出的关键帧为第1，2，3，4，5帧共5帧图像，各个算法的复原结果及技术指标如下所示。

图5 输入的10帧Moon Surface图像

图6 Moon Surface各算法复原结果

表4 各算法实验结果指标统计

从视觉效果上看，文献［13］的处理结果和输入图像比较相似，复原恢复程度不是特别明显。文献［11］算法的复原结果导致图像出现了变形，而本文提出的基于关键帧约束和交替迭代的算法，在使用基于方差的关键帧提取算法之后，提取出了关键帧，即对复原效果有提升的输入帧，使得图像的复原结果优于其他算法。同时，本文提出的算法指标值也高于其他算法，综合图6与表4，可以看出本文算法复原结果相较其他的算法，具有更好的质量。

5 结语

本文提出一种基于关键帧间矩阵约束的多帧湍流图像盲复原算法。算法不仅解决了单帧图像复原时信息有限的问题，而且解决了观测帧序列空间不齐需匹配的问题。通过实验结果可知，文中算法对图像取得较好的复原效果，具有更好的主观客观质量。文中算法仅考虑序列图像之间的帧间约束，并没有深入研究自然图像的先验约束，下一步考虑将这两种约束结合在一起，构造更有利于得到复原图像的约束条件方程。