PSF估计与随机森林特征增强的超分辨率重建

郑 艳,白 旭,金 鑫,陈克海

(1.广东工贸职业技术学院 测绘遥感信息学院,广州 510510;2.中石化石油工程设计有限公司,山东 东营 257000;3.北京城建勘测设计研究院有限责任公司,北京 100101)

图像的超分辨率重建技术是指利用序列低分辨率图像之间的互补信息得到更高分辨率的图像。由于这种算法处理方式比提高硬件的方式成本更低,且更有效,所以遥感影像在商业、医学、军事、林业等各个方面得到应用。序列图像的超分辨率重建方法很多,例如基于频域的重建方法和基于空域的重建方法。基于频域的重建方法假设噪声和模糊对图像没有影响,忽略了点扩散函数(Point Spread Function,PSF)的作用,所以通常只能用于理想图像退化模型。

学者们相继又提出了递归最小二乘法[1]、离散DCT变换[2]和小波变换[3-4]等。这些方法考虑点扩散函数的影响,降低噪声和模糊对重建影像的影响,提高算法的效率和重建图像的质量。频域法重建过程简单、运行速度快,但针对复杂的图像退化模型,频域法处理效率较低,且难以加入先验知识。即在序列图像超分辨率重建应用中,以空域超分辨率重建方法为主。

空域超分辨率重建方法可以方便引入先验信息处理复杂的退化模型[5]。同时,经典的空域超分辨率重建处理方法有非均匀采样内插法(Non-uniform Sampling Interpolation,NUI)[6]、迭代反投影法(Iterative Back-Projection approach,IBP)、凸集投影法(Projection Onto Convex Sets,POCS)[7]、最大后验概率法(Maximum-A-Posteriori, MAP)等。针对图像中细节边缘信息,解决插值上采样时产生的边缘锯齿现象,提出边缘引导的插值算法,可以改善重建后图像的边缘细节信息;刘克俭等[8]通过将IBP算法与直方图均衡化结合,改善图像中的高频细节信息。武兴睿[9]提出一种基于PSF重构和改进MAP估计的自适应超分重建方法。

以上方法中,POCS方法具有原理简单、模型灵活、易引入先验信息等优点,在图像超分辨率重建领域应用广泛。基于POCS的改进方法,李慧芳等[10]针对POCS重建后图像的边缘振荡效应问题提出改进方法。肖杰雄等[11]针对POCS处理后图像边界信息质量降低的问题提出边缘质量保持的改进方法。王琳琳[12]提出基于预处理的POCS改进算法,房垚鑫[13]提出基于边缘检测的POCS改进算法。邵文浩等[14]提出基于亚毫米波成像的改进POCS超分辨率算法。POCS算法在影像分辨方面具有很大的潜力,本文发挥POCS方法的自身优势,针对该方法中PSF不准确和边缘等细节特征不足的问题,研究PSF估计与随机森林特征增强的超分辨率重建,并进行实验验证,证明该方法的可行性。

1 基于PSF估计与随机森林特征增强的POCS超分辨率重建方法

1.1 传统POCS方法及不足

传统POCS方法主要包括构建高分辨率初参考帧、运动参数估计、基于点扩散函数的图像修正三个步骤。

1)插值方法构建高分辨率初始参考帧。POCS方法采用双线性插值方法构建高分辨率初始参考帧,即利用一幅低分辨率图像,通过双线性插值的方法,从x方向和y方向上分别进行一次插值,得到一幅和目标分辨率图像相同分辨率的初始估计[15],见图1。

图1 双线性插值原理图

由图1可以看到,假设二维图像f(x,y)在Q11=(x1,y1)、Q12=(x1,y2),Q21=(x2,y1)以及Q22=(x2,y2)几个点的像素值已知,可求出P= (x,y)处的像素值,即进行x和y方向的线性插值。将得到的x方向的线性插值和y方向上线性插值进行式(4)运算,最终得到点P= (x,y)的双线性插值的结果。

(1)

(2)

(3)

(4)

2)运动参数估计。在进行序列LR图像的超分辨率重建之前,需要对序列图像之间的运动偏移量进行估计,也称为图像配准[16]。在凸集投影方法中,运动参数估计是指将低分图像上的每一个像素都精确配准到相应的高分图像上相应像素的坐标位置。常用的运动估计方法有仿射变换方法、图像像素递归法、基于块匹配的方法等。POCS方法中采用基于块匹配的运动估计方法。

3)基于PSF图像修正。在成像过程中总会存在着图像的退化现象,一般通过估计退化图像的PSF来恢复。在传统POCS方法中PSF由常见的高斯模型来表示:

(5)

式中:(x,y)为重建图像像素的横坐标与纵坐标;(X0,Y0)为点扩散函数的中心坐标;Sh为点扩散函数的支撑域,通常取3×3、5×5或7×7等。对于点扩散函数h(x,y)需要归一化操作,即:

(6)

式中:h′(x,y)为归一化后的PSF模板;(m,n)为PSF的作用范围。

经典POCS方法主要存在以下3个问题:

1)未对退化图像的PSF进行估计。PSF表示输入一点光源其输出时成像的光场分布[17]。PSF不仅表示点成像的形态,还反映出点成像过程中所受的其他干扰因素,是衡量一幅图像质量好坏的一个重要函数[18];可以有效地对退化图像的点扩散函数进行估计,大幅度提高重建图像的质量。经典POCS方法没有根据实际成像情况对退化图像的点扩散函数进行估计,默认使用高斯函数作为点扩散函数,忽略了点扩散函数对图像重建的影响。实际问题中由于噪声、模糊等降质因素的影响,点扩散函数往往较为复杂。因此,如何根据图像得到更精确的PSF是提高POCS方法的一个关键。未估计点扩散函数的重建结果见图2。

图2 未估计点扩散函数重建结果

由图2可以看到,未估计点扩散函数导致重建图像边缘不清晰、纹理细节信息较少,同时重建图像存在噪声和模糊,严重影响影像后期应用。

2)重建后的图像细节特征不清晰。POCS方法采用双线性插值方法构建高分辨率初始参考帧图像,导致重建后图像的边缘会产生锯齿现象,如图3所示。重建过程有效增强图像本身的细节特征生成更好的高分辨初始帧有助于重建效果的改善。

图3 默认参考帧图像重建结果

1.2 本文方法原理

基于对POCS方法的分析,提出了PSF估计与随机森林特征增强的超分辨率重建。随机森林是一种机器学习模型,训练速度快、不易陷于过拟合,且实现比较简单[19]。本文提出在参考帧生成阶段,利用随机森林方法训练图像的梯度特征,得到边缘增强图像,然后将边缘增强之后的图像与另一幅上采样图像进行加权融合,生成边缘增强的参考帧图像,清除POCS方法的初始帧锯齿现象。在PSF方面,采用比值稀疏约束模型估计图像的真实PSF,改善POCS方法中PSF不准确导致的超分辨率重建效果欠佳的问题。

本文算法的流程如图4所示,具体的步骤如下:

图4 图像重建流程

1)输入序列低分辨率图像gi(i=1,2,3,…,n);

2)对gi(i=1,2,3,…,n)的图像进行上采样,得到fi(i=1,2,3,…,n),利用随机森林方法对g1进行边缘特征增强、2倍上采样得到J,利用f1和g1加权平均得到参考帧图像f;

3)使用光流法对f与上采样后的fi(i=2,3,…,n)进行配准得到运动矢量Vx和Vy;

4)利用比值稀疏约束模型估计出f的PSF,确定窗口作用范围;

5)计算PSF窗口作用范围内当前序列图像的真实像素值与重建图像初始估计值之间的残差R,输入阈值T进行判断,根据残差R与阈值T的大小关系对多特征参考帧图像f做出修正,得到重建高分辨率图像P1和P2。

6)根据阈值T得到判断每帧低分辨率图像像素点是否都已完成处理,若完成将P1和P2加权平均,得到最后的超分辨率重建图像。

1.2.1 基于比值稀疏约束模型的PSF估计

在比值稀疏约束模型中,L1范数与L2范数的比值形式L1/L2被作为图像先验。当L1范数减小时,相比于L1范数,L2范数会缩小的更多,L1/L2的值变大。将L1/L2的值作为稀疏约束项,并对其进行优化求取最小值[17]。即:

(7)

式中:C为成本函数;x为未知空间中高频的清晰图像;y为观测图像;k为图像的点扩散函数;λ和ψ为正则化参数,用来控制k和正则化项的权重,其中第一项为数据保真项,第二项为L1/L2的正则项,是促进x的尺度不变的度量约束项。成本函数C中包含清晰图像x和点扩散函数k两个变量,从初始点扩散函数更新迭代至较大的点扩散函数。在多次迭代和更新过程中,不仅耗费大量时间还会出现误差。为了避免这种情况发生,通常将成本函数C分成两个方程,采用交替迭代的方式求解。

(8)

(9)

用以上模型估计图像的点扩散函数,更新x时,将正则化项的分母固定(看成常数),用迭代收缩阈值算法,计算更新k时使用迭代加权最小二乘法进行计算,最终得到图像的PSF。

1.2.2 基于随机森林的边缘特征增强

边缘特征是图像最基本的特征,一般指图像中局部不连续的区域,也是亮度反差变化最显著的部分,随机森林边缘增强方法的流程如图5所示。

图5 边缘增强方法原理

1)读取序列LR图像的第一帧g1,2倍上采样得到图像S;

2)对图像S利用随机森林方法进行边缘增强得到图像E,由于边缘增强之后的图像存在噪声,采用中值滤波对E进行降噪,得到参考帧图像f2。

其中随机森林边缘增强方法主要分为:特征提取阶段、随机森林训练阶段和验证阶段。特征提取阶段主要利用图像当中的一阶、二阶(水平和垂直)梯度对图像进行梯度特征提取;训练阶段主要对提取出的图像水平梯度和垂直梯度进行训练,得到有利于图像边缘增强的随机森林模型;验证阶段主要是输入退化图像对随机森林边缘增强方法进行验证。每个阶段的具体流程如图6所示。

图6 随机森林边缘增强方法流程

验证阶段:放大LR图像块y,计算所有图像块的梯度特征;通过LSH模型MLSH计算压缩特征;每个图像块使用压缩特征搜索叶节点,从训练的随机森林τ中获得相应的回归器;在所有的超分辨率图像块当中,通过利用叶子节点中的加权岭回归器R得到边缘增强后的图像。

2 实验与分析

2.1 实验数据介绍

城市区域地物类别多,场景复杂,易于对比参考,故以“珠海一号”视频卫星显示某城区数据为研究源,进行超分辨率重建实验,并与IBP方法、POCS方法和文献[4]算法进行对比分析,实验结果如图7～14所示。为了验证本文方法和POCS改进算法[20]的对比效果,进行了第二组数据实验。实验结果如图15所示。

图7 城镇区域R分量图像超分辨率重建结果

图8 城镇区域R分量图像超分辨率重建结果细节图

图9 城镇区域G分量图像的超分辨率重建结果

图10 城镇区域G分量图像超分辨率重建结果

图11 城镇区域B分量图像超分辨率重建结果

图12 城镇区域B分量图像超分辨率重建结果细节图

图13 城镇区域真彩色图像超分辨率重建结果

图14 城镇区域真彩色图像超分辨率重建细节图

图15 与文献[20]的超分重建结果对比

2.2 实验结果及分析

图7、图9、图11分别为实验的城镇区域R、G、B分量的超分辨率重建结果,图13为由R、G、B分量合成的彩色图结果展示,图8、图10、图12、图14分别为实验区域的红框标注区域的局部细节展示。从图7、图9、图11的三组整体图可以看出,本文方法重建后的R、G、B分量整体更清晰,比迭代反投影方法、传统POCS、文献[4]方法更具优势,对比图8、图10、图12的细节部分,可以看到,迭代反投影方法重建后,图像有噪声现象,传统POCS和文献[4]方法效果相差不多,但传统POCS平滑现象更明显,细节不清楚,本文方法的重建图像在建筑物边缘、地物分界处、道路边缘方面都更清晰,细节更好,整体上也没有噪声和过平滑的现象。从R、G、B分量合成的彩色图13和图14也可以看出,迭代反投影方法的噪声更明显,传统POCS平滑更突出,文献[4]方法的边缘细节明显没有本文方法多。

对比分析可知,本文方法处理后的图像增强清晰度,同时提升整体地物的细节信息更加丰富,噪声明显减少,边缘轮廓清晰,图像质量提高。

本文利用信息熵与平均梯度两个指标对重建图像进行质量评定,信息熵指标评定结果如表1所示,平均梯度指标评定结果如表2所示。第二组实验的评价指标如表3所示。

表1 RGB图像信息熵评价指标 dB

表2 平均梯度评价指标 dB

表3 平均梯度评价指标 dB

通过表1、表2的客观评价结果可以看到,本文所选的不同区域的影像重建结果的客观评价指标相比其他算法都有很明显的提高,本文方法的信息熵整体比其它方法提升了约0.1～0.5 dB,平均梯度提升了约0.5～2.0 dB。表3中本文方法比文献[20]方法信息熵提高了约0.06 dB,平均梯度提高了约0.03 dB,说明本文方法优于新的POCS方法。

3 结束语

为了解决POCS算法重建后图像边缘模糊、图像细节信息不足的问题,本文提出了PSF估计与随机森林特征增强的超分辨率重建。选用了两组卫星数据进行了验证,实验结果与IBP方法,经典POCS方法、文献[4]、文献[20]算法进行对比。分析实验结果,从视觉分析角度评价,本文方法影像边缘信息和细节信息更加丰富;从定量指标角度评价,本文方法的信息熵整体上比IBP、经典POCS、文献[4]、文献[20]方法提升了约0.06～0.5 dB,平均梯度提升了约0.03～2.0 dB;在主观和客观两个角度,都说明了本文方法优于其它4种对比方法。本文提出的方法具有提高边缘保持能力和增强纹理细节信息的效果,能够改善图像质量,为后期的应用提供更好的数据。