雾霾图像复原技术研究

陈阳，李浩，禹凤

（1．广东省计算中心，广州510000；2.华南理工大学电子与信息学院，广州510000）

雾霾图像复原技术研究

陈阳1，李浩2，禹凤2

（1．广东省计算中心，广州510000；2.华南理工大学电子与信息学院，广州510000）

雾霾造成视野的限制，使图像模糊以及色彩淡化，进而影响图像的后续处理。利用暗通道先验和导向滤波方法能有效地进行雾霾图像复原，增强其可视性。在处理雾霾图像复原的基础上，对雾霾视频进行雾霾复原处理，利用时间轴信息的暗通道先验方法能有效提高雾霾视频处理的效率及增强处理后的雾霾复原视频的色调统一性。

雾霾复原；暗通道先验；时域信息

0　引言

由于雾霾的存在，沿着视线通路的光强度会逐步衰减；另外，因大气粒子而反射到视线通路中的空气光与入射光混合，造成图像退化。以上因素，最终导致图像可视性降低、颜色偏移等，因此在图像处理和计算机视觉应用方面，去雾霾是非常需要的。早期用于雾霾复原的方法主要是依赖于一些额外的附加信息，如深度信息、关于相同场景的多个观察等[1~3]。这些方法依附于额外信息，有着较为严格的要求，因而不能有效地解决雾霾在多个不同领域中所带来的问题。基于对新的图像模型和先验知识的有效探索，最近一些研究已经获得了显著的进步[4~7]。Fattal[4]提出了一个成像模型，用于计算表面着色以及场景透射率，但它不能很好地处理厚重的雾霾图像，还可能在假设不成立的情景下失效。Tan[5]通过最大化复原图像的对比度来去除雾霾，该方法适用有厚重雾霾的区域，但不是一个物理合理的方法，重建的图像通常都会有颜色失真和光晕问题出现。He[6]提出了暗通道先验来处理单幅图像去雾霾，并且配合软抠图或者导向滤波，这个先验知识能以非常高的质量复原一张雾霾图像。Kratz[7]的方法能复原出一个有着良好边缘信息无雾霾图像，但结果通常会过度增强。

本文运用暗通道先验法对雾霾图像进行处理，去雾霾后的图像在主观上更清晰和色彩更丰富，而且对应的均值降低、平均梯度上升及熵提高，客观上反映了算法的有效性。基于雾霾图像复原，对雾霾视频进行时域信息改进，去雾霾效果与每帧独立处理效果相差无几，且处理效率明显提升。

1　雾霾成像模型及去雾霾算法

1.1雾霾图像成像模型

大气散射模型如图1所示。到达成像设备的光主要由两部分组成：一部分为经大气衰减后的场景光，另一部分为周围环境中的各种光经过大气悬浮微粒所产生的散射光。

图1　大气散射模型示意图

雾霾图像公式化的模型如下：

I表示观测到的亮度，J表示场景光，A表示全局大气光，t表示介质透射率。

1.2雾霾图像复原算法

（1）暗通道先验

在He[6]中，提出了暗通道先验，暗通道公式化：

Jc表示J的一个颜色通道，Ω（x）表示以x为中心的一个局部块。

运用暗通道的概念，他们的观测——如果J是一张户外无雾霾图像，那么除了天空区域，J的暗通道是很低的并且趋向于零：

这个观测就叫暗通道先验。

（2）透射率估计

用A来标准化雾霾图像方程（1）：

方程（4）两边进行暗通道为:

根据暗通道先验，简单地估计透射率t˜（x）（假定透射率在一个块中是恒定的）:

如果完全移除掉雾霾，图像会显得不自然，所以在（6）中引入一个常数参数ω（0＜ω≤1）：

暗通道先验是很有效的，但有一些光晕和方块效应，因为透射率在块中不一定恒为常数。

（3）导向滤波

导向滤波是由局部线性模型发展而来，它通过利用导向图的内容来进行滤波操作。在一个像素i的滤波输出可以用一个权重平均给出：

其中，导向图像I，输入图像p和输出图像q。

q是I的一个线性转化：

（ak，bk）是假定在ωk中是常数的线性系数，ωk是一个像素k为中心半径为r的正方形窗口。

通过线性回归对此方程

E（ak，bk）=移（（akIi+bk-pi）2

i∈wk）求解，得：是导向图I在窗口ωk中的平均值和方差，|ω|是在ωk中的像素数量，而是在ωk中的p的平均值。

对图像中的所有块ωk相对应的（ak，bk）进行滤波输出处理，得：

（4）大气光估计

一幅雾霾图像的暗通道可以近似为雾霾浓度，所以可以使用暗通道来检测雾霾最浓的区域和提高大气光估计的准确性。首先挑选出在暗通道中占最亮的0.1%的像素点。然后在这些像素点中，在输入图像I中有着最高亮度的像素点就可以挑选作为大气光。

（5）对J进行修正

如果t（x）的值非常接近0，复原得到的无雾霾图像会有较多的噪声。因此，要给透射率t（x）制定一个最小值限制t0。最终场景恢复：

1.3利用时域信息的视频去雾霾算法

视频由一幅幅静态图像组成的，但视频相对图像来说，最重要的一点就是有时域的存在，那么确定一个合理却有效的雾霾视频复原方法，时域信息的利用是必要的。时域的利用体现在视频处理中就是帧与帧之间信息的重复利用，即把前一帧甚至前几帧的图像及处理结果用到当前帧的处理中来。

基于暗通道先验雾霾图像复原算法，可以重复利用的信息：计算得到的透射率图、当前的大气光等。

（1）时域中透射率图的复用

在雾霾视频处理中，导向滤波器这一步为：把当前帧的输入图像的灰度图Igray作为导向图，基于视频的帧与帧之间的连续性，把上一帧的透射率图tn-1（x）作为输入图，得到当前帧精细的透射率图tn（x）。

（2）时域中大气光的复用

在处理雾霾视频时，A是变动的。时域中大气光的复用方法是基于这样一个事实：上一帧的透射率图已经求出。对于上一帧的透射率图，挑选出在其中占最暗的0.1%的像素点。这些像素点代表的是透射率最低、雾霾最浓的区域。然后，在这些像素点中，在输入图像I中有着最高亮度的像素点就可以挑选作为大气光A的即时估计。计算当前帧的大气光，考虑即时计算的大气光An的同时，也保留一定的上一帧的大气光An-1的影响。所采用的公式如下：α是调节影响度的系数。

2　实验结果及分析

文中分别针对静态场景和视频进行了大量的去雾实验，实验中ω、t0、α取值分别为0.95、0.1、0.7。

2.1图像去雾霾结果及分析

基于暗通道先验和导向滤波的图像去雾霾算法的处理结果如图（b）。

从图2视觉效果来看，经去雾霾后，图像清晰度、对比度、饱和度都有明显提高，去雾效果明显。

图2　

从表1数据对比来看：

（1）随着图像尺寸的变大，处理时间变长，符合算法的基本规律，本文所采用算法的处理时间与其他算法相比时间较短；

（2）雾霾复原图像的平均值均有明显的降低，说明雾霾得到了有效的去除，亮度值得以降低；

（3）处理后，图像的平均梯度均得到了提高，即图像分辨率得以提高；

（4）在第一和第二组结果数据中，熵值均上升了，即图像的信息量得以增加。

2.2视频去雾霾结果及分析

由于图像与视频的相似性，所提到的主观和客观的指标都可以运用到视频处理中来。但一个较为突出不同之处是处理时间。处理时间在视频处理评价中更为重要。一般而言，处理时间越短，效果越好。

表1　图2的客观评价结果

影响实验结果的一个重要因素是待处理样本的选择。由于雾霾视频并没有一个通用的样本库，所以在本文中，选取用于进行视频去雾霾处理的视频是来源于网络的。下面给出每帧独立处理和利用时域信息的两种不同视频去雾霾处理的结果以及处理结果数据对比（处理视频的长宽为1112×624）：

图3　

从图3视觉来看：

（1）每帧独立处理得到的结果和利用时域信息处理的结果基本没什么差别，都对雾霾视频起到了去雾霾的作用；

（2）与每帧独立处理相比，利用时域信息的方法更能保证整体视频色调的统一性，而每帧独立处理的结果可能出现画面色调不同的情况，例如，每帧独立处理的第5帧和第21帧的处理结果的色调就有所不同，这是因为每帧独立处理只计算了本帧的大气光，产生误差的可能性较大。

其中，Meng[8]的处理算法是一个效率较高的单幅图像去雾霾算法。而Kim[9]的处理算法是一个专门用于处理雾霾视频的算法。

表2　多种方法处理时间对比

从表2可以看出，利用了时域信息的方法显然要比单幅图像去雾霾方法要更快速。虽然Kim采用的算法的处理速度并没有在本文表示出，但由于在Kim的论文中利用了迭代计算进行雾霾复原图的估计，这会导致计算量的不可估量，这种方法在实际应用中是不推荐的。

3　结语

本文利用暗通道先验对雾霾图像进行了雾霾复原实验，能有效地去除图像中的雾霾。基于雾霾图像处理的暗通道先验方法，对雾霾视频复原利用了时域信息的改进，即利用部分已获得的视频处理结果进行当前帧的处理，处理速度得到明显提升，计算时间的缩短提高了应用到实际生活的可能性。但是，如果视频中有剧烈的变换场景，即前几帧与当前帧没有相似处和联系，这个利用时域信息的处理方法可能会失效。

[1]Narasimhan SG，Nayar SK.Contrast Restoration ofWeather Degraded Images[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2003，25（6）:713～724

[2]Shwartz S，Namer E，Schechner Y Y.Blind Haze Separation[C].2013 IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society，2006:1984～1991

[3]Kopf J，Neubert B，Chen B，etal.Deep Photo:Model～Based Photograph Enhancementand Viewing[J].ACM Transactions on Graph～ics（Proceedings of SIGGRAPH Asia，2008，27（5）:32～39

[4]Fattal R.Single Image Dehazing[J].In Proc.ACM SIGGRAPH，2008，27（3）:1～9

[5]Tan R T.Visibility in Bad Weather from a Single Image[J].CVPR，2008:1～8

[6]He K，Sun J，Tang X.Single Image Haze Removal Using Dark Channel Prior[C].Computer Vision and Pattern Recognition，2009. CVPR 2009.IEEE Conference on.IEEE，2009:1956～1963

[7]Kratz L，Nishino K.Factorizing Scene Albedo and Depth from a Single Foggy Image[C].Computer Vision，2009 IEEE 12th International Conference on.IEEE，2009:1701～1708

[8]Meng G，Wang Y，Duan J，et al.Efficient Image Dehazing with Boundary Constraint and Contextual Regularization[C].Computer Vision（ICCV），2013 IEEE International Conference on.IEEE，2013:617～624

[9]Kim J，JangW，Park Y，etal.Temporally x Real～Time Video Dehazing[C].Image Processing（ICIP），2012 19th IEEE International Conference on.IEEE，2012:969～972

Haze Recovery;Dark Channel Prior;Time Domain Information

Research on the Image Restoration of Fog and Haze

CHEN Yang1，LIHao2，YU Feng2

（1.Guangdong Computing Center，Guangzhou 510000；2.School of Electronic and Information Engineering，South China University of Technology，Guangzhou 510000）

The phenomenon of haze causes low visibility,image blurring and color fading,thereby affecting subsequent processing of the image.By using dark channel prior and guided filtering,the haze recovery process to enhance the visibility of a series of images is successful.On the basis of the successful implementation of haze image restoration,dealswith haze video by using time-domain information.Using time line information and dark channel priormethod can effectively improve the efficiency of haze video processing and enhance the unity of fog and haze recovery video.

1007-1423（2015）16-0015-05

10.3969/j.issn.1007-1423.2015.16.004

陈阳（1984-），男，广东潮州人，本科，研究方向为计算机、电子信息技术应用研究

李浩（1991-），男，广东高州人，本科，研究方向为图像处理

禹凤（1990-），女，河南驻马店人，在读硕士研究生，研究方向为图像处理

2015－05－20

2015－06－01