基于非局部全变分正则化优化的单幅雾天图像恢复新方法

何人杰 樊养余 WANG Zhiyong FENG David



基于非局部全变分正则化优化的单幅雾天图像恢复新方法

何人杰*①②樊养余①WANG Zhiyong②FENG David②

①(西北工业大学电子信息学院陕西省信息获取与处理重点实验室 西安 710129)②(悉尼大学信息技术学院 悉尼 2006)

该文针对无雾图像具有高灰度对比度且大气遮罩局部平滑的特性，提出一种基于非局部全变分正则化优化的单幅雾天图像恢复新方法。先构建一种基于非局部全变分正则化的有约束优化算法对大气遮罩进行估计，然后通过优化Bregman分离迭代法求解非局部Rudin-Osher-Fatemi模型获得准确的大气遮罩，进而从雾天场景图像恢复出场景图像。实验结果表明，所提新方法可以有效地对雾天降质图像进行复原，对多纹理复杂区域的恢复效果也较好。

图像处理；图像去雾；对比度增强；正则化优化

1 引言

在户外条件下，可见光成像系统往往受到大气悬浮颗粒物散射的影响，导致采集到的图像产生对比度下降、颜色失真以及模糊等退化现象[1]。并且，这种退化往往导致目标识别、特征提取、道路监控等相关机器视觉算法不能高效地运行，甚至严重影响飞机着陆、汽车与轮渡驾驶。在雾霾异常严重的当今，先进图像降雾技术的研究的重要性和迫切性尤为突出。实际上，基于单幅图像的去雾方法的研究目前已经受到图像处理和机器视觉领域科研人员的高度重视。

单幅图像去雾技术可大致分为基于图像增强的恢复方法[2,3]与基于物理模型的恢复方法两大类。其中，基于图像增强的恢复方法利用较成熟的图像处理算法对雾天降质图像进行有针对性的增强，例如提高图像对比度，突出场景特定边界特征等。然而，这类方法往往导致场景信息的丢失与恢复图像的失真。基于物理模型的方法一般通过分析图像退化的物理过程，根据假设或者先验知识对其建模和求解。由于建立了雾天条件下的成像模型，这类方法相较于基于图像增强的恢复方法在复杂场景下可得到更好的去雾效果。

现有物理模型将雾天条件下获取的图像看成场景反射光的衰减并与大气光的叠加[8]。然而，从该模型中直接恢复场景图像需要求解一个病态方程。近年来许多算法通过引入先验知识对模型进行求解。文献[9]指出场景无雾图像的亮度对比度远高于有雾图像的，并利用马尔可夫随机场恢复出大气光，从而显著改善了降质图像。然而，由于该方法本质上并未通过物理模型恢复场景图像，恢复的图像往往出现光晕效应以及饱和度过高的缺点。文献[10]基于场景颜色统计特性提出表面返照率与色度系数不相关的先验信息，并用独立成分分析对图像进行恢复。然而，由于该算法基于对彩色图像的统计信息，在浓雾区域由于色彩信息缺失可能导致算法失效。文献[1]基于无雾图像的统计特性提出了暗原色先验方法，利用软抠图算法对求得的大气介质透射率进行细化并恢复出场景图像。但是，该方法得到的结果可能在明亮区域产生颜色失真。文献[11]提出了大气遮罩(atmospheric veil)的概念并通过中值滤波得到大气遮罩，进而恢复出场景图像。该方法具有较高的计算效率，但由于中值滤波不能很好地保持图像边缘特征，恢复的图像中往往存在光晕或假轮廓。

本文基于无雾图像具有高对比度且大气遮罩局部平滑的特性，提出了一种基于非局部全变分正则化优化的对比度增强算法对大气遮罩进行估计，进而恢复雾天场景图像的方法。我们首先推导出大气遮罩的理论边界，并采用优化Bregman分离迭代法求解非局部Rudin-Osher-Fatemi(ROF)[12]模型，从而获得准确的大气遮罩并进而获得最终的恢复图像。

2 雾天成像模型

在计算机视觉领域中，Koschmieder模型[8]被广泛地用于描述雾天条件下场景的成像过程：

由于式(3)是一个非凸的优化问题，直接求解十分困难，Tarel等人采用改进的中值滤波进行求解。由于中值滤波并不能很好地保持图像边缘信息，因此文献[11]的方法往往导致恢复图像产生残留雾气和图像边界处光晕效应明显地出现[13]。

3 本文方法

为了准确地估算大气遮罩，本文基于无雾图像具有亮度对比度高且大气遮罩局部平滑的特性，提出使用非局部全变分函数构建正则化函数，并进而用基于Bregman分离迭代的优化算法对雾天图像大气遮罩进行估计，从而实现从雾天图像恢复无雾场景图像的新方法。本节主要论述基于非局部全变分正则化优化的大气遮罩估计和场景图像恢复。

3.1基于非局部全变分正则化优化的大气遮罩估计

由式(2)可知，大气遮罩估计的性能直接影响着恢复图像的精确度。由于文献[11]使用的基于灰度世界的白平衡算法对于色彩数量较少的图像或单一色彩区域有一定的局限性。为了克服这一问题，我们首先使用文献[14]中算法获取准确的大气光值。

为了避免使用中值滤波而产生的残雾和光晕，我们通过求解式(4)中的等效优化问题来估计大气遮罩：

在很小的局部图像块中，大气介质透射率一般可看作为常数并且其值仅在景深边缘处发生较大变化[1]。由大气遮罩物理意义和定义可知，大气遮罩在局部图像块中一般具有接近常数的特性，在景深边缘处则可能发生较大变化，也就是说，大气遮罩在局部区域内具有平滑性。因此，要求正则化函数既要能保持大气遮罩的平滑性，也要能保留大气遮罩在景深边界处的跳跃性。为此，我们提出采用非局部全变分(NLTV)函数作为正则化函数。相较于经典的局部全变分函数(LTV)，非局部全变分能够克服LTV局部操作所导致的图像细节被过度平滑的现象。而且，由于利用了图像块之间相似性的非局部操作，NLTV在保证的平滑性的同时还能更好地保持图像的边界信息。非局部全变分函数NLTV可定义为

引入非局部全变分以及边界约束后式(4)可写为

当选取全变分的函数为正则项时，式(8)可看作为标准Rudin-Osher-Fatemi(ROF)模型，并可以通过Chambolle投影算法进行优化求解。本文采用作为正则项，则式(8)变为非局部ROF模型，从而可采用优化Bregman分离迭代算法进行迭代求解如式(9)。

3.2场景图像恢复

尽管大多数情况下利用式(12)可以得到一个令人满意的无雾场景图像，然而，由于在成像过程中不可避免会引入噪声，当雾较浓时或者场景距离观察者很远时，大气遮罩的值往往很大。直接使用式(12)恢复场景图像会导致噪声被放大。我们可通过式(13)说明这个过程，当越大时越趋近于0，噪声可能会被放大数十倍。

为了避免这一现象，现有大部分单幅图像去雾算法往往通过设定大气介质透射率的下界为来防止恢复出的图像中产生颜色失真。在本文中，为了便于与现有算法进行对比，我们令来避免由于过大所造成的噪声干扰。

4 实验结果与分析

为了验证本文算法的有效性，我们选取了最具代表性的4种单幅图像去雾方法(见文献[1]，文献[9]，文献[10]，文献[11])进行对比。本文算法所用平台为Windows 7, Intel Xeon E3 3.3 GHz, 8 G内存，仿真软件为Matlab R2013。若图像中的像素总数为且邻域中像素数为，通过分析可知本文算法的复杂度为。设置最大迭代次数为50，对于大小为800600的图像，本文方法的平均处理时间为3.74 s。文中选取了去雾算法中具有代表性的House, Manhattan, Yosemite和Cones 4幅测试图像进行对比实验。其中，House为去雾算法中的经典测评图像，Manhattan与Yosemite图像中场景深度变化较大，Cones中的雾气浓度较大。我们首先对实验结果进行了主观评述，并采用了图像质量评价指标对不同算法结果进行了客观评估。

4.1主观评估

我们将本文试验结果分别与上述文献中4种算法结果进行了对比，结果如图1~图4所示。图(a)分别为观察到的雾天降质图像，图(b)~图(f)分别为采用文献[1]，文献[9]，文献[10]，文献[11]算法的结果以及采用本文方法的结果。图1中，场景纹理较复杂，并且包含了景深渐变和突变的区域。仔细观察可知，4种算法都可以恢复出较为满意的结果。文献[1]算法颜色自然，但是对于大气介质透射率较小的区域则不能很好地恢复景物细节。文献[9]算法可以显著地增强图像的对比度与细节信息，然而由于是基于对比度增强处理，放大图像(如图1(i))产生了明显的颜色饱和，并且在景深突变处产生了光晕。从图1(j)中可以看出，文献[10]算法在景深变化平缓区域能取得很好的结果，但在雾气较浓的区域，则不能完全消除雾气。文献[11]算法则在雾气较浓的区域产生了色彩偏差，并且不能很好地对细节丰富的多纹理区域进行恢复，其恢复结果在纹理边缘处也产生了明显的光晕。

图1 House实验结果

图2 Manhattan实验结果

图3 Yosemite实验结果

观察图2~图4的结果亦可得到相似的结论。其中，图4相较于其他图像，雾气浓度更大。由于文献[1]限制大气介质透射率的最小值为0.1，因此在浓雾情况下文献[1]方法恢复的图像亮度较低。本文提出的新方法的实验结果则较好地保持了恢复图像的亮度。

图4 Cones实验结果

4.2客观评估

目前，图像去雾质量的评估尚未有统一的客观评价标准。针对去雾前后图像可能存在的差异，本文选用了无参考图像质量评价(BRISQUE)[15]以及对比度增强评价函数集[16]作为评价指标。对比度增强评价函数集包含了新增可见边缘数比例，可见边缘规范化梯度均值以及极限亮度像素数量百分比3个指标，分别定义为

表1给出了图1~图4中各种方法的恢复结果的客观指标。从表1中我们可以发现在绝大多数指标中本文算法都具有最优的结果。在图4的结果对比中，虽然文献[10]方法具有最好的与值，但是其恢复结果却产生了严重的颜色偏差。

表1图像恢复结果的评价指标对比

5 结束语

针对无雾图像具有较高的对比度且大气遮罩局部平滑的特性，本文提出了一种基于非局部全变分正则化优化的单幅雾天图像恢复新方法。我们首先构建了一种基于非局部全变分正则化的有约束优化模型对大气遮罩进行估计，然后通过优化Bregman分离迭代法求解非局部ROF模型并获得准确的大气遮罩，进而通过雾天成像模型复原出场景无雾图像。对实验结果的主观和客观评估表明，本文方法可以有效地对雾天图像进行复原，且对多纹理复杂区域也有很好的复原效果。我们发现在绝大多数指标中本文所提出的新方法都具有最优的结果，即具有最好的与值，和颜色保值特性。本文为了简化图像的恢复过程，并未针对噪声对恢复结果产生的影响进行详细探讨。在未来的研究中，我们将针对去雾过程中的降噪问题进行深入研究。

参考文献

[1] HE Kaiming, SUN Jian, and TANG Xiaoou. Single image haze removal using dark channel prior[J]., 2011, 33(12): 2341-2353. doi: 10.1109/TPAMI.2010.168.

[2] 毕笃彦, 葛渊, 李权合, 等. 单幅图像去雾方法研究[J]. 空军工程大学学报: 自然科学版, 2013, 14(6): 46-53. doi: 10.3969/j.issn.1009-3516.2013.06.012.

BI Duyan, GE Yuan, LI Quanheng,. A research on defogging methods with single image[J].:, 2013, 14(6): 46-53. doi: 10.3969/j.issn.1009-3516.2013.06.012.

[3] MI Z, ZHOU H, ZHENG Y,. Single image dehazing via multi-scale gradient domain contrast enhancement[J]., 2016, 3(10): 206-214. doi: 10.1049/iet-ipr. 2015.0112.

[4] HE R, WANG Z, FAN Y,. Combined constraint for single image dehazing[J]., 2015, 51(22): 1776-1778. doi: 10.1049/el.2015.0707.

[5] WANG Dan and ZHU Jubo. Fast smoothing technique with edge preservation for single image dehazing[J]., 2015, 9(6): 950-959. doi: 10.1049/iet-cvi.2015.0063.

[6] WANG Jinbao, HE Ning, ZHANG Lulu,. Single image dehazing with a physical model and dark channel prior[J]., 2015, 149(PB): 718-728. doi: 10.1016/j.neucom.2014.08.005.

[7] WANG Zhongliang and FENG Yan. Fast single haze image enhancement[J].&, 2014, 40(3): 785-795. doi: 10.1016/j.compeleceng.2013.06. 009.

[8] NARASIMHAN S and NAYAR S. Vision and the atmosphere[J]., 2002, 48(3): 233-254. doi: 10.1023/A:1016328200723.

[9] TAN R. Visibility in bad weather from a single image[C]. IEEE Conference on Computer Vision and Pattern Recognition, Alaska, USA, 2008: 1-8.

[10] FATTAL R. Single image dehazing[J]., 2008, 27(3): 1-9. doi: 10.1145/1399504.1360671.

[11] TAREL J and HAUTIERE N. Fast visibility restoration from a single color or gray level image[C]. IEEE International Conference on Computer Vision, Kyoto, Japan, 2009: 2201-2208.

[12] RUDIN L, OSHER S, and FATEMI E. Nonlinear total variation based noise removal algorithms[J]., 1992, 60(1): 259-268. doi: 10.1016/ 0167-2789(92)90242-F.

[13] 吴迪, 朱青松. 图像去雾的最新研究进展[J]. 自动化学报, 2015, 41(2): 221-239. doi: 10.16383/j.aas.2015.c131137.

WU Di and ZHU Qingsong. The latest research progress of image dehazing[J]., 2015, 41(2): 221-239. doi: 10.16383/j.aas.2015.c131137.

[14] SULAMI M, GELTZER I, FATTAL R,. Automatic recovery of the atmospheric light in hazy images[C]. IEEE International Conference on Computational Photography, Santa Clara, USA, 2014: 1-11.

[15] MITTAL A, MOORTHY A, and BOVIK A. No-reference image quality assessment in the spatial domain[J]., 2012, 21(12): 4695-4708. doi: 10.1109/TIP.2012.2214050.

[16] HAUTIERE N, TAREL J, and AUBERT D. Blind contrast enhancement assessment by gradient ratioing at visible edges[J].&, 2008, 27(2): 87-95. doi: 10.5566/ias.v27.p87-95.

Novel Single Hazy Image Restoration Method Based on Nonlocal Total Variation Regularization Optimization

HE Renjie①②FAN Yangyu①WANG Zhiyong②FENG David②

①(,,,’710129,)②(,,2006,)

Based on the property that the scene radiance is of high contrast and the atmospheric veil is locally smooth, a novel single hazy image restoration method based on nonlocal total variation regularization optimization is proposed in this paper. In order to obtain the atmospheric veil of a hazy image, a constrained nonlocal total variation regularization is firstly applied. Then, the accurate atmospheric veil is estimated using a nonlocal Rudin- Osher-Fatemi model, which is solved by a modified split Bregman method. Experimental results demonstrate that the proposed approach is capable of recovering the scene radiance from a single hazy image effectively, especially for the regions with multi-texture.

Image processing; Image dehazing; Contrast enhancement; Regularization optimization

TP391

A

1009-5896(2016)10-2509-06

10.11999/JEIT160208

2016-03-07；改回日期：2016-07-14；网络出版：2016-08-26

何人杰 davidhrj@163.com

国家自然科学基金(61420106007)，陕西省科技统筹创新项目

The National Natural Science Foundation of China (61420106007), Shaanxi Science & Technology Co-ordination & Innovation Project

何人杰： 男，1986年生，博士生，研究方向为图像增强与恢复、图像去雾与去湍流、机器视觉及其应用.

樊养余： 男，1960年生，教授，博士生导师，主要研究方向为图像处理与虚拟现实技术.

WANG Zhiyong： 男，讲师，主要研究方向为图像与视频处理、多媒体技术.

FENG David： 男，教授，主要研究方向为生物医学与多媒体信息技术.