采用自适应全局亮度补偿的夜间去雾算法

陈志恒，严利民，张竞阳

〈图像处理与仿真〉

采用自适应全局亮度补偿的夜间去雾算法

陈志恒，严利民，张竞阳

（上海大学 微电子研究与开发中心，上海 200444）

针对夜间雾霾天气情况下还原的去雾图像存在颜色失真、纹理损失严重、去雾效果差等问题，本文提出了一种夜间去雾算法，采用自适应全局亮度补偿、同态滤波、限制对比度自适应直方图均衡化算法以及联合双边滤波对降质图像进行处理，结合大气散射模型得到还原的去雾图像。实验结果表明，该算法的夜间去雾效果好、处理速度快，较对比算法在对比度、平均梯度以及信息熵上均有改善，有效减少了还原图像的颜色失真、纹理损失。

夜间去雾；自适应全局亮度补偿；同态滤波；限制对比度自适应直方图均衡化算法；联合双边滤波

0 引言

在雾霾等天气情况下，城市监控系统所获取图像、视频往往存在能见度低、对比度差等问题，严重影响了城市的交通安全以及市民的生产生活。随着去雾技术的快速发展，有关白天去雾算法的研究已日臻成熟，但对夜间雾霾条件下去雾算法的研究相对较少。因此，如何在夜间雾霾条件下对降质图像进行有效去雾，具有一定的理论研究意义和社会应用价值[1-4]。

目前，针对白天单幅降质图像的去雾算法研究已取得了很大的进展，这些算法大致可分为两类：一类是基于图像增强的去雾算法，如基于单尺度Retinex的雾天图像去雾算法，该算法通过自适应调节双曲正切函数增强降质图像从而实现去雾，具有一定的去雾效果[5]；另一类是基于图像复原的去雾算法，He在暗通道先验理论的基础上，结合大气散射模型实现降质图像的有效去雾[6-7]。对比白天与夜间的降质图像可知，白天降质图像为面光源成像结果，光照充足，而夜间降质图像的成像光源多为汽车车灯以及路灯等点光源，该光照条件只能保证受到光照且存在反射的区域被有效拍摄并成像，而这些光源所覆盖的降质区域即为夜间去雾的主要对象，记作待去雾区域。该区域往往存在光源近点光照过强所导致的光晕干扰，以及光源远点光照过弱所导致的过暗干扰，直接采用面向白天的去雾算法处理夜间降质图像，因环境亮度分布不均匀等因素，去雾效果往往不甚理想。针对夜间降质图像的特点，Xu提出了一种基于全尺度Retinex算法的夜间去雾方法，通过将透射率映射为环绕函数求取其有效估计，然后结合夜间去雾模型实现去雾，该方法有效提高了去雾图像的对比度、亮度，具备较好的可视性，但在纹理保持上可做进一步改进[8]；而Ding则提出了一种基于Retinex和对比度约束的夜间去雾算法，通过约束函数求取降质图像的透射率，并利用引导滤波对其进行细化处理，然后结合夜间去雾模型实现去雾，该方法去雾效果明显、保边性强，但在颜色保持上有待进一步改善[9]。

针对现有夜间去雾算法存在的颜色失真、纹理损失严重、去雾效果差等缺陷，本文在He的暗通道理论去雾算法基础上，提出了一种自适应全局亮度补偿（adaptive global brightness compensation, AGBC）的夜间图像去雾算法，通过自适应调制夜间降质图像的全局亮度，提高夜间降质图像待去雾区域的可视度，并采用改进的透射率获取方式以及降质图像还原模型，最终实现夜间降质图像的有效去雾。实验结果表明，该方法去雾效果好、保边性好、处理速度快，有效减少了还原图像的颜色失真。

1 暗通道先验理论去雾算法

在图像去雾方法中，McCartney提出的大气散射模型得到了广泛应用[10]，其数学模型为：

式中：和分别对应图像的横纵坐标；(,)表示降质图像；(,)表示还原的去雾图像；(,)表示降质图像的透射率分布图；表示大气光值。其中，(,)(,)是入射光的直接衰减项，[1－(,)]是大气光项。推导公式(1)，可得透射率(,)的数学表达式为：

He通过统计分析发现，在去雾图像的暗通道中，86%以上像素值集中分布在0～16的灰度之间，结合概率统计学知识，He提出了暗通道先验理论：在图像的非天空区域中，至少存在一个颜色通道下的像素值趋向于0，其数学表达式为：

式中：c(,)分别对应去雾图像(,)在R、G、B颜色通道下各自灰度值；(,)表示滤波窗口值大小；dark(,)表示去雾图像(,)的暗通道图像。这里假设大气光值已知，再结合暗通道先验理论，即可得到透射率(,)的数学表达式为：

式中：参数是为了保持去雾图像(,)的视觉景深真实感而保留少量雾气的权值系数，本文取作0.95；dark(,)是降质图像(,)的暗通道图像；是大气光值，通常取作降质图像(,)中像素值降序排列前0.1%的平均像素值。

已知透射率(,)和大气光值情况下，根据公式(1)的变型公式(5)即可还原降质图像：

在面向白天降质图像的实验中，该算法的去雾效果较好，但当实验对象变为夜间降质图像时，由于降质区域的环境亮度分布不均匀等因素，该算法的去雾效果不佳，具有一定的算法局限性。

2 本文去雾算法

为解决目前夜间去雾算法存在的颜色失真、纹理损失严重、去雾效果差等问题，本文基于He的暗通道先验去雾算法，提出了一种自适应全局亮度补偿的夜间图像去雾算法。算法流程为：首先，对降质图像(,)进行自适应全局亮度补偿，得到补偿图像¢(,)；再以补偿图像¢(,)为处理对象，利用同态滤波（homomorphic filtering, HF）和限制对比度自适应直方图均衡化（contrast limited adaptive histogram- equalization, CLAHE）算法获取伪去雾图像¢(,)[11]；然后，利用大气光值估计图(,)和伪去雾图像¢(,)结合改进的透射率公式获取粗透射率¢(,)，并使用联合双边滤波对其进行纹理细化处理，从而获取精细化透射率′′(,)；最后，结合大气散射模型，还原得到夜间去雾图像(,)。算法实现过程如图1所示。

2.1 自适应全局亮度补偿

图1 本文算法实现过程效果

图2 自适应全局亮度补偿流程图

式中：¢V(,)表示进行了亮度均衡化后的亮度图像。此时，亮度图像¢V(,)的亮度分布更为均匀，但还需进行自适应亮度调制，调制参数获取方式为：

式中：是自适应亮度调制参数；,y()表示边长为×的最大值滤波窗口。根据公式(8)所得的参数即可完成亮度图像¢V(,)的自适应亮度调制：

式中：²V(,)即为最终的调制结果。再将亮度通道²V(,)与色调通道H(,)、饱和度通道S(,)融合转换至RGB颜色模型，即可获得自适应全局亮度调制后的补偿图像′(,)。

2.2 透射率的获取

已知还原图像颜色失真多由透射率估计不精确所引起，为有效降低还原图像颜色失真，本文在He的透射率估计方法基础上引入了伪去雾图像作为调制参数。同态滤波属于图像增强算法，易于实现且耗时少；CLAHE算法可以有效改善图像质量，减少图像颜色失真。因此本文利用同态滤波、CLAHE算法对补偿图像′(,)进行处理，从而获得伪去雾图像′(,)。同时由于夜间图像多为点光源的照射结果，为更精确地估算夜间降质环境下的大气光分布，本文利用公式(10)获取降质图像的大气光估计图(,)，以取代大气光值进行透射率的估计。最终改进后的透射率求取公式如(11)所示：

式中：′(,)表示粗透射率；(,)表示大气光估计图，通常取作补偿图像′(,)中像素值降序排列前0.1%的平均像素值。此时的粗透射率′(,)边缘损失严重，仍不适合后续去雾处理。由于联合双边滤波具备细化图像纹理、降低图像噪声的作用，本文使用其对粗透射率′(,)进行进一步的精细化处理[12-13]，处理流程如图3所示，最终获得精细化透射率′′(,)。

2.3 还原图像

根据获得的精细化透射率′′(,)和大气光估计图(,)，即可结合暗通道先验理论和大气散射模型还原补偿图像′(,)：

式中：(,)表示还原的夜间去雾图像；0是为了防止′′(,)为0时引起的数学计算错误而添加的透射率限制参数，本文取作0.1。

3 实验分析与比较

本文算法的所有实验均在CPU为Intel(R) Core i7-9700K @3.60GHz、内存为16GB、操作系统为Windows 10的计算机上运行所得，开发语言为C＋＋，开发平台为Visual Studio 2019。根据参考文献[13]，本文算法中滤波尺寸取作7。实验所用的夜间降质图像来自重度雾霾下的北京长安街夜景实拍。

为验证本文算法的去雾效果和处理速度，本文将从视觉效果和客观对比两个角度进行实验对比，本文采用的对比算法均为经典去雾算法。

3.1 视觉效果

本文以重度雾霾下的北京长安街夜景实拍等夜间降质图像建立降质图库，并从中随机选取了4幅具有代表性的夜间降质图像，分别采用不同去雾算法对其进行去雾处理，实验结果如图4所示：图4(a)为夜间降质图像；图4(b)为He的暗通道先验理论改进型去雾算法的去雾结果[14]，观察可知，直接将白天去雾算法用于夜间降质图像去雾，去雾效果不甚理想，同时恢复的图像场景较暗、图像信息丢失严重；图4(c)为基于全尺度Retinex理论的夜间去雾算法的去雾结果[8]，观察可知，该算法可有效去雾，但恢复场景亮度偏暗、纹理存在一定损失；图4(d)为针对多光源夜间降质图像去雾算法的去雾结果[15]，观察可知，该算法可以有效去雾，但还原的去雾图像颜色偏向冷暗，不适宜人眼观察；图4(e)为本文算法的去雾结果，与对比算法比较，本文算法对光源有效覆盖的降质区域去雾效果好，且还原的去雾图像场景明亮，有效减少了还原图像的颜色失真、纹理损失。

图3 透射率获取流程图

3.2 客观评价

由于视觉效果评价过于主观性，不具备客观说服力，为进一步验证本文去雾算法的有效性，本文采用了无参考客观评价标准对算法的去雾效果进行评价。客观评价标准包括图像的对比度（contrast）、平均梯度（mean gradients）、信息熵（entropy）以及运行时间。对比度反应了一幅图像内的灰度反差程度，值越大去雾效果越好；平均梯度代表图像中的纹理细节信息，值越大说明去雾图像越清晰；信息熵描述了图像的目标特征信息量，值越大说明去雾图像的目标信息量越多。图4实验结果的客观对比如表1所示，对比降质图像与参考文献[14]的去雾结果可知，直接将白天的去雾算法应用于夜间降质场景，最终的去雾效果不甚理想，去雾图像的各项客观指标较降质图像均出现一定下降，这与视觉效果中主观评价得出的结论一致；本文算法同参考文献[8]、[15]相比，对比度提升了28.74%，平均梯度提升了27.15%，信息熵提升了5.61%，同时在处理速度上也做到了一定程度的改善，该实验结果表明，本文算法能够对城市街道的夜间降质场景进行有效去雾，且去雾图像的对比度高、清晰度好、颜色失真少，去雾图像的纹理细节也得到了较好的保留。

表1 几种客观评价结果的比较

4 结束语

为有效解决当前夜间去雾算法还原结果存在的颜色失真、纹理损失严重、去雾效果差等问题，本文提出了一种基于自适应全局亮度补偿的夜间去雾算法。通过对降质图像进行自适应全局亮度补偿，获取补偿图像，再以补偿图像为对象，利用同态滤波、限制对比度自适应直方图均衡化算法、联合双边滤波获取精细化透射率，并结合大气散射模型对降质图像进行还原。实验结果表明，该方法的夜间去雾效果好、处理速度快，较对比算法在对比度、平均梯度以及信息熵上均有明显提高，有效减少了还原图像的颜色失真、纹理损失，可应用于城市街道的夜间降质图像去雾。但本文算法仍存在不足，对微弱光源的夜间图像去雾效果有待改进。

[1] ZHANG Jing, CAO Yang, FANG Shuai, et al. Fast haze removal for nighttime image using maximum reflectance prior[C]//, 2017: 7418-7426.

[2] 董浩伟, 陈洁. 一种基于大气散射模型和Retinex的红外图像去雾算法[J]. 红外技术, 2019, 41(4): 347-356.

DONG Haowei, CHEN Jie. Infrared image defogging algorithm based on atmospheric scattering model and Retinex[J]., 2019, 41(4): 347-356.

[3] YU Teng, SONG Kang, MIAO Pu, et al. Nighttime single image dehazing via pixel-wise alpha blending[J]., 2019, 7: 114619-114630.

[4] 陆士猛, 刘昌锦. 无人机侦察图像快速去雾算法[J]. 红外技术, 2015, 37(10): 847-851.

LU Shimeng, LIU Changjin. The fast haze removal algorithm for UAV reconnaissance image[J]., 2015, 37(10): 847-851.

[5] 黄黎红. 一种基于单尺度Retinex的雾天降质图像增强新算法[J]. 应用光学, 2010, 31(5): 728-733.

HUANG Lihong. Fog-degraded image enhancement based on single- scale Retinex[J]., 2010, 31(5): 728-733.

[6] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]., 2010, 33(12): 2341-2353.

[7] HE K, SUN J, TANG X. Guided image filtering[J]., 2012, 35(6): 1397-1409.

[8] 徐兴贵, 杨平, 刘永利. 基于全尺度Retinex算法的夜间图像去雾[J]. 微电子学与计算机, 2017, 34(7): 132-136 XU Xinggui, YANG Ping, LIU Yongli. Night image dehazing based on full-scale Retinex algorithm[J]., 2017, 34(7): 132-136.

[9] 丁雪梅, 李为相, 毛祥宇. 基于Retinex和对比度约束的夜间去雾[J]. 计算机工程与设计,, 2018, 39(9): 2856-2860.

DING Xuemei, LI Weixiang, MAO Xiangyu. Night dehazing based on Retinex and contrast constraint[J]., 2018, 39(9): 2856-2860.

[10] Srinivasa G Narasimhan, Shree K Nayar. Vision and the atmosphere[J]., 2002, 48(3): 233-254.

[11] 李炼, 李维嘉, 吴耀中. 基于红色暗通道先验理论与CLAHE算法的水下图像增强算法[J]. 中国舰船研究, 2019, 14(S1): 175-182.

LI Lian, LI Weijia, WU Yaozhong. An underwater image enhancement algorithm based on RDCP and CLAHE[J]., 2002, 48(3): 233-254.

[12] 成宝芝, 张丽丽. 基于双边滤波的最优波段子空间高光谱异常目标检测[J]. 液晶与显示, 2019, 34(9): 897-904.

CHENG Baozhi, ZHANG Lili. Optimal bands subspace anomaly detection for hyperspectral imagery based on bilateral filtering[J]., 2019, 34(9): 897-904.

[13] 杨燕, 李一菲, 岳辉. 一种自适应的多级透射率估计去雾算法[J]. 光子学报, 2019, 48(3): 310001.

YANG Yan, LI Yifei, YUE Hui. An adaptive multiscale transmission estimation dehazing algorithm[J]., 2019, 48(3): 310001.

[14] 高强, 胡辽林, 陈鑫. 基于暗通道补偿与大气光值改进的图像去雾方法[J]. 激光与光电子学进展, 2020, 57(6): 150-156.

GAO Qiang, HU Liaolin, CHEN Xin. Image dehazing method based on dark channel compensation and improvement of atmospheric light value[J]., 2020, 57(6): 150-156.

[15] LI Y, TAN R T, Brown M S. Nighttime haze removal with glow and multiple light colors[C]//, 2015: 226-234.

Nighttime Dehazing Algorithm with Adaptive Global Brightness Compensation

CHEN Zhiheng，YAN Limin，ZHANG Jingyang

(,,200444,)

To addressthe problems of color distortion, heavy texture loss, and poor dehazing effect in the dehazing images of hazing nights, this studyproposes a night-time dehazing algorithm. Adaptive global brightness compensation, homomorphic filtering, contrast limited adaptive histogram equalization algorithm, and joint bilateral filtering were used to process the hazing images, and the dehazing images were obtained by combining the atmospheric scattering model. The experimental results show that this method has a better night dehazing effect and faster processing speed than the comparison algorithms.The contrast, mean gradients, and entropy are improved, and the color distortion and texture loss are effectively reduced.

nighttime dehazing, adaptive global brightness compensation, homomorphic filtering, contrast limited adaptive histogram equalization algorithm, joint bilateral filtering

TP391

A

1001-8891(2021)10-0954-06

2020-04-26；

2020-05-21.

陈志恒（1994-），男，硕士研究生，研究领域为视频清洗技术。

严利民（1971-），男，博士，副教授，研究领域为集成电路设计及系统集成、新型显示技术和计算机视觉。E-mail：yanlm@shu.edu.cn。

国家自然科学基金（61674100）。