基于均值标准差与加权透射率的图像去雾方法

李翔宇1，牛宏侠1，钟华1

基于均值标准差与加权透射率的图像去雾方法

李翔宇1, 2，牛宏侠1, 2，钟华1, 2

(1. 兰州交通大学 自动化控制研究所，甘肃 兰州 730070；2. 甘肃省高原交通信息工程及控制重点实验室，甘肃 兰州 730070)

在雾霾天气下，由于空气中的浮尘等大气颗粒物对光线进行了散射吸收，造成成像设备捕捉到的图片的质量严重下降。针对雾霾天气下暗通道先验(dark channel prior, DCP)算法的图像复原方法中的边缘细节丢失、明亮区域使大气光估计失效、场景深度突变区域透射率计算不准确等问题，提出一种基于均值标准差与加权透射率(Mean-Standard Deviation and Weighted Transmission, MSD-WT)的图像去雾方法。对大气光估计方法进行改进，首先在HSV空间中提取图像的亮度分量，然后使用简单线性迭代聚类(simple linear iterative clustering, SLIC)对V空间图像和暗通道图像进行图像融合，避免小面积明亮区域对整体大气光估计造成影响。对透射率估计方法进行改进，在景物边缘处使用带阈值的均值标准差来判断是否为场景深度突变区域，在不同区域内使用加权的方法分类计算场景深度突变处的透射率。仿真结果表明：该方法计算的大气光值和透射率值更加准确，在边缘细节信息保留、去除边缘光晕效应和图像真实方面有较好的效果。

暗通道先验(DCP)；简单线性迭代聚类(SLIC)；透射率；去雾

由于雾天空气中存在气溶胶和微小颗粒物，使得阳光透过空气的时候会发生散射现象，一部分光线在大气的作用下并不能穿透到人眼或者成像设备，从而产生了雾霾天气情况下得到的图片质量降低、模糊不清、边缘细节失效、对比度下降等问题。随着计算机视觉的发展，一幅质量好的图片可以广泛地应用到户外安全监控、交管监控、遥感图像，甚至于无人驾驶方面[1]。所以，提高雾霾天气下的图像质量具有重要的实际意义和很强的应用价值。到目前为止，主流的雾天图像复原方法分为两大类，基于图像增强的复原方法和基于物理成像模型的图像复原方法[2]。基于图像增强的复原方法的基本原理是通过观察雾霾天气下图像对比度低、颜色失真等主观的视觉感受来进行增强对比度、修正图像颜色，这种方法没有考虑到大气光衰减的因素，复原图像常常会造成图像细节信息的丢失，常见的方法有直方图均衡化算法和Retinex算法[3]。基于物理成像模型的图像复原方法是从雾霾形成的物理原因上进行研究，通过使用大气散射模型来恢复无雾图像。基于物理成像模型的图像复原方法在图像细节信息保留、图像颜色复原、复杂场景处理等具有较好的处理结果。Tan[4]使用马尔科夫随机场(MRF)对大气光进行建模，通过对大气光和透射率的求解，使用增强局部对比度方法对雾霾图片进行复原，此方法恢复出的图像边缘细节清晰，但是会出现过饱和和光晕现象；He等[5−6]通过对大量的户外无雾图像的观察统计，提出了暗通道先验(DCP)理论，其指出无雾图像的暗通道绝大部分是趋近于黑色的，有雾图像的暗通道图在雾霾出会呈现出不同程度的白色，He方法恢复出的图像接近于真实场景，但是其中软抠图耗时长，在景深突变处会产生光晕效应；Tarel等[7]在He的基础上引入了中值滤波，极大地简化了算法的效率，但是存在去雾不彻底、算法参数多且不易修改等问题。本文基于暗通道先验理论对上述问题进行改进修正，提出了一种快速单幅的雾天图像复原的方法。使用简单线性迭代聚类(SLIC)[8]与暗通道融合的方法对大气光估计，避免由于明亮物体对大气光估计产生偏差；使用局部方差比的方法来确定景物深度突变区域并且分类计算局部透射率值；最后使用导向滤波[6]进行图像复原。

1 大气散射模型和暗通道先验理论

1.1 大气散射模型

根据光在大气中衰减的过程，McCartnry[9]提出了大气散射模型，而后Narasimhan等[10]在McCartnry的基础上将大气散射模型应用到RGB空间中的雾天图像复原方面。该模型由衰减项和大气光项两部分组成，表达式如下：

式中：为某个像素的空间坐标；()为输入有雾图像；()为输出去雾后图像；()为介质传输率；为大气光强度值。此式有1个已知量和3个未知量，从数学角度来看，是一个不可解方程，故研究的重点就在介质传输率()和大气光强度值的估计上。

在大气散射模型当中，()()称为直接衰减项，表示场景光线在介质中传播时的衰减程度，(1−())称为大气光模型，表示在成像过程中混入的散射光，散射光会导致成像模糊、颜色失真。当传播介质是均匀且同质时，介质传输率()可以表示为：

其中：称作大气散射系数；()是景物深度，从(2)可以看出透射率根据景物深度呈现指数衰减。

1.2 暗通道先验理论(DCP)

暗通道先验理论是He等通过大量观察户外无雾图像统计得出的结论。He指出在晴朗无雾的天气下，绝大多数的图片由于物体本身的低反射性和景物阴影，在非天空区域其像素在RGB通道内总有一个非常低的并且趋近于0的亮度值[6]。取RGB中亮度最小的值形成一幅暗通道图，表达式如下：

其中：dark表示图像的暗通道；J表示的一个颜色通道；()表示像素点周围的局部窗口。对式(1)变形得：

假设在局部区域()中透射率是恒定不变的，设此时的透射率为~()，对(4)取暗通道值并计算最小值：

由暗通道先验理论知无雾图像的暗通道的值是趋近于0的，故有：

又因为大气光值A是永为正的，所以可以 得出：

由式(5)和式(7)可以得出：

由于现实场景中即使在晴朗的天气中也是存在少许雾的，如果将雾霾全部除去会显得图像不自然并感受不到景物深度，故保留少许雾，设定参数(0＜≤1)：

大气光值的估计方法是选取暗通道中亮度最高的0.1%像素点所对应的原图中像素点的亮度值作为全局大气光值。

使用粗略透射率值和大气光估计值对图像进行复原：

He等的方法对于成像质量具有较好的效果，但是存在计算复杂，边缘细节信息不准确，大气光估计值和透射率值粗糙等问题。

2 改进的暗通道先验去雾算法

2.1 改进的大气光估计方法

在暗通道先验的理论中，选取暗通道最亮的0.1%的像素亮度作为大气光估计值[6]。但是先验条件中指出，大气光估计值是雾浓度最深的地方并且大气光是唯一的光源，所以当存在明亮的建筑物或者有物体与大气光值相似的时候，大气光值会取到这些物体处，不符合先验条件。所以要准确的测出浓雾存在的区域并在此区域内选取大气光值。在HSV图像空间内，V空间是可以直接显示图片亮度的，首先将输入有雾图像从RGB转到HSV空间。分别在V空间与暗通道中使用简单线性迭代聚类[8]的方法对图像进行分块，然后对分块后的图像进行图像融合。

首先在输入图像中初始化种子点，均匀分布每个种子点，设置每个相邻种子点之间的步长：

其中：为步长；为输入图像的总像素值；为分割阈值。分别尝试设定10～500的阈值，分析了50幅带有天空区域、不带有天空区域以及图片中带有明亮建筑物的图像，统计得出当阈值设置为30～60之间时对雾天图像具有较好的实验结果。如果将阈值设置太大，那么依旧存在明亮区域单独成块的现象即明亮建筑物依旧影响到大气光的估计，如果将阈值设置过小，那么与大气光值相近的区域的像素被过多的包含到先验条件下的像素区域，使得大气光估计值偏小。

阈值是一个统计结论，通过一副典型的存在明亮区域的有雾图片对其有效性进行验证。首先采用了软件测试中边界值测试方法，分别在=10，=50，=500的情况下对图像进行聚类分割并对大气光值进行估计：

主观来看，当=10的时候，由于分块数量小、面积大，取样点并没有均匀分布到天空区域，从原图像来看，该聚类块中仍然是有明亮建筑物存在的；当=50的时候，取样点基本全部在天空区域，符合先验条件；当=500的时候，分块数量多、面积小，明亮建筑物单独成块，基本上与He论文中大气光估计的取样点重合，不符合先验条件。使用简单的方法对数据进行客观的对比，分别在3种M取值的情况下对样本点的RGB三值进行均值处理，然后使用数码测色计在原彩色图像的天空区域上进行取样并计算均值。

(a) M=10；(b) M=50；(c) M=500

从客观的数据来看，=50的时候，分割图像中的样本点是最接近于原图像天空区域的取样点的，通过对不同图片进行实验与统计，的取值在30到60之间均可，本文取值=50。

表1 3种样本的RGB结果与原图比较

计算初始种子点领域内所有像素的梯度值，将种子点移动到梯度值最小的像素点处，核心的计算是重新聚类，重新聚类是使用聚类迭代的计算方式选择新的聚类中心。使用来计算聚类中心与周围像素点在颜色和距离上的相似度。

其中：c表示在lab空间内的颜色距离；s表示像素点之间的空间距离；S是聚类中的最大空间距离。在文章[8]中指出的取值范围是1到40，为了减少浮点运算，加快运行速度，我们取一个固定的整数=10。

最后进行图像融合处理。

dark′是处理过后的暗通道图；J′是处理过后的亮度图。我们分别取环境复杂度不同的图片来做比较。

首先分别提取亮度图和暗通道图，为了减小融合后图像亮度值的误差，对暗通道图取值为1。然后再分别对亮度图和暗通道图进行简单线性迭代聚类分割，使亮度值相同或者接近的像素点聚类成为不同的不规则图型。最后将处理过后的图片按1:1的比例进行融合。这样做的目的是避免图像中小块区域像素的亮度值对整体大气光值估计的影响。使用图像融合使估计值更加精确。

图3中斑点标记处为大气光估计值所在的位置。从图3中可以看出，暗通道图大气光的估计值全部落在了白色建筑物上面，不符合先验条件，大气光估计失效。MSD-WT算法大气光基本是落在了天空部分，基本解决了明亮物体对大气光估计失效的问题。

(a) 亮度图；(b) 暗通道图；(c) SLIC亮度图；(d) SLIC暗通道图；(e) 融合图

(a) He方法；(b)本文方法

2.2 改进的透射率估计方法

在He算法中，透射率的估计是由式(4)～(9)推算得出。假定局部区域中透射率恒定不变，天空区域理论上是无限远的区域，透射率为0。但是实际情况中，局部区域中的透射率并不是恒定不变的。所以在固定透射率而且景物深度出现突变的情况下，会产生halo效应。

对于透射率的估计，重点在于估计景物深度突变处非恒定的透射率。因此对暗通道先验理论中透射率的公式加以修正。在式(9)进行粗略的透射率估计的基础上，判断景物深度突变区域，计算窗口内像素点的均值标准差，设定标准差阈值，分别计算标准差阈值不同范围内的透射率。

判断景深突变区域后对不同情况下的透射率进行加权[11]：

最后使用导向滤波对透射率进行细化：

从图4来看，He算法在景物边缘密集处透射率模糊、天空区域透射率估计过大、透射率相似处也会出现透射率失真的情况。优化后的透射率图细节信息更加丰富、景物边缘清晰、在景物深度变化处有明显的区分效果。

2.3 图像复原

对大气光估计值和透射率进行优化以后，应用式(10)进行图像复原。从透射率图像当中可以看出来，有时透射率()的值会接近于0，导致()()的值也会接近于0，此时直接进行图像复原会产生噪点。所以对()设定最小值0，使得浓雾区域的图像更加真实，一般0取值为0.1。

3 仿真结果对比分析

本文的仿真实验是在macOS High Sierra操作系统下的笔记本电脑进行的，处理器为Intel Core i5 @ 2.7 GHz，MATLAB版本为MATLAB R2018a (9.4)。

3.1 仿真结果主观评价

本文主要是根据He算法对图像去雾算法进行改进，在主观视觉感受方面，为了使结果更加可信，使对比更加明显，本文选取环境复杂度不同的3幅图片，选择在图像去雾算法中比较有代表性的Tarel和Retinex算法以及He算法进行对比。

从图5中可以看出，3张在不同环境复杂度情况下的图片，采用MSD-WT方法在颜色、对比度和成像质量上更加真实，没有出现局部对比度失真的问题。

进一步放大局部区域对比边缘去雾效果，如图6所示。

从局部放大图可以看出，本文的边缘去雾效果更优，基本已经消除边缘halo效应，在细节保留上有更好的效果。

(a) 原图；(b) Retinex复原图；(c)Tarel复原图；(d) He复原图；(e) 本文复原图

(a) He方法；(b)本文方法

3.2 仿真结果客观评价

对于单纯的图像去雾算法来说，现在并没有统一的客观评价指标，所以，针对图像去雾算法的特点，从传统的图像客观评价指标中选择合适的评价方法来对本文的算法进行评价，进一步验证算法的可行性和有效性。

本文选取均方误差(MSE)和可见边对比度[12−13]来对仿真结果进行客观评价。均方误差(MSE)表示的是图像处理前后有效信息的保持能力，反映的是当前图像和原图像在每一个像素点之间的方差。可见边对比度使用了去雾后图片的新增可见边之比()、可见边规范化梯度均值()来评价图像的复原效果，对图像处理的时间进行统计对比。使用图5中的3幅图片，按列依次命名为图像1到图像3。

表2 客观评价指标数据统计

从表2的数据来看，本文的MSE要优于He算法和Tarel算法，有效信息保持能力较好。可见边对比度中的2组数据本文方法明显优于He算法，比Tarel算法数据稍有改进。整体上从客观数据来看，本文的方法在图像的有效信息和细节信息方面保持能力有较好的效果，去雾的同时保证了图像信息的完整性。在图片的处理速度方面，不同大小、不同复杂度的图像均影响着图像处理的速度。本文在大气光估计和透射率公式上进行了算法的改进，去掉了暗通道先验算法中软抠图(soft matting)步骤，相对于He算法和Tarel算法运行时间有明显的提升。

4 结论

1) 使用简单线性迭代聚类将图像简单按亮暗的不同分割成不规则块，使用图像融合对亮度空间和暗通道空间的大气光值进行融合，避免亮度差值大的物体影响整体大气光的估计。

2) 使用均值标准差进行对透射率估计的优化，使用均值标准差来判断区域每个像素点与标准值差值的大小，设定阈值，进而判断是否是景物深度突变区域，最后使用加权方法对透射率分类计算。

3) 仿真效果表明，复原后的图像颜色、对比度比较接近真实场景辐射，去雾效果和细节信息保留效果理想，但是算法耗时还未达到动态处理的即时性，今后的研究方向将会放到提高实效性与算法进一步优化上。

[1] 郭璠, 蔡自兴, 谢斌, 等. 图像去雾技术研究综述与展望[J]. 计算机应用, 2010, 30(9): 2417−2421. GUO Fan, CAI Zixing, XIE Bin, et al. Review and prospect of image dehazing technology[J]. Computer Applications, 2010, 30(9): 2417−2421.

[2] 杨燕, 白海平. 基于暗通道先验的补偿快速去雾算法[J]. 计算机工程, 2015, 41(10): 210−215, 220. YANG Yan, BAI Haiping. Based on the dark channel prior compensation algorithm for fast defogging[J]. Computer Engineering, 2015, 41(10): 210−215, 220.

[3] 刘海波, 杨杰, 吴正平, 等. 基于暗通道先验和Retinex理论的快速单幅图像去雾方法[J]. 自动化学报, 2015, 41(7): 1264−1273. LIU Haibo, YANG Jie, WU Zhengping, et al. A fast single image defogging method based on dark channel priori and Retinex theory[J]. Acta Automatica Sinica, 2015,41 (7): 1264−1273.

[4] Tan R T. Visibility in bad weather from a single image[C]// Computer Vision and Pattern Recognition (CVPR), IEEE Conference on. IEEE, 2008: 1−8.

[5] He K, SUN J, TANG X. Single image haze removal using dark channel prior[C]// Computer Vision and Pattern Recognition (CVPR), IEEE Conference on. IEEE, 2009: 1956−1963.

[6] He K, SUN J, TANG X. Guided image filtering[J]. IEEE Trans Pattern Anal Mach Intell, 2013, 35(6): 1397−1409.

[7] Tarel J P, Hautiere N. Fast visibility restoration from a single color or gray level image[C]// Proceedings of the 12th IEEE International Conference on Computer Vision. Kyoto, USA: IEEE, 2009: 2201−2208.

[8] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state of the art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274−2282.

[9] Mccartney E J. Scattering phenomena (Book reviews: optics of the atmosphere, scattering by molecules and particles)[J]. Science, 1977, 196: 1084−1085.

[10] Narasimhan S G, Nayer S K. Interactive (De) weathering of an image using physical models[C]// IEEE International Conference on Computer Vision Workshop on Color and Photo metric Methods in Computer Vision. New York, USA: [s.n.], 2003: 1−8.

[11] 刘冬冬, 陈莹. 基于暗原色先验的区域自适应图像去雾方法[J]. 计算机工程与应用, 2016, 52(7): 166−170. LIU Dongdong, CHEN Ying. A regional adaptive image defogging method based on dark channel a priori[J]. Computer Engineering and Applications, 2016, 52(7): 166−170.

Image dehazing method based on mean-standard deviation and weighted transmission

LI Xiangyu1, 2, NIU Hongxia1, 2, ZHONG Hua1, 2

(1. Automatic Control Research Institute, Lanzhou Jiaotong University, Lanzhou 730070, China; 2. Gansu Provincial Key Laboratory of Traffic Information Engineering and Control, Lanzhou 730070, China)

In haze weather, due to the scattering and absorption of light by airborne particles such as floating dust in the air, the quality of the images captured by the imaging equipment is seriously reduced. Aiming at the problems of loss of edge details in the method based on dark channel prior image restoration in haze weather, invalid atmospheric light estimation in bright areas, and inaccurate transmission calculation when the scene depth suddenly changes. This paper proposed single image dehazing method based on Mean-Standard Deviation and Weighted Transmission (MSD-WT). The method of simple linear iterative clustering (SLIC) based on fusion and dark channel was used to estimate the atmospheric light intensity value. The mean standard deviation with threshold value was used at the edge of the scene to judge whether it was a zone with sudden change of depth of field The experimental results show that the algorithm in this paper has a good effect in retaining edge detail information, removing edge halo effects and image realism.

dark channel prior (DCP); simple linear iterative clustering (SLIC); transmission; dehazing

TP751.1

A

1672 − 7029(2020)11 − 2938 − 08

10.19713/j.cnki.43−1423/u.T20200028

2020−01−12

甘肃省高等学校科研资助项目(2017A-026)；甘肃省青年科技基金资助项目(18JR3RA130)

牛宏侠(1978−)，女，辽宁黑山人，副教授，从事交通信息工程与智能控制理论；E−mail：nhx56055@mail.lzjtu.cn

(编辑 阳丽霞)