基于时空关系的视频去雾霾算法设计与实现

李远情

(辽宁对外经贸学院 辽宁 大连 116000)

视频在我们的日常生活中占据着越来越重要的地位。但在现实生活中各种各样的因素都可能影响视觉系统成像的质量，导致我们获得的视频质量产生某种程度上的退化。目前，绝大多数的视觉系统是否能正常工作，都和天气状况有着紧密的联系。在恶劣天气中，出现的最频繁的是雾霾。视频去雾技术指的是用一定的技术手段去除视频中雾的影响，来得到高品质的视频。此技术是图像处理范畴研究的重要分支，是计算机视觉范畴的研究热点。同时，作为一门刚刚才有所发展的技术，因为气候条件是非常复杂和不确定的，所以虽然有很多研究者研究出了新的成果但几乎都具有局限性。因此，十分有必要去寻找更加有效的视频去雾霾算法来减少原视频中雾霾的影响，提高雾霾天气下退化了的视频质量。

众所周知，绝大多数的户外视觉系统首先需要提取物体颜色等各方面的特征然后才可以进行分析工作，视觉系统对天气的要求很高，杨国强在《图像和视频去雾技术的研究》一文中说过，在雾霾天气下由于大气中这些粒子的散射、吸收等作用，使得大气的能见度降低，造成了雾天拍摄的图像色彩和对比度大幅下降，图像中蕴含的许多物体特征被覆盖、模糊，直接影响了图像特征的提取，从而导致了以提取图像特征为基础的监控、跟踪、智能导航、智能车辆等视频应用系统无法正常稳定的工作。所以，为了使这些应用在恶劣气候下也可以正常工作，对雾天清晰度下降的视频进行去雾霾操作是十分需要的。

随着计算机范畴的软件技术和硬件技术的不停发展，对不清楚的视频进行实时处理已经成为了现实。在这个前提下，因为计算机视觉系统具有多种显而易见的优点，可以及时获取高分辨率的视频信息。视频去雾霾技术就是计算机视觉系统领域的一个十分有意义的研究方向，具有深远的研究前景，其研究成果可被用于户外视频监控等很多范畴。但是，和图像处理范畴作对比，视频去雾霾方向的研究不多，可供阅览的资料也不多。同时，天气条件造成的影响过大，因此摸索出一个具有良好普适性、可靠性和鲁棒性的视频去雾霾算法在以后很长一段时间内都会是一个富有挑战性的问题。

具体来说，在雾霾天气下拍摄的视频，图像对比度下降，动态范畴变小，十分模糊，很多特性被掩盖，信息可识别度也大大下降，各种应用系统都难以发挥出它们实际的效用。以公路监测为例，空气中的大雾弥漫使得道路的能见度下降，司机看不清路况极易导致交通事故的发生，若此时公路限行就会给人们的出行带来极大的不便。对雾霾气候下的视频进行有效的去雾操作有着理论和实际的迫切要求，这是很多应用系统在恶劣天气下能可靠、良好工作的担保。

何恺明等人最近提出了单一图像去雾技术，此技术基于暗原色，通过收集数目庞大的不受水汽影响的图像，发现了一套暗原色统计规律，它可以识别雾浓度。但是当场景亮度和大气光相近时，此算法就会失效。雾天图像复原是研究雾天图像降质的物理过程，并建立雾天退化模型，反演退化过程，补偿退化过程造成的失真，以便获得未经干扰退化的无雾图像或无雾图像的最优估计值，从而改善雾天图像质量。图像恢复技术的目标明确，处理结果看上去会很自然，通常没有信息丢失，关键是对模型中参数的估计。

通常，图像通过传感器获取外部场景信息，有时需要将其转换为视觉信息，最后记录，存储和再现。然而，由于周围环境的变化，传感器缺陷等因素，图像可能产生失真和分辨率下降的现象，这种现象称为图像退化。

图像复原是图像处理的重要分支，希望提高模糊图像的视觉质量或获得改进。困难程度主要取决于下降过程的先前知识的准确性。如果对过程中的退化、类型等都比较熟悉，可以根据图像退化的先验知识更准确地估计相关模型参数。在得到相关模型参数之后，我们可以使用各种防退化方法来恢复图像。我在这里主要讨论的是如何以雾霾天图像为已知数据来恢复原始清晰图像。

近年来，基于相关先验信息，研究如何利用大气散射模型实现完全去雾效果一直是研究者们关注的问题。在一系列此类方法中，基于暗原色原理的何恺明暗通道算法和基于大气耗散函数的Tarel算法最有吸引力，这两种算法都具有突出的优势和特点，其中何恺明暗通道算法被认为是当前去雾效果最好的算法，而Tarel算法被认为是目前处理速度最快的算法之一，因而两种算法都有着继续研究下去的必要。

在计算机视觉领域的应用中去除雾霾是十分必要的。首先，雾霾的消除可增加一般现场的能见度，引起颜色变化，使图像更直观有趣；其次，大多数视觉算法，从初级分析到高级对象辨别通常假设输入图像(辐射校准后)是场景辐射度，性能将无法避免地受到对比场景辐射效应的偏差影响；最后，去雾可以获得更深层次的信息，并获得许多视觉算法以及先进的图形编辑功能，雾霾甚至可以作为场景理解的有用深度线索，即使是恶劣的阴影形象也可以很好的被利用。然而，雾度取决于未知的信息，所以雾霾去除是一个具有挑战性的问题。如果输入仅是单个图像，那么问题又会受到限制。因此，基于多个图像或附加信息，研究者们目前提出了许多方法，例如基于偏振法通过具有不同极化度的两个或更多个图像，在不同天气下，从相同场景的不同图像获得更多约束；基于深度的方法需要的是来自用户输入等方面的更深层次的信息。

由之前的大量实验结果发现何恺明暗通道算法存在着以下几个问题：

(1)对A值的求取欠缺鲁棒性

(2)参数无法自动调整

(3)去雾结果仍需要后续处理

尽管何恺明博士在去雾领域做出了巨大贡献，且去雾算法非常具有代表性，但直接得到的结果也不是完美的。当然任何算法肯定都有不足之处，这也是不可避免的，基于暗原色原理的何恺明暗通道算法仍然是一个非常好的方法，值得借鉴。

目前，针对视频去雾的方法较少，因为视频去雾不仅要考虑画质的清晰度，还要考虑时空关系，也就是说处理视频的过程中必须保持时空一致性。本课题利用何恺明暗通道算法在保持时空一致性的前提下，采用Matlab在Windows8,CPU为Intel(R)Core(TM)i5,安装内存为4.00GB的笔记本电脑上完成了设计。

实验完成的主要函数解释如下：

(1)主函数：

(2)方框滤波

(3)导向滤波函数

(4)My-mist函数部分

这是何恺明暗通道算法的核心部分，利用此算法通过设置相关参数进行去雾。各种参数数值如下，设置乘积因子w0,其值为0.85，这是用来保留一些雾度的，当它的值等于1时，可以实现完全去雾，当然这并不是我们希望的，前文也已经提到过，所以在此不赘述。为了使最终求得的J(x)图像不过大，我们设置一个阈值t0，其值为0.1，当求得的透射率值比0.1小的时候，取透射率为0.1。然后我们取得暗影通道图像对其进行最小值滤波。对A值的求取如下：在暗原色图像中，将各像素点的亮度值按递减的顺序排列，确定数值大小为前0.1%的像素点在暗原色图像中所处的位置，则这些位置对应的原有雾图像区域中的最大值即为大气光值A。根据我们第三章推导出的公式可以得到粗略透射率值，这时候就有一定复原效果了，但是复原结果不会太好。为了让结果更好，我们利用导向滤波函数来获取精确透射率，利用第三章介绍的暗通道算法的各种公式以及它的推导过程，通过这些公式和参数就可以直接获取去雾霾之后的图像，即实现了这个算法。这就是我代码中关于My_mist函数的描述。这个函数涉及到的思想是最重要的。

(1)处理视频帧时，命令行显示字样：“第几帧视频处理完成”，如图1所示。

图1正在处理视频帧的命令行显示字样

(2)我将原视频命名为test.avi,原视频一共包含850帧图像，处理完毕后生成后的视频为test1.avi。处理完毕时的命令行显示字样如图2所示。

图2视频帧处理完毕的命令行显示字样

去雾问题的时空一致性指的是处理之后的视频没有闪烁波动的现象，既要求处理之后的视频每一帧都很清楚真实，又要求处理之后的视频的每一帧都连续，因此怎样使视频具有时空一致性是研究者们一直致力研究的问题。本段我主要讨论的是我对视频时空一致性的理解。实际上，在非常短的时间段内参数值都是有变化的，只是为了描述方便，时间我只选取了整数值。在不断计算出透射率的情况下，用上一秒的透射率来预估下一秒的透射率，用下一秒算出的参数值来纠正上一秒的参数值，此过程不断地重复下去，即实现了时空一致性的校正。

通过下图对比，我们可以发现去雾之后的视频相比原视频明显的清晰了，利用何恺明暗通道的视频去雾霾算法实现了。

图3 原视频在0：16处的视频

图4 去雾后的视频在0：16处的视频

实验结果表明，在本文提出的保持时空一致性的前提下，利用何恺明暗通道算法实现的视频去雾霾方法中还存在着需要改进的问题。比如去雾后的视频效果虽然有了明显改观，但是仍然没有达到非常清晰的效果，在视觉上还是可以明显看出有一定的雾度。另外，大约1分钟的视频处理大约需要10分钟，速度上还有待提高。让品质降低的视频恢复原画质这个问题是未来的研究热点，我也会在未来的学习生活中不断加强学习，达到一个较理想和完美的状态。