结合导向滤波与自适应算子的水下图像增强

常 戬，韩 旭

辽宁工程技术大学 软件学院，辽宁 葫芦岛 125105

海洋是地球上最广阔的水体，海洋中蕴藏着丰富的生物资源、矿产资源。现今各国对煤炭、石油、天然气的需求日益增长，而陆地上的资源越发短缺，人们对海洋资源的探索迫在眉睫。获得清晰的水下图像对海洋矿产探索、深海未知生物研究、资源探索、军事预防都起着至关重要的作用。因此，水下图像处理技术是海洋探索重要的一环。但水下环境复杂，光线在水中传播时会被散射和吸收，即使是过滤后的纯净水，它对光的衰减也是十分严重的，光在水中传输时的能量按照指数规律迅速衰减[1]，紫色区域可见光最短[2]。水下成像技术主要应用于水下作业，在介质水中传播时光的能量会有较多损耗，同时容易产生光噪声，光在水中还会发生折射和散射，这样一方面会造成光的能量受损，成像质量差，另一方面会导致系统成像距离受损[2]。

水下图像增强算法不考虑成像原理中的物理模型，通过对成像的空间域或频域进行某些数学模型处理，达到增强图像的目的。He 等[3]通过先验原理求出大气光成分A和透射率t，求得目标值，实现图像的去雾处理，水下图像与雾天图像有着相似之处，此模型也经常用于水下图像增强，但在处理曝光度低的图像时表现不佳，处理后图像整体颜色发黑，背景模糊不清。Ancuti 等[4]对图像进行白平衡和锐化处理，采用多尺度融合策略，融合白平衡和锐化后的图像，改进全局对比度和边缘清晰度，但在处理深度场景时有局限性，未能消除蓝绿色背景。Peng 等[5]基于图像模糊和光吸收的水下场景深度估计，采用图像形成模型来恢复和增强水下图像，但此方法只考虑场景深度和背景光，忽略了水中的噪声，在复原过程中会加重图像噪声。Song 等[6]提出一种基于手动注释的背景灯数据库，根据背景光与水下图像直方图分布的关系处理水下图像，但过于补偿背景光，处理后的水下图像过度曝光，背景模糊不清，图像中的细节也被过度补偿背景光出现的白雾遮盖。上述算法仅针对水下环境出现的个别情况进行改进，其实际应用有局限性。

综上所述，为了改善水下图像光照不均、模糊不清、色彩失真等情况，提出一种结合导向滤波与自适应算子的水下增强算法。首先根据在水下环境中可见光红色光衰减过快原理，为RGB 三通道设计自适应色彩修正算子，还原水下图像的真实色彩，使图像更具色彩对比度，增强水下图像观赏性。再将图像放入导向滤波和与Retinex结合的模型中，利用导向滤波特性，平滑处理水下图像的同时保留图像边缘信息，增强水下图像清晰度和细节信息。最后计算图像的权重，根据图像权重进行多尺度融合，避免一般图像融合的伪影现象。实验表明，与现有的算法相比，该算法能更好地还原图像在大气中的颜色，同时具有更好的数值表现，并具有更多图像细节信息，改善暗区域低曝光度，增强图像整体对比。

1 自适应色彩修正算子

水对光的吸收在不同的光谱区域有着明显的不同，光波长在可见光波段红色区域最长，紫色区域最短[2]。

如图1，在较为清澈的海洋中蓝绿区域投射比量大，波长为462～475 mm 的蓝色光衰减较少，这也是水下图像大多偏蓝偏绿的原因。本文算法在此基础上对RGB三通道设计自适应色彩修正算子，具体公式如下：

图1 海水体积衰减系数随波长的变化Fig.1 Variation of seawater volume attenuation coefficient with wavelength

式中，[Imin,Imax]是自适应色彩修正算子，D属于RGB三通道，自适应色彩修正算子对水下图像进行三通道拉伸，i为三通道的像素值，分别为三通道像素值平均值。1到n为三通道像素值个数。均值用来表示数据集中较多的中间值，能够很好地表达数据集特征，易受极端数据的影响，但又与所有数据的差和为零，能够考虑到水下图像所有像素，为了平衡均差与像素值之间的误差，将三通道像素值与均值公式结合作为拉伸主体。但仅考虑均值是不够的，每个数据与均值还是有一定差异的，因此为了弥补此差异，引入后续的计算和系数∂控制误差。后续的计算要与三通道像素值和像素均值相关，因此将三通道与均方差结合，弥补主体带来的误差。基于水下光波能量衰减，红光首先消失，其次为蓝绿光原理，要对∂R分别设计。具体公式如下：

式中，rmax、bmax、gmax分别表示RGB 三通道图像中像素点的最大值。红色波长在700 mm左右，衰减最严重，因此通过计算红色通道最大值占据三通道最大值的百分比，决定作为R红色通道控制系数∂R。蓝绿色通道衰减较弱，且衰减系数维持在0.1～0.01 之间[2]。因此蓝色控制系数∂B和绿色控制系数∂G具体公式如下：

式中，当G绿色通道的最大值大于B蓝色通道最大值且数值超过100 时，整个图像过于偏绿，考虑到B蓝色通道过于衰减，因此对B蓝色通道进行自适应加大补偿，但要小于R红色通道，以避免过度补偿。如果相差数值未超过100，则设置系数为2。当B蓝色通道的最大值大于G绿色通道且数值超过100 时，考虑到G通道过于衰减，因此对G绿色通道进行自适应加大补偿，但要小于R红色通道避免过度补偿。如果相差数值未超过100，则设置系数为2。计算好自适应色彩修正算子，将其进行总体计算：

式中，c表示RGB三通道，为输出图像，Ic为原图像也就是输出图像。其中控制系数的设定来自大量实验测试，控制系数过大会过度补偿，出现图像发红现象，过小会没有效果。最终大量实验表明β=15,ε=3.5 时，效果最佳，差异补偿最优。

图2为自适应色彩补偿算子补偿后的对比图，颜色矫正后的三通道灰度直方图不再像原水下图像中的灰度过度集中，处理后灰度更加平均化，更加接近正常情况下的彩色图。相比较Yang等[7]实验中的色彩补偿，本文补偿后的图像不泛灰，更加清晰明亮，且接近真实图像。Zhang 等[8]实验中补偿后的图像红色通道补偿过度，图像整体泛红。从图2 中可以看出，本文算法有效地改善色偏，颜色更加自然，符合人眼观察。

图2 色彩补偿结果Fig.2 Color compensation results

2 导向滤波与Retinex模型结合

2.1 Retinex模型

水体对光的吸收使得深水下的世界变为漆黑，需要通过辅助光照才能拍摄清晰的水下图像。但由于水中存在的颗粒状等物质，造成了光的散射，使得水下成像对比度低，图像细节模糊，可观察事物变少。针对水体散射对水下图像的影响，本文对单尺度Retinex[9]中的高斯低通卷积函数进行导向滤波改进，通过处理水下图像，增强图像细节，去除图像存在模糊现象。基于物体色彩恒常性，Retinex 理论认为人眼对物体颜色、亮度、形状、细节等的感知取决于光线照射以及物体表面对光线的反射，即人体本身视觉感知器接收到的图像I(x,y)是由入射信息L(x,y)和反射信息R(x,y)组成。许多实验表明，多尺度Retinex 模型在图像亮度相差较大时会出现光晕现象，而水下图像往往亮度相差较大，因此为避免光晕现象的产生，本文选择单尺度Retinex 模型。而经过单尺度Retinex模型处理后的水下图像边缘细节不完整，为了解决此现象，引入导向滤波。单尺度Retinex模型其公式如下：

单尺度Retinex 算法（single scale Retinex，SSR）目前大多采用高斯低通卷积[10]，求得理想的光照估计，具体计公式如下：

式中，σ为高斯函数的尺寸，系数K要满足：

目标物体的理想反射图像特性R(x,y) 具体公式如下：

高斯低通滤波本质是根据邻域内各点与中心点的距离设置不同的权重，并进行平滑处理，平滑的同时保证图像整体的灰度值特征。但是图像经过高斯低通滤波处理后，边缘被过度平滑，导致理想光照图像缺乏边缘细节，所得的理想反射图像不可避免地缺失边缘大量细节。一般滤波无法区分噪声和边缘，图像噪声周围的像素梯度较大，导致边缘出现了梯度断层。

针对此现象，本文算法采用导向滤波代替高斯低通函数求取理想的光照图像，导向滤波最大的优势是尽可能让输出图像边缘梯度与导向图相似，最大程度地保留边缘细节，保留图像本质的同时，达到去除噪声的目的。

2.2 导向滤波

导向滤波认为输出的滤波图像qi和输入的导向图像Ii线性的。因为具有线性关系，导向图像的梯度可以被传递，输出图像可以把边缘纹理保留，具体公式如下：

式中，半径为3，k=5，Wk是以k为中心5×5的窗口，ak、bk为局部线性系数。同时认为输入图像pi是由输出的滤波图像qi和不被期望保留的噪声或纹理ni的和。具体公式如下：

首先使得qi、pi差别尽量小，再用线性岭回归模型求解局部线性系数，其中正化参数ε=0.01，滤波噪声ni具体计算如下：

式中，mk、stdk分别为导向图像I在窗口中的均值和方差，|w|为窗口内像素个数，为输出图像在窗口内的平均值。

求得ak、bk后平均化，具体计算如下：

式中，qi为导向滤波输出图像。

在Retinex 算法中用导向滤波代替高斯低通函数，将导向滤波与Retinex模型结合，具体计算如下：

式中，G(x,y)为导向滤波函数。

如图3所示，水下图像经过导向滤波改进的Retinex处理后的图像与单通道Retinex（SSR）、多通道Retinex（multi-scale Retinex with color restoration，MSRCR）[12]、原图相比，具有更高的清晰度和还原度，更加接近自然光照下的图像。图4 局部放大图像300 倍后，本文算法与SSR、MSRCR相比能够更好地平滑图像并去除噪声，同时保留图像的边缘细节，使整体细节更加突出。增强后的图像暗区域更加明亮，色彩真实，边缘细节保持完整。

图3 导向滤波改进的Retinex处理后的对比图Fig.3 Comparison plot of improved Retinex processing by guide filtering

图4 局部细节图Fig.4 Local detail drawing

2.3 权重计算

传统的简单加权融合具有易实现、原理简单、运行速度快、提高图像的峰值信噪比、减少噪声等优点，但这种算法在优化图像的同时一定程度上削减了图像中的细节信息，使得图像边缘保留不完整，图像对比度低，出现伪影等。为了解决上述问题，本文算法计算拉普拉斯权重、光度权重、显著权重，并引入金字塔多尺度融合[4]以得到更好的图像。首先将RGB图像转化为HSV（hue，saturation，value）图像，计算输入图像亮通道的拉普拉斯滤波器的绝对值来估计全局对比度，得到拉普拉斯权重。图5 为自适应色彩补偿系数补偿后的拉普拉斯权重图和导向滤波改进后的拉普拉斯权重图。

图5 权重图Fig.5 Weight chart

显著权重着重突出水下图像中失去显著性的显著对象。首先将RGB 图像转换为LAB 图像，计算三通道的均值，再计算三通道均值平方的加和。具体公式如下：

式中，Wx为显著权重，L为亮度，a、b分别为两种颜色；Lmean是亮度均值，amean、bmean是颜色均值。图4 为色彩补偿系数补偿后的显著权重图和导向滤波改进后的显著图。显著权重倾向于突出具有高亮度值的区域，因此引入基于降低亮区域饱和度的光度权重。首先将RGB 转换为LAB，得到亮通道L，再计算RGB 三通分别与L亮通道的偏差。具体公式如下：

式中，WL为光度权重，R、G、B分别为RGB 三通道像素值，l为L亮通道数值。图5为色彩补偿系数补偿后的光度权重图和导向滤波改进后的光度权重图。将自适应色彩补偿系数补偿后的三种权重和导向滤波改进后的三权重进行归一化，再用归一化权重构建拉普拉斯金字塔和高斯金字塔进行多尺度融合。

首先，对输入的水下增强图像进行拉普拉斯金字塔分解，再对输入的权重图像进行高斯金字塔分解，最后将图像金字塔与对应的权重金字塔相乘进行多尺度融合，得出最终的水下增强图像。具体公式如下：

式中，Iout为最终输出图像，k取5也就是5层，GWRk为导向滤波与Retinex 模型结合的图像权重高斯金字塔，GWLk为自适应算子的图像权重高斯金字塔，LWLk为自适应算子的水下图像拉普拉斯金字塔，LWRk为导向滤波与Retinex模型结合的图像拉普拉斯金字塔。

2.4 算法流程图

基于可见光在水中被吸收严重的是红色光原理[2]，对水下图像的R红色通道、B蓝色通道、G绿色通道，进行自适应算子色彩补偿，对水下图像进行颜色修正；其次通过导向滤波与Retinex 模型结合，对水下图像进行去模糊优化，调整图像清晰度的同时保留边缘细节，避免边缘模糊，过度曝光；最后计算图像拉普拉斯权重、显著性权重、光度权重，根据三种权重进行多尺度融合得到最终的增强后的水下图像。本文算法的流程图如图6。

图6 算法流程图Fig.6 Algorithm flowchart

2.5 消融实验

为了验证算法过程的有效性，分别对算法过程中的步骤进行消融实验，评价标准选取平均梯度与信息熵。

如表1、表2 所示，融合后的算法具有更好的表现值。经过融合后处理的水下图像，相较其他单独模型，评价数值表现更佳，说明经过算法处理后的水下图像更加清晰，包含更多的信息。

表1 图像下潜消融实验数值Table 1 Value of image submersible ablation experiment

表2 图像珊瑚消融实验数值Table 2 Value of image coral ablation experiment

3 实验结果与分析

实验过程采用CPU i7-670，8 GB DDR，作为硬件仿真环境。软件仿真环境是Matlab 2019b，Win 10 操作系统。

3.1 实验结果对比

为了验证本文算法的有效性，将本文算法处理后的水下图像与基于暗原色先验原理的单一图像去雾技术（HE）[3]、基于背景光统计模型和透射图优化（MBOT）[6]的水下图像增强、基于水下图像增强的色彩平衡和融合（CBFU）[4]、基于图像模糊性和光线吸收的水下图像恢复（IBLA）[5]进行客观评价。其中CBFU 算法进行白平衡和锐化处理，为水下图像进行颜色修正，再采用多尺度融合策略，本文算法与其比较具有更加直观的感受。通过尺度不变特征匹配算法（scale-invariant feature transform，SIFT）[13]对比原图像和本文算法处理后的图像，验证本文算法有效增强了图像纹理细节。

为了进一步证明本文算法的有效性，对本文算法处理后的水下图像与对比算法进行数据相关的客观质量评价。针对水下图像特点，本文采用三个客观质量评价指标作为算法性能的衡量标准，分别是信息熵（entropy）、无参考图像主观评价分数（natural image quality evaluator，NIQE）[14]、水下图像质量评价指标（underwater image quality measure，UIQM）[15]，加黑字体为最佳结果。

信息熵是指每个水下图像中所含信息平均量和信息内容的丰富程度；信息熵测评数字越大，图像增强效果越好，所含信息量越大。NIQE 指标是将预先锻炼好的数据模型参数与待评估的图像进行对比，得出增强后的图像参数；主要是评价图像自然性；其自然评测数值越小，说明图像的感知质量越好。UIQM是基于人眼视觉系统激励的无参考水下图像质量评价指标；针对水下图像色彩、明暗对比度等方面；其自然评测数值越大，说明图像色彩平衡，清晰度、对比度更佳。

3.2 主观对比与客观对比

如图7所示，HE算法[3]基于暗通道先验对图像进行调整，虽然能够去除水下图像中后向散射造成的雾化，但水下图像色差问题没有解决，图像存在偏绿现象，增强后图像整体过于发暗。IBLA 算法[5]根据水对光线的吸收，对水下图像进行恢复处理。虽然处理后图像减弱水体对光线衰减的影响，但是没考虑到水对光线中通道吸收的差异，进而使增强后图像泛红。CBFU 算法[4]有效地改善水下图像色彩失真，但过度增强散射效应，局部图像发暗，局部信息丢失。MBOT 算法[6]有效改善图像暗区域的失曝和色彩失真，但存在过度曝光和局部模糊现象。

图7 原图1增强结果对比图Fig.7 Enhancement result comparison chart in original figure 1

如图8～图10所示，相比较于其他算法，本文提出的结合导向滤波与自适应算子的水下图像增强算法，能够很好地去除白雾和模糊，增强整体清晰度的同时保留边缘细节，将水下图像中色彩还原为接近大气中的色彩。

图8 原图2增强结果对比图Fig.8 Enhancement result comparison chart in original figure 2

图9 原图3增强结果对比图Fig.9 Enhancement result comparison chart in original figure 3

图10 原图4增强结果对比图Fig.10 Enhancement result comparison chart in original figure 4

从表3～表7 中可以得出，本文算法增强后图像的Entropy、NIQE、UIQM值均优于其他对比算法。表明本文算法增强后的水下图像能很好地保留图像细节，在增强过程中更好地还原水下图像色度，提高对比度和饱和度。在消除散射影响方面，本文算法能够得到更加清晰的图像。从主观评价和客观评价的比较当中可以看出，本文算法在处理水下图像方面，能够还原图像色彩，提高图像清晰度，并保留图像细节信息，图像质量更好。

表3 原图1增强参数对比Table 3 Comparison of enhancement parameters in original figure 1

表4 原图2增强参数对比Table 4 Comparison of enhancement parameters in original figure 2

表5 原图3增强参数对比Table 5 Comparison of enhancement parameters in original figure 3

表6 原图4增强参数对比Table 6 Comparison of enhancement parameters in original figure 4

表7 随机10个图像增强参数平均值对比Table 7 Comparison of average value of enhancement parameters of 10 random graphs

3.3 应用测试

为了验证本文算法在实际应用中的有效性，选用尺度不变特征匹配SIFT 进行测试，测试增强后图像和原本图像特征点匹配的效果。测试结果如表8、表9所示，特征匹配点数目越多说明图像纹理越清晰。从表8、表9 中可以观察到原始水下图像特征匹配点数目分别为86、274 个，经过本文算法增强后的水下图像特征匹配点数目分别为1 294、1 520，特征匹配点大幅度增加。而其他算法的匹配个数远小于本文算法的匹配个数。由此可知，经过本文算法增强后的图像具有较好的纹理细节，在目标识别和特征匹配方面表现更佳。

表8 原图4中SIFT个数Table 8 Number of SIFTs in original figure 4

表9 原图5中SIFT个数Table 9 Number of SIFTs in original figure 5

4 结束语

海洋中的水下环境十分复杂，水下图像受水体对光线吸收和颗粒物质散射的影响，产生色彩失真、成像模糊、细节丢失等现象。针对上述现象，本文提出一种结合导向滤波与自适应算子的水下图像增强算法。此算法不需要先验训练的数据集，首先对原水下图像进行色彩相关系数补偿，根据水下图像三通道不同特点进行三通道色彩修正，使其色彩符合人眼在大气下看见的色彩特点，增强图像纹理细节；再经过导向滤波改进Retinex对原水下图像进行去模糊处理，消除散射带来的模糊，调整水下图像整体亮度；最后计算处理后图像的权重，进行多尺度融合，调整过亮和过暗区域的不平衡，更好地调整水下图像的色衰。实验结果表明，所提算法能够有效修正水下图像存在的色差现象，增强视觉效果；能够更好地提高整体对比度和清晰度，同时解决光照不均的现象，针对色衰严重的水下图像具有更好的鲁棒性。