基于人工欠曝光融合和白平衡技术的水下图像增强算法

陶 冶，许文海，徐鲁强，郭富城，蒲海波，陈广同

（1.大连海事大学信息科学技术学院，辽宁大连 116026；2.辽宁港口集团有限公司专业能力中心，辽宁大连 116001）

（∗通信作者电子邮箱taoyeln@cmhk.com）

0 引言

随着人口的不断增长，人类对海洋的探索和对其资源的应用愈加频繁。水下摄像被广泛应用于诸如水下人造物的监测、水下目标物的识别、水下机器人的操控以及水下生物的发现等研究工作中。然而，因受到光的吸收和散射作用，水下拍摄的照片往往呈现出对比度低、细节信息保留不足及颜色失真等问题［1］，严重阻碍了人类对水下世界的探索。所以，获取清晰准确的水下图像是帮助人类进一步了解水下世界的重要前置条件。

研究者提出了各种各样的水下图像去雾算法。例如，有些学者提出使用专用仪器［2］或基于偏振的方法［3］来增强图像质量。这些方法往往所需要的仪器设备非常昂贵，且无法对视频帧或动态场景照射的图像进行增强。还有一些研究者提出基于同一场景多幅图像进行融合的方式［4］来增强图像质量，但考虑水下环境的特殊性，获取同一场景的多个版本的水下图像对操作要求极高，普通的使用者根本无法获取。因此，更多的研究者考虑提出只基于单幅图像本身的信息进行水下图像的去雾处理。单幅水下图像去雾处理方法大致可分为三个类别：第一类是水下图像的增强方法；第二类是水下图像的复原方法；第三类是基于深度学习的方法。

水下图像复原技术中最具代表性的是暗通道先验（Dark Channel Prior，DCP）算法［5］，该算法认为每一幅无雾图像中每个区域总有一个颜色通道会有一个很低的值，然后利用全图最暗的点来去除图像均匀的雾的方式进行去雾处理。DCP应用于空气中的图像去雾效果良好，但在水下图像的去雾上表现不佳。随后，受到DCP 的启发，研究者们提出了很多诸如DCP 结合颜色补偿的算法［6］、红色通道先验算法［7］，以及著名的水下图像暗通道先验（Underwater Dark Channel Prior，UDCP）算法［8］等图像复原方法，但此类方法大多需要大量额外的先验知识作为应用基础，普通的技术人员并没有获取这些先验知识的有效途径。现在比较流行的基于深度学习的算法［9］也在水下图像去雾领域颇有建树。水下图像的卷积神经网络（UnderWater Convolutional Neural Network，UWCNN）技术［10］可提升水下图像清晰度，但需要长时间、大量训练的相应图像数据集作为基础。此类方法多需要庞大的网络结构作为支撑，并对相应的训练数据集有很高的要求。

水下图像增强方法多为基于空间域或频率域的变化或一些融合技术来提升水下图像的视觉质量。其中比较常见的直方图均衡算法［11］、自适应对比度限制直方图均衡化算法［12］，以及广义钝的掩蔽算法［13］均为著名的提升图像对比度的算法，无法有效克服水下图像细节丢失、颜色退化的缺陷。基于融合技术的图像增强方法往往在水下图像去雾方面表现更佳，例如由文献［14］提出的基于融合和色彩平衡技术的水下图像去雾算法，该算法将原始水下图像首先进行白平衡处理，然后分别获取基于白平衡处理后的锐化版本和伽马矫正版本，最后通过分别设置“拉普拉斯对比度”“显著性特征”“饱和度”三个权重值结合多尺度融合方法获得最终融合图像。该算法可一定程度提升水下图像的质量，但由于其白平衡技术只是对单一颜色通道进行增强，色彩校正效果不够理想且最终图像的对比度较低。

根据现有水下图像去雾技术中存在的问题，本文提出了基于人工欠曝光融合和白平衡技术（Artificial Under-exposure Fusion and White-Balancing technique，AUF+WB）的水下图像增强算法，可有效提升图像对比度，恢复图像细节信息并校正不良色偏，从而提升水下图像的视觉质量。相较于DCP 算法、UDCP 算法、UWCNN 算法和文献［14］算法，在对大量水下图像样本进行去雾处理时，所提AUF+WB 算法在主观、客观评价中均表现更好，充分验证了AUF+WB 算法的可行性和有效性。

1 相关工作

1.1 水下成像模型

水下图像和平常图像最主要的差别在于光在水中受到吸收和散射作用的影响，使水下图像成像效果对比度降低、细节信息丢失且颜色发生严重的退化。其中光的吸收过程具有选择性衰减现象，与光波长度密切相关。当水深超过6 m 时，红色光基本消失，所以绝大多数的水下图像呈现蓝绿色调。McGlamery［15］首次提出了著名的水下成像模型，将水下成像的光学过程看作三个分量的线性相加。这三个分量分别为：1）从目标物反射至相机的直接反射分量Ed；2）被水中悬浮颗粒散射但仍到达相机的光的前向散射分量Ef；3）由环境光源（太阳光、大气光等）照射至水中但被悬浮颗粒物散射后无法达到相机的后向散射分量Eb。其中，因为绝大多数的水下摄像过程中相机与被照射物体的距离很近，直接反射分量Ed可在水下成像过程中忽略不计，因此文献［15］中水下成像模型可简化为式（1）：

其中：Ic(x)=(IR(x)，IG(x)，IB(x))为原图像，c代表相对应的颜色通道；Jc(x)为去雾后的水下图像；tc(x)为相对应颜色通道的传输率，且e-tc(x) ∈[0，1]。水下图像去雾算法大多是以此经典模型为基础提出的。

1.2 算法性能

如前文所述，水下图像因受到光的吸收和散射作用的影响，经常出现对比度降低、细节信息丢失和颜色失真的问题，导致其视觉质量的下降，从而限制了人类对海洋世界的探索与研究。针对上述水下图像视觉问题，提出了图像增强算法AUF+WB。

1.2.1 提升对比度和恢复细节信息

在提升对比度和恢复细节信息研究中发现，一幅图像处于理想的对比度就可以展现出这张图像更多的细节信息。因此，对比度的调整和细节信息的恢复是紧密相连的，诸如直方图均衡技术、自适应对比度限制直方图均衡化技术，以及广义钝的掩蔽技术等都是常见的提升对比度的方法，但其在增强水下图像上表现一般。这里，引入另外一个概念：曝光度。曝光度是到达相机感光元件光亮的度量，如果一幅图像上所有的点均处在其最佳曝光度，这幅图像的对比度就可以得到合理有效的提升，并展现更多的细节信息。水下图像由于光在水中的吸收和散射作用，通常对比度较低，因此本文提出可以参考大气有雾图像的多曝光融合增强策略［4］，即：获得同一水下场景的不同曝光度图像版本再进行多尺度融合操作的设想，可以有效恢复更多的细节信息。但常规获取单一场景多曝光度图像的方式是在拍摄瞬间调节快门的速度来实现的，而对于水下摄像，由于受到外部环境条件的客观影响，获取同一场景的多幅、不同曝光度图像很难通过常规途径获取。因此，根据图1 中展示的通过调节照片的伽马值的方式和调整曝光度的作用大体相似，所以本文提出可以在获取水下图像的基础上通过调节其伽马值的方式得到多幅、不同曝光版本的人工多曝光图像用以图像增强。

图1 人工生成多幅低曝光度图像及其融合结果Fig.1 Multiple artificial generated under-exposure images and their fusion results

1.2.2 矫正颜色失真

在校正颜色失真的研究中，研究者们已提出了诸如灰度边缘假设（Gray-Edge）［16］、灰色阴影假设（Shades-of-Gray）［17］、颜色通道最大化假设（Max-RGB）［18］、灰色世界假设（Gray-World）［19］、文献［20］中的白平衡方式及文献［14］中的白平衡方式等方法来实现这一目的。但现有的方法在水下图像的颜色校正中均存在不足之处：经典的白平衡方式（Gray-Edge、Shades-of-Gray、Max-RGB、Gray-World）无法对水下图像进行有效的颜色纠正。文献［20］中的白平衡方式容易造成红色通道过补偿现象，而文献［14］中的白平衡方式则会因为只通过补偿单一颜色通道的方式，造成对比度降低、蓝色通道补偿不足等缺陷。针对以上问题，并结合水下光照选择性衰减现象，首先假设对水下图像的五种颜色通道补偿方式，即：绿色补偿红色，蓝色补偿红色，蓝色、绿色补偿红色，绿色补偿蓝色和红色，蓝色补偿绿色和红色，然后分别将5 种补偿后的图像结合Gray-World 白平衡假设生成相应白平衡版本。最后，采用定量评价的方法选取最优的白平衡方式，定量评价的指标选择水下彩色图像质量评价指标（Underwater Color Image Quality Evaluation，UCIQE）［21］和水下图像质量评价标准（Underwater Image Quality Measure，UIQM）［22］，原因如下：

1）UCIQE 和UIQM 是近年来被广大研究者认可的水下彩色图像质量评价指标。

2）UCIQE 和UIQM 分别在基于皮尔逊线性相关系数和斯皮尔曼相关系数计算中名列无参考评价指标的2、3 位［23］。UCIQE和UIQM的值越高，评测图像的质量越好。

2 本文算法

2.1 算法框架

基于水下成像模型的特点以及水下图像通常的问题表现，本文提出了基于欠曝光融合和白平衡技术（AUF+WB）的水下图像增强算法。AUF+WB 由两个步骤构成，分别是欠曝光图像融合技术与优化的白平衡技术。AUF+WB算法框架流程如图2所示。

图2 AUF+WB算法流程Fig.2 Flow chart of AUF+WB algorithm

2.1.1 多曝光版本的获得

采用人工调整原图像伽马值的方式来改变图像的全局曝光度，从而得到多幅欠曝光版本的图像，如式（2）所示：

其中：Iγ(x)为生成的相应伽马值调整曝光度的图像；I(x)为水下原始图像。当γ＞1 时，生成的图像为欠曝光图像，其原始图像明亮区域的细节信息得到提升而原本暗淡的区域细节进一步丢失；当γ＜1时，呈现的效果完全相反。但经实验发现，在引入γ＜1（过曝光）版本的图像进行多尺度融合操作后，虽然原始图像无论暗淡或是明亮区域的细节信息均得到有效恢复，但也会在融合结果中引入诸多的不良噪声，破坏图像的整体视觉质量。因此考虑选取合理的γmax值，并生成γ∈[1 ∶1 ∶γmax]相应的欠曝光版本图像。同时，对已不影响图像明亮区域信息表达的γmax欠曝光版本执行对比度受限自适应增强操作（Contrast Limited Adaptive Histogram Equlization，CLAHE），从而提升该版本对原始图像灰暗区域的细节信息体现，最终达到融合后的图像可有效恢复原始水下图像退化的细节信息，同时降低噪声影响的目的。当然，图像的对比度其实就是图像区域内像素强度最高与像素强度最低的差值，明亮区域与灰暗区域的细节信息得到良好恢复，图像的对比度也会得到有效提升，即完成了人工多幅欠曝光版本融合操作的目的。通过调整伽马值生成的原图，各个欠曝光版本可定义为：其中：EK(x)为原图生成的不同欠曝光版本的图像集。接下来，确定合理的K(γmax)的值将是一个急需解决的问题。根据对图3 的观察，发现当γ=4 时，图像明亮区域的细节信息已基本消失，且灰暗区域的细节信息已经恢复较好效果，与γ=5呈现内容大致相同。同时，也发现当K=5和K=6时，融合结果所表现的细节恢复及对比度提升效果基本一致。基于以上观察，有理由相信设定K（γmax）的值为5 是合理的，即生成EK=5(x)={Eγ=1(x)，Eγ=2(x)，Eγ=3(x)，Eγ=4(x)，Eγ=5(x)} 这5幅原始图像的欠曝光版本进行接下来的多尺度重合操作。

图3 设置不同γ值的图像及其相应融合结果Fig.3 Images with different γ values and their corresponding fusion results

2.1.2 权重值的设置

图像的视觉质量可由目标图像的对比度、饱和度和曝光度来决定［24］，因此设定“对比度”“饱和度”和“良好曝光度”作为融合权重，具体如下：

1）对比度权重W kc(x)。较高的对比度可以展现更多的细节信息，因此对比度是评价图像质量的重要指标。在每个像素x的对比度权重可以定义为：

其中：σ和β为衡常数参量，经大量计算验证［25］被设置为0.25和0.5；代表当γ=k时颜色通道c的各个像素x的强度。

最终每个欠曝光版本的总权重可被定义为简单地将以上三个分量权重相乘的形式，同时为了保证权重加成效果不会使融合结果J(x)出现过渡加成现象，总权重还应经过标准化处理，使每一个欠曝光版本的总权重系数之和等于1。

2.1.3 经典多尺度融合策略

设定好权重值后，直接代入经典的多尺度图像融合策略计算式［26］中，获得拉普拉斯金字塔分解的第l层融合结果，Jl(x)计算式如下：

2.2 改进的白平衡技术

图像白平衡的作用是为了矫正颜色偏差和提升图像对比度。但根据水下图像低对比度和不饱和的特性，无法简单地确认除了红色，还应该对哪些颜色通道进行补偿。因此根据水下图像的选择性衰减现象，提出以下五种颜色通道补偿方法，即：绿色补偿红色，蓝色补偿红色，蓝色、绿色补偿红色，绿色补偿蓝色和红色，蓝色补偿绿色和红色。5 种颜色补偿的具体方式如下。

1）绿色通道补偿红色通道：

2）蓝色通道补偿红色通道：

3）绿色、蓝色通道补偿红色通道：

4）绿色通道补偿红色、蓝色通道：

5）蓝色通道补偿红色、绿色通道：

其中：Ire(x)、Ige(x)、Ibe(x)分别代表相对于红、绿、蓝补偿后的颜色通道强度值；Ir(x)、Ig(x)、Ib(x)分别代表原图像相应颜色通道的强度值；分别代表原图像相应颜色通道的平均强度值。α为常数参数，为避免过度补偿，其取值范围属于[0，1]。设定0.1为增量，分别使α=(0 ∶0.1 ∶1]，获得相应的50 幅补偿图像。此外，为了避免造成原颜色通道的过度补偿，补偿只针对被补偿颜色通道原强度值较小的像素点。因此，原图像被补偿颜色通道中强度值已超过最大强度值95%的像素点将不被补偿。

将生成的50 种补偿图像分别结合Gray-World 白平衡技术生成相应的白平衡图像，再利用UCIQE 和UIQM 对50 种白平衡图像进行评价。鉴于暂无研究可定义UCIQE 和UIQM 两种无参考水下图像质量评价指标的影响权值，因此假定UCIQE 和UIQM 对图像评价的数值具有相同的意义，提出如下计算式：

其中：m分别对应50幅白平衡处理后的图像；i(m)代表第m幅图像的UCIQE 评价值；I(m)代表第m幅图像UCIQE 评价值所对应的影响百分比；q(m)代表第m幅图像的UIQM 评价值；Q(m)代表第m幅图像UIQM 评价值所对应的影响百分比。选取S(m)的最大值所对应的m即可得到最佳的α值及最合适的白平衡补偿方式。

3 实验与结果分析

为充分验证AUF+WB 算法的有效性与鲁棒性，首先采用300 幅来自水下图像数据库UIEB（Underwater Images Enhancement Benchmark）［27］的图像通过定性、定量的方式对现有先进的DCP算法［5］、UDCP算法［8］、UWCNN 算 法［10］、文献［14］融合算法与AUF+WB 算法进行对比。然后，采用实地潜水实验中的水下图像和视频帧进一步验证AUF+WB 算法的实用性。最后，对AUF+WB 算法在其他领域的应用场景进行简要介绍。

3.1 数据库图像评测

因篇幅有限，本节仅提供10 幅来自UIEB 的水下图像强化效果对比；同时，提供分别采用局域对比度质量指数（Patchbased Contrast Quality Index，PCQI）［28］、UCIQE 与UIQM 三种评价指标对UIEB 数据库中300 幅水下图像强化后的定量评价平均值，从而对比相关水下图像去雾算法的鲁棒性。

UCIQE 与UIQM 是被广泛认可的水下彩色图像质量评价标准，而新引入的PCQI 是一个评测图像对比度的通用指标，其值越高代表相应图像的对比度越合适。图4 给出了5 种水下图像去雾算法对10幅水下图像处理的结果对比。

图4 不同水下图像去雾算法处理水下图像的结果比较Fig.4 Result comparison of different underwater image defogging algorithms on underwater images

DCP 算法可以提升对比度，但无法矫正水下图像的色彩失真现象。而专门为恢复水下图像设计的UDCP 算法，遇到色彩严重偏色的情况也无法准确矫正图像颜色。文献［14］算法在提升对比度、恢复细节信息、矫正色彩失真方面均有效果，但其优化后的图像曝光度会受到影响，造成图像发白问题。基于深度学习的UWCNN 算法因缺少相应的大量数据集长时间的训练，恢复指定水下图像的效果一般。AUF+WB 算法可以稳定地提升水下图像的视觉质量，在对比中表现最佳。同时，为了进一步验证该算法的鲁棒性，统计从UIEB 数据库中随机选取的300 幅图像的平均评价值，如表1 所示。AUF+WB 算法在PCQI、UCIQE 及UIQM 评价指标中均获得评价最优值，表明该算法的应用鲁棒性较好。

表1 UIEB数据库的300幅图像平均定量评价结果Tab.1 Average quantitative results of 300 images from UIEB database

3.2 现场实验图像及视频帧处理

在中国辽宁大连附近海域，组织完成三次水下潜水摄像实验以验证AUF+WB 算法的实际应用性。现场实验采用潜水员手持GoPro HERO9 相机全程录像的方式进行拍摄，共获取视频21 条，截取视频帧图像5 300 余张。视频录制主要以拍摄水下生物和周边码头水下结构技术状态为主。考虑到码头水下结构颜色比较单一，因此图5 仅给出AUF+WB 算法与其他先进算法对6 幅相关图像（海洋生物为主）的图像增强结果对比。表2给出了图5相关图像的平均定量评价结果。次，很大程度上限制了算法的实际运算效率，在选取最佳白平衡方式后，算法的效率得到明显提升。表3为不同算法对300幅来自UIEB 水下图像数据库的图像的计算平均时耗结果比较。所有运算均在Intel i7-10710 CPU@1.10 GHz、16 GB 内存硬件条件下，在Matlab 2020b（学生版）和Python 3.5.2 软件环境中完成。

图5 不同水下图像去雾算法处理视频帧的结果比较Fig.5 Result comparison of different underwater image defogging algorithms on video frames

表2 图5相关图像平均定量评价结果Tab.2 Average quantitative evaluation results of Fig.5 related images

表3 不同算法运算耗时比较Tab.3 Comparison of running time of different algorithms

根据观察可知，AUF+WB算法的应用效果较好，对水下图像质量的提升优于其他对比算法。同时，在相关定量评价中，AUF+WB 算法的UCIQE 与UIQM 值均为最高，表明了该算法的有效性。

综上所述，本文所提出的AUF+WB 算法可有效提升水下图像的视觉质量，但通过大量的实验也发现其现阶段存在以下不足：

1）白平衡算法的运算过程中将几乎相同的公式运算50

2）AUF+WB 算法在原始图像部分区域，会遇到在非常严重的不均匀光照情况下，红色通道补偿过多的问题。原因在于该算法所采用的白平衡技术是对图像全局的调整，并未考虑到对局部区域的修正。

针对以上不足，将在下一阶段的研究中着重进行白平衡算法运算代码的优化，同时增加对可能遭受严重不均匀光照的局部区域颜色通道的修正运算。

3.3 其他应用场景

AUF+WB算法虽然是专门为水下图像的质量增强而设计的，但它也可应用于对有雾图像的增强。图6 给出了AUF+WB 算法应用于有雾图像所得到的图像增强效果与原图的对比，图像来源于有雾图像数据库［29］。可以看出，AUF+WB 算法有效提升了降质图像的对比度，恢复了大量细节信息，同时对颜色失真进行了矫正，使图像具有更好的视觉感知效果。

图6 AUF+WB算法对有雾图像的增强效果Fig.6 Enhancement effect of AUF+WB algorithm on foggy images

4 结语

基于水下图像对比度低、细节信息丢失、颜色失真严重等问题，本文提出了一种基于人工欠曝光融合和白平衡技术（AUF+WB）的水下图像增强算法。该算法通过采用人工、多幅欠曝光图像融合算法和改进的白平衡技术可以提升水下退化图像的视觉质量，相较于现阶段先进的水下图像去雾算法，AUF+WB 算法在定性评价和定量评价中均取得了更好的效果。同时，通过实验分析可知，本文算法还适用于空气环境下有雾、低光照图像质量的强化，有较好的应用前景。

相较于现阶段的其他水下图像去雾算法，AUF+WB 算法的增强效果有较大的提升，但经过大量实验发现，该算法也有其局限性，主要体现为：1）运算效率较低；2）在目标图像中受到严重不均匀光源影响时，其白平衡运算容易造成红色通道补偿过度的不良现象。在接下来的研究中，我们将着重对AUF+WB 算法的代码进行优化，同时增加对图像局部颜色通道的修正。