融合彩色模型空间的非线性低照度图像增强

刘寿鑫， 龙 伟， 李炎炎， 程 鸿

(四川大学机械工程学院， 成都 610065)

1 引 言

在光照不充足的情况下所拍摄的照片,由于成像设备的光传感器因感光不足或光圈不够大而造成图像整体偏暗、色彩饱和度过高等问题而无法达到拍摄者实际所需要的图像质量.

通常,图像增强算法可按照有无构建物理模型而分为两类,一类是基于物理模型的图像增强方法;另一类是不依赖于物理模型的直接法,即直接对图像进行数字增强处理.物理模型的算法首先需要设计符合特定场合的物理模型,再由已知条件来逆推出清晰图像,如大气消光系数物理模型[1]，暗通道先验模型[2]，Retinex模型[3]，后来以此为基础发展而来的多尺度Retinex算法MSR[4]与在此基础上带有图像色彩恢复重建的MSRCR算法[5],分阶融合低照度图像增强算法[6]以及结合暗通道先验理论与MSRCR的图像增强算法[7],但是物理模型的增强方法不仅构造物理模型麻烦,而且只能适用于特定的场景,就暗通道先验理论来说,有许多待增强的低照度图像并不满足该理论.而直接法可认为是直接利用图像直方图信息进行图像增强,比如图像增强的经典直接算法——直方图均衡化HE算法[8],但是经该方法处理后的图像易出现过度增强的情况以及伪影现象,此后又有不少学者针对此类缺陷对HE算法进行了改进,提出了双边直方图均衡化算法BBHE[9],限制对比度的自适应直方图均衡化算法CLAHE，基于曝光子直方图均衡化的算法ESIHE以及其改进算法[10-11],除直方图均衡算法之外,也有不少基于数学方法的数字图像增强算法[12-14]和基于伽马校正的非线性增强算法及其改进算法被提出[15-19],比较经典的算法如Huang等[18]提出的自适应权重分布的伽马矫正增强算法AGCWD, 近年来已有学者将深度学习的方法引入到图像处理当中[20],此类方法利用神经元网络对标准的参考图像进行特征分解与学习,并利用大量的标准图像与低照度图像数据集对已构建的神经元网络节点进行权重优化以达到该神经元网络最好的图像增强效果,而最具代表性的是CNN卷积神经元网络[21],基于此神经元网络的算法有全卷积网络的MR-VEA增强算法以及与传统方法相结合的Retinex-UNet网络算法等[22],尽管基于深度学习的增强算法能够抑制过度增强的情况以及能够较好地恢复图像色彩与细节,但是该类算法的神经元网络设计复杂,训练模型需要大量的训练数据,整体运算量大且难以获取成对的标准图像和低照度图像.

本文提出了一种类属于“直接法”的低照度图像增强算法,在该算法中将图像增强分割为RGB彩色模型空间处理模块与HSV彩色模型空间处理模块.在RGB空间的处理过程中,先对图像进行分灰度等级处理的亮度抑制与高斯滤波预处理,由于RGB彩色模型空间中的亮度与色彩由R、G、B三分量以不同的比例构成,所以R、G、B三分量的分布特征相类似,利用此特征,针对图像灰度级偏低的问题提出了统一的灰度级增强函数;在HSV空间中,为避免亮度过低而影响色彩表达效果,单独提出了针对V分量的亮度调节函数,针对图像色调过饱和问题,提出了一种基于S分量的色调矫正函数,最后将两空间中的图像进行加权融合.最终的实验结果表明,所提算法有着良好的图像处理结果,图像亮度提升明显,色调矫正效果好.

2 本文算法

较于RGB彩色模型空间,由于HSV彩色模型空间具有面向人体主观非线性感知色彩特性的特性,故在HSV彩色模型空间中处理后的照片拥有更加饱和与鲜艳的色彩,由此提出一种融合RGB彩色模型空间与HSV彩色模型空间的照度图像增强算法.该算法的增强过程的流程图如图1.

2.1 RGB彩色模型空间的增强

RGB彩色模型空间,又称三原色(红色、绿色、蓝色)彩色模型空间[23].在该空间中,所有的色彩及其亮度全部由R、G、B三原色分量以不同的比例混合而成,当一色彩点处的三分量均以255灰度级一比一融合时，该色彩点为白色,均以0灰度级一比一融合时，该色彩点为黑色.

实验结果表明,低照度图像之所以整体亮度偏暗是因为图像的灰度等级整体分布主要集中于低灰度等级处,以“Satellite”图像为例,未经过增强处理前的图像及其灰度图如图2的(a)和(c)所示.低照度图像由于整体的灰度级偏低,故R、G、B三分量的分布特征与低照度图像的整体灰度级分布特征相类似,均分布于灰度等级较低处.

为防止图像出现过度增强的情况,在进行R、G、B三分量增强处理之前,采用如下灰度等级分段处理的处理方式对图像灰度等级进行预处理.

(1)

其中,A(i,j)表示输入图像在位置(i,j)处的灰度级,A(i,j)的取值范围为[0,255],A1(i,j)表示输出图像在位置(i,j)处的灰度级.

将预处理后的图像,进行高斯高通滤波处理.相较于巴特沃斯滤波器以及理想滤波器,经高斯滤波器处理后的图像具有更高的平滑性.高通滤波器的作用是过滤掉图像中的低频信息,保留高频信息,使得图像较多的细节得以保留.本文以尽多的保留图像细节为目的,选用高通滤波器,高斯高通滤波器的产生公式如下式所示.

(2)

其中,D0为高斯高通滤波器的截止频率；D(r,c)表示在大小为M×N的图像中,频率点(r,c)与频域中心之间的距离,其表达式为

(3)

针对低照度图像的灰度等级较低的问题,提出了一种基于RGB彩色模型空间特性的灰度级增强函数,该函数如下式所示.

(4)

其中,A(i,j)表示输入图像在位置(i,j)处的灰度级,A(i,j)的取值范围为[0,255].经RGB彩色模型空间增强后的图像结果如图2(b)所示,其灰度图如图2(d)所示.

2.2 HSV彩色模型空间的增强

HSV彩色模型空间是一种将RGB三原色彩色模型空间进行归一化处理演化而来的色彩空间,其通过色调H分量,饱和度S分量以及亮度V分量三个色彩分量来描述彩色图像,是面向人体非线性视觉感知神经的主观彩色图像模型,相较于RGB彩色模型空间,经HSV彩色模型空间处理后的图像具有更加丰富的色彩与更加饱满的色调,H、S、V色彩分量与R、G、B三原色色彩分量之间的相互转换关系如式(5)～(7)所示.

(a) 原图

(5)

(6)

(7)

低照度图像由于亮度不足而导致图像色彩被掩盖,造成主观视觉效果差,针对此问题,提出了V分量的非线性亮度增强处理函数,其表达式如式(8)所示;低照度图像除了亮度低之外,其色彩饱和度偏高,通常会比实际所看到的物体颜色更加饱满,从而导致了图像色偏的产生,为矫正图像的色偏问题,提出了一种针对S分量的色彩饱和度矫正函数,其表达式如式(9)所示,为进一步展示所提出的函数处理效果,在图3分别给出了V分量与S分量的原图与处理结果图,在图4中给出了V分量的灰度级统计图与S分量的灰度级统计原图与处理结果图.

(8)

(9)

其中,V(i,j)表示图像亮度V分量在位置(i,j)处的亮度大小;S(i,j)表示图像色彩饱和度S分量在位置(i,j)处的色彩饱和度大小,V(i,j)与S(i,j)的取值范围为[0,1].

(a) V分量原图

(a) V分量灰度级原图

2.3 彩色模型空间融合

最后采用加权融合的方式,将经过RGB与HSV彩色模型空间增强所得到的图像进行融合,融合函数表达式如下式所示.

F(i,j)=w*R(i,j)+(1-w)*H(i,j)

(10)

其中,F(i,j)为融合结果;R(i,j)为RGB彩色模型空间中的图像增强结果;H(i,j)为HSV彩色模型空间中的图像增强结果;w为权重值,当w等于1时,融合结果即为RGB彩色模型空间中的增强结果,当w等于0时,融合结果即为HSV彩色模型空间中的增强结果,由于本文算法采用等量加权融合的方式,故w的取值为0.5.

3 实验结果与分析

本文中所有实验均在MATLAB R 2018b中完成,实验平台操作系统为Windows 10,硬件系统运行内存为8 GB RAM,处理器为Intel(R)Core(TM)i5-5200U CPU@2.20 GHz.为验证本文所提算法的有效性与先进性,选取了目前较先进的四种增强算法作为对比算法,分别为新的多曝光融合算法EFF[24]、具有代表性的基于直方图均衡化的改进算法ESIHE[10]、具有代表性的基于幂律函数的伽马矫正算法AGCWD[18]和结合伽马矫正与直方图均衡化优势的ACLAHE算法[11].对比实验结果如图5至图12所示.

(a) 原图

(a) 原图

(a) 原图

(a) 原图

(a) 原图

(a) 原图

(a) 原图

(a) 原图

3.1 主观评价

从实验对比图5至图12可以看出,经EFF算法处理后的图像色差较小,且结果图像具较高的亮度,但是该算法在图6和图7的暗区域对图像细节信息的保留效果相对较差.经ESIHE算法处理后的图像色彩饱和度过高,图11与图12的处理结果表现尤为明显,造成图像色彩发生偏差而不符合主观视觉感受,且图6与图7的总体增强效果并不明显,处理后的图像依然整体偏暗的情况.AGCWD算法的图像亮度提升效果不够好,在图6与图7近景处的增强效果不明显,在图9的中间部分出现了较为明显的噪点而导致该图像质量较低,在图11上部的“屋顶”有部分细节丢失,亮度过高.ACLAHE算法在图像的亮度增强方面表现较好,但是图像有色彩增强不均的现象,图像部分色彩的平滑性较差、饱和度较高的部分色彩过于集中,该现象在图8的底部图腾处,图9的篮球表面处以及图10的天空区域表现较为明显.经本文算法处理后的图像不论是在图像亮度增强效果上还是色彩饱和度矫正控制上,均有较为良好的表现,经处理后的所有图像均未有过度增强以及色彩发生严重偏差的情况发生,总体来说符合人体主观视觉感受.

3.2 客观评价

为进一步表明本算法的有效性,选择了两种无参考图像的客观图像质量评价标准和峰值信噪比PSNR(Peak Signal to Noise Ratio)对处理后的图像进行质量评价.两种无参考图像的客观评价标准分别为NIQE(Naturalness Image Quality Evaluator)和PIQE(Perception based Image Quality Evaluator)[25-26],两种评价标准的测定值取值范围均在[0,100]之间,其值大小与图像质量成反比,所测得数值越小,图像质量越高,反之越低.而PSNR值的大小与图像质量成正比,其值越大,则表明图像质量越高.对比实验测定结果如表1所示.

表1中的评价结果数据均采用四舍五入的方式保留至小数点后两位,从无参考图像质量评价标准Piqe和Niqe来看,经本文算法处理后的图像测评结果位于所有数据的中上位置,没有位于末尾的测定结果出现,Piqe与Niqe测定结果总体表现较好;从峰值信噪比Psnr对本文所提算法处理后的结果图像测定结果来看,该测定结果的总体趋势与无参考图像评价测定结果类似,同样所有的测定结果均表现较好,且相较于其他算法的测定结果没有出现较差的测定值.综合两类客观评价指标测定结果来看,本文所提算法总体表现较好,符合低照度图像增强要求.

表1 客观评价结果

4 结 论

本文提出了一种将图像进行分彩色模型空间处理最后再融合彩色模型空间的夜间低照度增强算法,并与现有的4种图像增强算法进行了低照度图像增强对比实验.最终的对比实验结果表明,本文所提算法表现较好,经其处理后的图像有较高的亮度、较好的图像质量以及色彩饱和度校正效果良好,符合人眼视觉特性；且不论是主观评价结果还是客观评价结果,本文算法均表现良好,因此,所提算法是对低照度图像增强行之有效的一种算法.