基于光照-反射成像模型和形态学操作的多谱段图像增强算法∗

王殿伟 韩鹏飞 范九伦 刘颖 许志杰 王晶

1)(西安邮电大学通信与信息工程学院,西安 710121)2)(电子信息现场勘验应用技术公安部重点实验室,西安 710121)3)((英国)哈德斯菲尔德大学计算机与工程学院,哈德斯菲尔德HD13DH)4)((英国)谢菲尔德哈雷姆大学计算机学院,谢菲尔德S11WB)(2018年7月4日收到;2018年8月10日收到修改稿)

为解决多谱段降质图像增强问题,提出了一种基于光照-反射成像模型和形态学操作的多谱段图像增强算法.首先对图像饱和度使用自适应非线性拉伸函数进行拉伸,使增强后的图像色彩更加饱和、自然;接下来利用引导滤波算法提取出图像的光照分量,提出了一种基于细节特征的加权融合策略,利用光照分布特性构造了一种自适应Gamma校正函数对光照分量进行处理,并将其与利用对比度受限的自适应直方图均衡化方法处理后的光照分量以及原始光照分量进行融合;然后在反射分量校正时,构造了一种形态学操作函数来校正反射信息;最后合并光照分量和反射分量,并与处理后的饱和度分量和色调分量一起得到增强图像.采用主客观评价指标对可见光低照度图像、水下图像、高动态范围图像、沙尘暴图像、雾天图像和热红外图像6种降质多谱段图像实验结果进行分析比较,结果表明本文算法能够有效地抑制图像噪声、增强图像细节信息、改善图像视觉效果,可应用于多种图像增强领域.

1 引 言

随着科学技术水平的不断发展,多谱段图像的成像技术已经被广泛应用于医学诊断、公共安检、交通监管、视觉导航等领域.但在实际的工程应用中,由于外界环境影响以及谱段自身的性质限制[1,2],导致采集到的图像质量受损、噪声偏多、图像整体对比度较低,对后续图像的观察以及分析造成了很大的困难.因此,对多谱段图像进行增强,提高图像视觉效果、增强图像对比度以及细节信息就显得尤为重要[3,4].

与普通场景图像的增强算法相比较,低照度图像、水下图像、高动态范围(high-dynamic range,HDR)图像、沙尘暴图像、雾天图像以及热红外图像的增强算法相对较少.常用的图像增强算法主要包括直方图均衡化[5−7]、基于Retinex理论的图像增强算法[8−11]、频域滤波[12−15]和基于物理模型类算法[16−18]等.这些算法各有优缺点:1)直方图均衡化类算法利用图像像素的分布特点来对图像进行增强,易产生过增强现象,且增强后图像的视觉效果不够好;2)基于Retinex理论的算法使得增强后图像更加符合人眼特性,视觉效果更好,但会产生光晕现象;3)频域滤波主要是滤除图像中的噪声,对图像进行平滑;4)基于物理模型的算法可使增强后的图像更加清晰,色彩更加饱和丰富;但是上述图像增强算法只能够增强某一特定谱段的图像领域的问题,具有局限性.目前对于多个谱段图像增强算法研究较少,毕国玲等[3]利用基于光照-反射成像模型和有界运算的方法对低照度图像、雾霾图像、红外图像以及X光医学图像进行增强,不仅可以很好地增强图像亮度,提高图像对比度,而且增强后的图像具有较好的视觉效果,其局限性在于其适用于灰度图像;李红等[4]利用基于主特征提取的Retinex多谱段图像增强算法实现了对X光图像、紫外图像、可见光图像、低照度可见光图像和红外图像等图像的增强,可以增强图像亮度和对比度,抑制图像噪声,使得图像的细节信息更加凸显,但该算法中参数多是利用经验值手动设置,难以自动地寻找到最优参数.上述两种多谱段图像增强算法虽然很好地解决大多数多谱段图像降质的问题,但是均未涉及到水下、HDR与含沙尘暴图像增强领域,具有其局限性.

针对以上问题,本文提出了一种基于光照-反射成像模型和形态学操作的多谱段图像增强算法.首先将图像亮度分为光照分量与反射分量,对于光照分量,文中提出一种细节特征加权融合策略,利用光照分布特性构造了一种自适应Gamma校正函数对光照分量进行处理,并将其与利用对比度受限的自适应直方图均衡化(contrast-limited adaptive histogram equalization,CLAHE)方法处理后的光照分量,以及原始光照分量进行融合;对于反射分量,构造了一种形态学操作函数,对反射分量进行去噪的同时可以增强图像细节信息;然后对于图像饱和度,使用一种自适应非线性拉伸函数对图像饱和度进行拉伸,使得图像的色彩更加饱和、自然.文中算法实现了多谱段图像去噪、对比度增强与细节增强的结合,实现了对可见光低照度图像、水下图像、HDR图像、沙尘暴图像、雾天图像和热红外图像6种多谱段降质图像的亮度以及对比度的增强,抑制了图像噪声,有效地凸显出图像的细节信息并提高了多谱段降质图像的视觉质量.

2 基本理论

2.1 光照-反射成像模型

由光照-反射成像模型[8]可知,若使用二维函数S(x,y)来表示一幅图像,每一个像素点(x,y)对应的函数值即为该点图像的亮度值.S(x,y)由照射到场景的光照分量I(x,y)与经物体表面反射后的反射分量R(x,y)乘积构成,其模型表达式如下:

由光照-反射成像模型理论可得,对于一幅数字图像,光照分量主要决定图像中像素的动态范围,对应于图像中的低频部分,反映了图像的全局特性以及图像的边缘细节信息;反射分量代表图像的内在本质特性,对应于图像中的高频部分,包含图像的大多数局部细节信息以及所有噪声.

2.2 引导滤波器原理

引导滤波[13]是一种基于局部线性模型的具有边缘保持平滑特性的滤波器,其思想是定义任一像素点与其相邻的像素点为线性关系,然后对其进行局部滤波,将所有局部滤波后的结果进行累加来得到滤波后的结果.假设引导图像为I,输入图像为p,输出图像为q.对于输出图像中的第i个像素而言,其计算方法可表示为

式中i和j为像素标签;Wij为滤波核函数,定义为[11]

式中,Wk为第k个核函数窗口;|ω|为窗口内的像素个数;µk,σ2k是引导图I在窗口ω内的均值和方差;ε为平滑因子.

3 基于细节特征加权融合的图像增强算法

3.1 算法原理

本文在光照-反射成像模型的基础上,将图像去噪、对比度增强与细节增强相结合,提出了一种基于光照-反射成像模型和形态学操作的多谱段图像增强算法,基本步骤(见图1)如下:1)将图像从RGB色彩空间转到HSV色彩空间,获取图像的亮度分量V、色调分量H与饱和度分量S;2)使用一种自适应非线性拉伸函数对S分量进行自适应拉伸,使得图像的色彩更加饱满、自然;3)利用引导滤波对V分量进行处理,将其分解为光照分量和反射分量,估计出图像的光照分量,提出了一种基于细节特征的加权融合策略,利用光照分布特性构造了一种自适应Gamma校正函数对光照分量进行处理,并将其与利用CLAHE方法处理后的光照分量以及原始光照分量进行融合;4)构造了一种形态学操作函数对反射分量进行处理,在去除图像噪声的同时增强图像细节信息;5)最后将处理后的反射分量与光照分量合并得到增强后的亮度分量V,与色调H、拉伸后的饱和度S进行合并,并将增强后的结果转换到RGB色彩空间,从而得到增强后的图像.本文算法的流程图如图1所示.

图1 本文算法流程图Fig.1.Flow diagram of proposed method.

3.2 亮度分量V增强

为了更好地提高图像的图像质量,减少光照等因素对于图像的影响,准确地提取出图像的光照信息特别重要.目前,应用较广泛的光照信息提取算法主要有基于高斯滤波的算法[9]、基于变分框架的Retinex算法[10]、引导滤波算法[12,13]和双边滤波算法[14,15]等.基于高斯滤波的提取算法容易造成图像边缘模糊,细节信息保持较差;基于变分框架的Retinex算法提取光照信息时,对含有光照突变的图像提取效果并不理想;双边滤波算法的运算量过大,实时性不好,难以应用于实际工程中.

3.2.1 光照分量增强

鉴于引导滤波算法在对图像平滑时具有良好的边缘保持能力,并能够抑制图噪声,本文采用引导滤波算法对亮度分量V做滤波平滑,利用(1)式所示的光照-反射成像模型,将图像的亮度分解为光照分量I(x,y)与反射分量R(x,y)的乘积.为了获得更好的光照分量的增强效果,分别采用自适应Gamma校正算法和CLAHE[6]方法对图像的光照分量进行处理,并利用基于细节特征的加权融合算法进行融合,对光照分量的处理过程如图2所示.

输入I1为图像的原始光照分量I(x,y),其包含了大量的原始结构信息,可以避免图像增强过程中产生失真现象.

输入I2是采用自适应Gamma函数对光照分量进行校正后的结果,本文提出了一种新的自适应Gamma校正函数,表达式为

式中I(x,y)为原始光照分量值;I2(x,y)为自适应校正后的光照分量值;r(x,y)为Gamma函数的控制参数,其取值直接决定Gamma函数校正的效果.

现有的Gamma校正算法中r(x,y)的值通常凭经验选取一个固定值,当r(x,y)>1时会降低整幅图像的亮度,当r(x,y)<1时会提高整幅图像的亮度,r(x,y)=1时图像亮度保持不变.实际的图像中既有整体光照过亮的图像也有整体光照过暗的图像,这就给r(x,y)最优值的选取带来困难.为此,本文提出一种r(x,y)最优值自适应选取策略,利用每一个像素点的光照分布特性动态地调整Gamma函数的参数,实现对图像亮度的自适应校正处理,提高光照过暗区域图像的光照分量值,降低光照过亮区域图像的光照分量值,得到校正后的光照分量.r(x,y)的计算方法如下:这里m,n分别为图像的宽与高. 采用自适应Gamma校正可以很好地提高图像亮度,丰富暗区域细节信息,抑制住原图中较亮区域的增强,防止出现过增强.

虽然自适应Gamma校正函数可以改善光照分量的分布,但动态范围有所压缩,会导致图像的局部对比度过低.因此,采用CLAHE[4]对光照分量进行处理,得到光照输入I3.其表达式可以写为

图2 光照分量算法框图Fig.2.Processing block diagram of illumination component algorithm.

3.2.2 光照输入融合

为了得到光照分量的最优增强效果,本文提出一种基于细节特征的图像融合策略,将3.2.1节中得到的I1,I2,I3加权融合后的值作为该像素点的光照分量值.鉴于图像的方差、梯度、熵分别反映图像质量、清晰度以及图像的丰富程度,选用方差、梯度、熵这3个参数,来求取图像的局部特征.方差、梯度、熵的计算方法分别为

式中Qvar,p(x,y)为方差;Qgrad,p(x,y)为梯度;Qentr,p(x,y)为熵;p=1,2,3分别代表输入I1、输入I2和输入I3;d为邻域半径,d=(2k+1)(2k+1),尺寸大小由k决定,常用尺寸为7×7,9×9,11×11等,本文选取9×9;Ip表示第p个输入光照估计,Ip表示所选邻域内各像素点的光照分量均值,其计算公式为

融合过程中,对于每一个像素点(x,y),统计其邻域内像素点的方差、梯度和熵作为该像素点的局部特征,并以此来确定I1,I2和I3在融合中所占的权重.在这里,图像的质量测度是由上述的方差、梯度、熵的一种或多种所构成,对应的质量测度定义为

其中,α,β,γ取值为0或者1.为了可以获取更佳的光照校正效果,取方差、梯度及熵3个图像局部特征来对图像的光照信息进行融合,所以α,β,γ三者都取值为1.

权重系数的设计为

式中Qp(x,y)是光照输入估计的质量测度,且权重系数必须满足这里,h是一个特别小的正数,目的是防止分母值为零.融合后的光照分量即为增强后的光照分量Ienhanced,其表达式为

3.2.3 反射分量增强

受成像技术影响,除可见光图像外,低照度可见光图像、水下图像、HDR图像、沙尘暴图像、雾天图像和热红外图像中都存在一定的噪声.图像的反射分量包含了图像大部分的细节信息以及图像的噪声.为此本文提出了一种改进的形态学操作方法,对反射分量进行处理,在增强图像细节信息的同时去除图像噪声,处理步骤如下.

1)对图像反射分量进行膨胀操作,其结构元素取5×5的直线型结构元素H,然后对反射分量进行腐蚀操作,取与H垂直的5×5的结构元素HC,对反射分量进行去噪,形态学操作表达式为

2)提出了一种改进后的形态学操作对去噪后的图像进行处理,达到图像细节增强的效果,方程定义如下:

其中b为3×3的圆盘形结构元素.

为了验证这种形态学操作的增强效果,使用5×5的结构元素,对加入密度为0.03的椒盐噪声图像进行膨胀、腐蚀、开与闭运算以及本文提出的基于形态学的细节去噪增强算法等操作,增强结果如图3所示.

图3 不同算法对反射分量增强处理后的结果 (a)原始图像;(b)密度为0.03的噪声图像;(c)膨胀操作结果;(d)腐蚀操作结果;(e)开操作结果;(f)闭操作结果;(g)文中提出的去噪算法;(h)本文细节增强算法Fig.3.Processing results of the reflection components by different techniques:(a)Original image;(b)noisy image with a density of 0.03;(c)expansion operation result;(d)corrosion operation result;(e)open operation result;(f)closed operation result;(g)denoising algorithm proposed in this paper;(h)detail enhancement algorithm proposed in this paper.

3.3 饱和度分量增强

对图像的亮度分量V进行增强后,图像的亮度得到了显著提升,但是图像的色彩饱和度在一定程度上有所降低.因此,本文构建了一种自适应非线性拉伸函数对饱和度S进行拉伸,使得增强后图像的色彩更加鲜艳、自然,能够更好地符合人眼视觉特性,函数定义如下:

图4 不同算法对饱和度分量的效果图 (a)原始饱和度分量;(b)文献[19]算法处理结果;(c)本文算法处理结果Fig.4.Resultant images of saturation components by different algorithms:(a)Original saturation component;(b)processing results by the method in Ref.[19];(c)processing results by our proposed method.

式中Sin和Sout分别是拉伸前、后图像的饱和度;mean(R,G,B),max(R,G,B)和min(R,G,B)分别为原始图对应像素点R,G,B颜色分量的平均值、最大值和最小值.

分别采用文献[19]算法和本文算法对原始图像饱和度分量S进行处理,其实验结果如图4所示.

由图4可知,本文所提算法相较于文献[19]方法,可以更好地调节图像的饱和度分量,通过对图像饱和度分量进行分线性自适应拉伸,使得图像的色彩更加鲜艳,丰富.

4 实验结果与分析

4.1 主观评价

为了验证本文算法对不同谱段图像的增强效果,首先选取低照度图像、水下图像、HDR图像、沙尘暴图像、雾天图像和热红外图像6组图像分别进行实验,并与各个领域的增强算法进行比较,实验结果如图5—图10所示.

图5 低照度图像增强对比 (a)低照度图像;(b)文献[20]算法;(c)文献[21]算法;(d)文献[22]算法;(e)文献[23]算法;(f)文献[24]算法;(g)文献[25]算法;(h)本文算法Fig.5.Comparison of low light image enhancement:(a)Low light image;(b)result in Ref.[20];(c)result in Ref.[21];(d)result in Ref.[22];(e)result in Ref.[23];(f)result in Ref.[24];(g)result in Ref.[25];(h)result obtained by our proposed method.

图5是不同算法对于低照度图像增强处理的结果,可见文献[20]、文献[21]、文献[22]和文献[23]中的算法虽可以改善图像的质量,但存在图像的对比度过高或过低,图像边缘细节保持不好等问题;文献[24]和文献[25]算法出现了过增强现象,导致图像的细节信息不够清楚,颜色有所失真;本文算法在增强过程中,很好地保持了图像原有的细节特征信息,且色彩更加饱和自然,更加符合人眼特性.

图6是不同算法对于水下图像增强处理的结果.由图6可知,文献[8]、文献[9]、文献[10]和文献[11]的算法虽提高了图像的对比度,但是存在噪声放大现象,图像整体的视觉效果不佳;文献[5]和文献[24]的算法提高了图像的对比度,保持了图像原有的细节特征信息,但是灰度变化较小,颜色也不够自然;本文算法在进行对比度增强的同时去除了图像噪声,而且增强后的图像色彩更加鲜艳自然.

图7是不同算法对于HDR图像处理结果,可以看出文献[8]、文献[14]和文献[26]的算法提高了图像对比度,但暗区域信息丢失严重;文献[5]、文献[15]和文献[27]的算法可突出明暗区域的对比度,但算法增强后图像颜色不够自然,文献[5]算法无法增强较暗区域的细节信息;本文算法提高了图像的整体对比度,增强了明暗区域的细节信息,同时增强后的图像颜色更加饱满自然.

图6 水下图像增强对比 (a)水下图像;(b)文献[5]算法;(c)文献[8]算法;(d)文献[9]算法;(e)文献[10]算法;(f)文献[11]算法;(g)文献[24]算法;(h)本文算法Fig.6.Comparison of underwater image enhancement:(a)Underwater image;(b)result in Ref.[5];(c)result in Ref.[8];(d)result in Ref.[9];(e)result in Ref.[10];(f)result in Ref.[11];(g)result in Ref.[24];(h)result obtained by our proposed method.

图7 HDR图像增强对比 (a)HDR图;(b)文献[5]算法;(c)文献[8]算法;(d)文献[14]算法;(e)文献[15]算法;(f)文献[26]算法;(g)文献[27]算法;(h)本文算法Fig.7.Comparison of HDR image enhancement:(a)HDR image;(b)result in Ref.[5];(c)result in Ref.[8];(d)result in Ref.[14];(e)result in Ref.[15];(f)result in Ref.[26];(g)result in Ref.[27];(h)result obtained by our proposed method.

图8是不同算法对于沙尘暴图像处理结果.由图8可见,文献[8]、文献[9]和文献[10]算法较好地去除了沙尘暴的影响,增强了近景图像,但是对于远景图像效果不佳;文献[6]算法提高了图像对比度以及细节信息,但是没有很好地去除掉沙尘暴的影响,使得图像颜色不够自然;文献[17]和文献[28]算法虽然可以很好地增强图像细节信息,但清晰度以及远景图像效果不好;本文算法很好地去除了沙尘暴对于图像质量的影响,提高了图像整体对比度以及细节信息.

图8 沙尘暴图像增强对比 (a)沙尘暴图像;(b)文献[6]算法;(c)文献[8]算法;(d)文献[9]算法;(e)文献[10]算法;(f)文献[17]算法;(g)文献[28]算法;(h)本文算法Fig.8.Comparison of sand-storm image enhancement:(a)Sand-storm image;(b)result in Ref.[6];(c)result in Ref.[8];(d)result in Ref.[9];(e)result in Ref.[10];(f)result in Ref.[17];(g)result in Ref.[28];(h)result obtained by our proposed method.

图9是不同算法对于含雾图像处理结果,文献[6]算法虽提高了图像整体对比度以及图像清晰度,但颜色失真严重;文献[29]算法提高了图像能见度,但是细节信息能见度太弱,造成了过增强现象;文献[18]与文献[30]算法可很好地提高图像的能见度,但图像细节信息增强不够好,且图像视觉效果不好;文献[16]和文献[21]算法对近景图像的细节信息增强效果较好,提高了其清晰度与对比度,但是对于远景图像仍存在模糊现象;本文算法在一定程度上很好地解决了上述算法的缺点,使得增强后的图像更加清晰,图像的颜色更加饱满,具有更好的视觉效果.

图10是不同算法对于热红外图像处理之后的实验结果图,文献[8]、文献[9]和文献[10]算法使得增强后的图像变得模糊,细节信息不清晰,颜色有所失真;文献[5]和文献[6]算法虽然可以很好地增强图像对比度,但是图像噪声有所放大,颜色失真明显且图像细节信息丢失较为严重;文献[7]提高了图像整体对比度,且颜色保持较好,但是细节信息基本没有变化;本文算法在增强细节信息的同时去除了图像噪声,使得增强后的图像具有更好的视觉效果.

图9 雾天图像增强对比 (a)雾天图像;(b)文献[6]算法;(c)文献[16]算法;(d)文献[18]算法;(e)文献[21]算法;(f)文献[29]算法;(g)文献[30]算法;(h)本文算法Fig.9.Comparison of foggy image enhancement:(a)Foggy image;(b)result in Ref.[6];(c)result in Ref.[16];(d)result in Ref.[18];(e)result in Ref.[21];(f)result in Ref.[29];(g)result in Ref.[30];(h)result obtained by our proposed method.

图10 热红外图像增强对比 (a)热红外图;(b)文献[5]算法;(c)文献[6]算法;(d)文献[7]算法;(e)文献[8]算法;(f)文献[9]算法;(g)文献[10]算法;(h)本文算法Fig.10.Comparison of thermal infrared image enhancement:(a)Thermal IR image;(b)result in Ref.[5];(c)result in Ref.[6];(d)result in Ref.[7];(e)result in Ref.[8];(f)result in Ref.[9];(g)result in Ref.[10];(h)result obtained by our proposed method.

4.2 客观评价

为了更加客观地对不同算法的增强效果进行评价,选用图像对比度、清晰度以及信息熵3个客观评价指标,对各个谱段图像在不同算法下增强效果进行衡量[31−34].图像对比度是指图像中从黑到白的一个渐变层次,通过对图像对比度进行增强,可以调节图像灰度层次范围,有效地凸显图像的细节信息.图像对比度通常利用标准差(如(18)式)进行衡量.清晰度则表示影像上各细部影纹及其边界的清晰程度,一般用图像的平均梯度(如(19)式)来衡量.熵是衡量图像中所包含的信息量的大小,熵越大说明包含的信息越多,用信息熵(如(20)式)来计算图像的熵值.

其中M,N分布为图像的长与宽;x(i,j)表示第i行、第j列的像素值;µ表示均值.

其中M,N分布为图像的长与宽;x(i,j)表示第i行、第j列的像素值.

其中q(x)表示图像灰度x的分布密度,k为图像的灰度级.

对于不同谱段图像的增强结果的客观评价指标描述分别如图11—图16所示.

图11 不同算法对低照度图像增强效果质量评价Fig.11.Quality evaluation of different algorithms for low illumination image enhancement.

图12 不同算法对水下图像增强效果质量评价Fig.12.Quality evaluation of different algorithms for underwater image enhancement.

由图11—图16可知,各种增强算法增强后的图像对比度、清晰度和信息熵较原图相比都有很大的提高,在一定程度上改善图像的对比度和清晰度.但本文算法得到的对比度、清晰度和信息熵3种指标的值都优于其他算法.

从定性和定量两方面来对不同增强算法处理效果进行了对比分析,结合主客观评价指标可知本文算法在一定程度上能够有效地抑制图像噪声、提高图像的清晰度、增强图像细节及对比度,改善图像视觉效果,且本文算法适用于多谱段图像增强.

图13 不同算法对HDR图像增强效果质量评价Fig.13.Quality evaluation of different algorithms for HDR image enhancement.

图14 不同算法对沙尘暴图像增强效果质量评价Fig.14.Quality evaluation of different algorithms for sandstorm image enhancement.

图15 不同算法对雾天图像增强效果质量评价Fig.15.Quality evaluation of different algorithms for hazy image enhancement.

图16 不同算法对热红外图像增强效果质量评价Fig.16.Quality evaluation of different algorithms for thermal infrared image enhancement.

5 结 论

为解决多谱段图像降质问题,本文提出了一种基于光照-反射成像模型和形态学操作的多谱段图像增强算法.算法基于HSV色彩空间,对图像饱和度进行自适应非线性拉伸,使得图像的色彩更加饱和;将图像亮度分解为光照分量与反射分量,提出了一种基于细节特征的加权融合策略,利用光照分布特性构造了一种自适应Gamma校正函数对光照分量进行处理,并将其与利用CLAHE方法处理后的光照分量以及原始光照分量进行融合;然后在反射分量校正时,构造了一种形态学操作函数来校正反射信息;将光照反射分量进行合并,与拉伸后的饱和度以及色调重构出增强后的图像.

实验结果表明,本文算法同时对低照度图像、水下图像、HDR图像、沙尘暴图像、含雾图像和热红外图像都有很好的增强效果,可以有效地提高图像对比度以及清晰度,增强图像细节信息,并抑制图像噪声,同时增强后的图像颜色更加鲜艳自然.但由于算法复杂性太高,导致运算时间较长,如何提高降低算法复杂度将是今后的研究重点.