基于OSTU的光照不均匀图像自适应增强算法

李浩然，田秀霞，卢官宇，李华强

(上海电力大学计算机科学与技术学院，上海 200000)

1 引言

随着各种拍照设备的广泛应用，因光照不均匀、曝光不足等原因导致图像细节缺失、可视性差的现象十分常见，直接影响了计算机视觉技术的发展，例如图像的特征提取、目标识别、监控系统等[1，2]，因此，提高光照不均匀图像对比度、过暗区域亮度，保持其它区域的亮度信息，使增强后图像与原图有较高的结构相似性十分重要。

近年来光照不均匀图像增强算法已有很多研究成果。直方图均衡化类算法对整体亮度偏暗或者偏亮具有较好的增强效果，但不能同时保证图像的细节信息与亮度的同时增强[3，4]。伽马校正类算法通过调整图像高低频部分的比例来增大两者间的对比度，容易造成过增强和欠增强的现象[5，6]。小波变换类算法可以突出不同尺度下的细节，但无法同时保证在降低噪声的同时保证算法复杂度较低[7，8]。基于Retinex理论的算法中最经典的有单尺度Retinex(Single Scale Retinex，SSR)、多尺度Retinex(Multiscales Scale Retinex，MSR)和彩色恢复的多尺度Retinex(Multi Scale Retinex with Color Restoration，MSRCR)算法，这三种算法无法保证同时避免颜色失真与“光晕”现象[9-11]。文献[12]使用双边滤波算法估计图像的照度分量，很好地解决“光晕”现象，但是对照度分量的估计不够准确。文献[13]使用多级分解的双边滤波算法较好的估计出照度分量，有效防止图像的过增强、欠增强现象，但是运算复杂度过大，不利于在实践中的应用。文献[14]有效提高图像的对比度，但容易产生过增强现象。文献[15][16]有效增强图像过暗区域的细节信息与视觉效果，但容易丢失了亮区域的细节信息。文献[17]有效提高了过暗区域的视觉效果，但是在亮区域存在过增强现象。文献[18]在避免图像过增强、保亮度和突出细节三方面均取得较好的效果，但对双边伽马曲线的设计不具有自适应性。

2 相关研究

2.1 Retinex理论及增强模型

Retinex是由Retina(视网膜)和Cortex(大脑皮层)这两个词组合而来的，它是由Edwin.H.Land在1964年建立，其基本思想是基于人类的色彩恒常性[19，20]。Retinex理论认为，事务所呈现出来的颜色是由事物对不同波长的电磁波反射能力所支配的，而不是由照射光强度支配，照射光的非均匀性对事物的色彩没有影响，具有一致性。因此，人类能感知到的图像F(x，y)可由照度分量图像L(x，y)和反射分量图像R(x，y)的乘积，成像模型[21]可表示为

F(x，y)=L(x，y)·R(x，y)

(1)

Retinex模型将图像分解为照度分量和反射分量，其中照度分量代表原图像中的低频部分，反射分量代表原图像中的高频部分。在估计出照度分量后，即可提取出图像的反射分量，如式

R(x，y)=F(x，y)/L(x，y)

(2)

通过对照度分量和反射分量进行调整，进而融合调整后的照度分量和反射分量，获得增强后的图像，其模型可表示为

Fe(x，y)=Le(x，y)·Re(x，y)

(3)

式中Le(x，y)为增强后的照度分量，Re(x，y)为增强后的反射分量，Fe(x，y)为增强后的图像。

2.2 多尺度引导滤波算法估计照度分量

引导滤波算法、双边滤波算法等常用来估计图像的照度分量。引导滤波算法和双边滤波算法都具有一定的保边平滑能力，其性能受滤波尺度的影响，且引导滤波算法的时间复杂度远低于双边滤波算法的时间复杂度[22]，文献[14]提出的迭代多尺度引导滤波算法能够很好的估计出图像的照度分量，方法如下

L(n)(x，y)=L(n-1)(x，y)⊗GF(s(n)，ε(n))

(4)

式中，L(n)(x，y)为第n步照度分量；L(n-1)(x，y)为第n-1步照度图像；s(n)与ε(n)分别为第n步尺度因子与平滑因子，GF表示引导滤波。随着尺度因子与平滑因子的迭代增大，平均梯度的降低越慢，为简化迭代步骤，提高迭代速度，本文迭代过程的参数设置为：L(0)为原图像，s(1)取2，ε(1)取0.02，s(n)=s(1)×2n-1，ε(n)=ε(1)×2n-1，迭代次数为3，得到照度分量L(3)(x，y)。图1为不同滤波算法估计照度分量图像以及扫描线。其中，双边滤波算法参数为文献[13]中第三级滤波参数r=30、σs=15，σr=15。图1可看出双边滤波算法在保边的同时只能有效模糊部分尺度的细节，本文算法能够有效模糊不同尺度的细节，且保边特性较好。

图1 不同算法估计照度分量图像的对比

2.3 伽马曲线的特性

伽马校正是运用数学变换对图像的亮度值进行非线性调整，从而达到增强图像的效果[23]。通过给定的伽马值对像素值进行非线性映射，伽马曲线表达式为

h(u)=uγ

(5)

式中u是输入图像的亮度，γ是伽马值，h(u)是输出的非线性映射值，不同的γ值对图像亮度的改善效果不同。文献[17]设计出一种双边伽马校正曲线，分析了伽马校正曲线对亮度区域的改善效果，其原理如下：

图2(a)是0<γ<1时的伽马曲线，图2(b)是γ>1时的伽马曲线，点A和点B斜率为1，坐标分别为(ua，h(ua))、(ub，h(ub))，式(5)求导得

图2 两种不同的伽马曲线图

h′(u)=γuγ-1

(6)

令h′(u)|u=u0=1，可得出u0关于γ的函数为：

(7)

表1为u0值和γ值的关系。由式(7)可看出在已知u0的条件下可求解出参数γ。图2可看出，0<γ<1时，亮度范围[0，ua]可以有效提高图像过暗区域的亮度值，γ>1时，亮度范围[ub，1]可以有效降低图像过亮区域的亮度值，即防止过增强现象。

表1 u0值和γ值的关系

本文通过找到照度分量的过暗区域、过亮区域的分界值t1和t2，根据式(7)确定参数值分别γ1和γ2的曲线，分别得到有效提高照度分量过暗区域亮度的图像和降低照度分量过亮区域亮度的图像。

由于照度的分布是缓慢变化的，无法直接找出过暗区域与过亮区域，而照度分量图像是原图进行保边平滑后的图像，原图与照度分量图像的像素点是一一映射的关系，本文算法通过找到原图的过暗区域和过亮区域亮度分界值，确定照度分量的过暗区域和过亮区域。

2.4 大津法确定过暗区域和过亮区域

大津法也称最大类间方差法，该算法以最大化类间方差作为选择标准，它按照图像的灰度特性，将图像分成背景和前景两部分。鉴于方差的灰度分布均匀的一种衡量标准，图像的前景与背景之间的方差越大，说明两者的差别越大[24，25]。因此，对于一张大小为m×n的图像，图像中像素的灰度值小于阈值t的像素个数记为n0，像素灰度值大于阈值t的像素个数记为n1，则有

(8)

(9)

μ=ω0×μ0+ω1×μ1

(10)

g=ω0×(μ0-μ)2+ω1×(μ1-μ)2

(11)

将式(10)带入式(11)，得到等价公式

g=ω0×ω1×(μ0-μ1)2

(12)

通过遍历法找到类间方差g最大的分割阈值t，让类间方差实现最大化分割，即意味着错分概率最小。大津法能够很好地分割出光照不均匀图像中视觉效果差的背景区域，该区域作为过暗区域，与图像中视觉较好区域的类间方差最大。

图3为图1(e)中扫描线与原图的OSTU分割阈值线，可以看出找到原图的分割阈值可以确定照度分量的过暗区域，即照度分量中像素灰度值小于分割阈值区域。

图3 原图、照度分量扫描线与分割阈值线

本文设计的照度分量过暗区域和过亮区域的分界值表示为

t1=mt

(13)

t2=0.368+n(1-t)

(14)

其中，t为原图的OSTU分割阈值，系数m和n的设定分别是为了满足：参数值为γ1的伽马曲线能够有效提高过暗区域亮度，t1越小，提高效果越好；参数值为γ2的伽马曲线能够有效降低过亮区域亮度，t2越大，降低效果越好。

本文随机选取400幅光照不均匀图像(200幅自本文作者拍摄，200幅来自“Veer网库”)，图像的OSTU分割阈值的分布见表2，可看出98.75%的分割阈值小于0.5，本文仅考虑对大部分图像的处理，认为光照不均匀图像的分割阈值小于0.5。在确定t1、t2时仍然存在以下问题：

表2 图像的OSTU阈值分布

1)由表1可知，t1的值在区间[0.368，0.5)中时，会导致γ1>1，无法改善过暗区域；

2)t1的值小于且趋于0.368时，改善图像过暗区域的效果差；

3)t2过大时，参数值为γ2的伽马曲线降低图像亮度效果过强，导致严重的亮度丢失现象。

为解决上述问题，经过多次实验，本文设置系数为：m=0.35/0.5，n=0.2。

2.5 自适应校正照度分量

不同图像的分割阈值能够设计出不同的双边伽马曲线，本文基于空间域将改善后的照度分量图像与包含原照度信息的照度分量进行融合，实现照度分量的自适应校正。融合算法表示为

Le(x，y)=αLγ1(x，y)+βLγ2(x，y)+τL(3)(x，y)

(15)

其中L(γ1)(x，y)和L(γ2)(x，y)是参数值分别为γ1和γ2的伽马曲线校正后的照度分量图像，L(3)(x，y)是原照度分量图像，Le(x，y)是增强后照度分量图像，α、β、τ为照度分量融合系数，其值设置为α=β=τ=1/3。图4单边伽马曲线校正后的照度分量图像L(γ1)(x，y)、本文算法校正后的照度分量图像Le(x，y)，以及两种方法校正前后照度分量图像的扫描线。图4和图1(c)可看出单边校正能够提高的照度分量的整体亮度值，本文算法有效提高了照度分量过暗区域亮度值，有效抑制了照度分量图像其它区域的亮度值的提高。

图4 不同算法校正前后照度分量的对比

3 算法设计

3.1 转为HSV颜色空间

目前，大部分彩色图像增强算法是基于RGB三基色模型，对R、G、B三个颜色通道分别进行处理，再合成彩色图像。然而R、G、B三个分量具有很强的相关性，三者同时发生变化会造成色彩失真。HSV(hue，saturation，value)颜色空间[26]很符合人类对彩色的感知经验，可以非常直观地表达颜色的色调H、饱和度S和亮度V。H和S分量与人感受彩色的方式紧密相连，很符合人类视觉感受外界的知觉特性，V分量的改变不会影响图像的颜色信息。因此，单独对亮度V进行处理能有效避免色彩的失真，保护图像的色彩。

3.2 反射分量的增强

图像的反射分量中存在大量的细节信息，需要对反射分量进行拉伸处理，增大图像的对比度，以获得更好的视觉效果。利用下式实现全局对比度的提高

(16)

r(x，y)=1-R(x，y)

(17)

Re(x，y)=1-re(x，y)

(18)

其中R(x，y)为反射分量图像，Re(x，y)为增强后反射分量图像，两者的值在区间[0，1]上，η为调整参数。式(16)是一种效果较柔和的对数拉伸函数，调整参数η越小，图像的细节信息拉伸效果越好，本文将调整参数设置为0.3。

3.3 算法流程反射

1)将RGB图像转换到HSV色彩空间；

2)使用多尺度引导滤波算法估计出V分量的照度分量，根据式(2)求出反射分量；

3)使用大津法找到的V分量分割阈值；

4)基于分割阈值，根据式(7)(13)(14)设计出两条伽马曲线，得到分别调整照度分量不同区域亮度的两个图像；

5)根据式(15)，将调整后照度分量图像与原照度分量图像融合，得到校正后照度分量图像；

6)根据式(16)(17)(18)拉伸反射分量得到增强后反射分量；

7)根据式(3)得到增强后的V分量，并转换回RGB图像。

4 实验数据及结果分析

4.1 实验数据

本文算法的实验图像有FLoor、Way、Shelf，大小为800×600，对比算法为MSR算法、对比度受限的直方图均衡算法CLAHE，文献[16]算法，文献[17]算法。其中MSR算法的三个尺度为(15，80，250)。

4.2 评价指标

本文采用主观视觉效果和客观图像评价指标结构相似性(structural similarity index，SSIM)和峰值信噪比(Peak Signal to Noise Ratio，PSNR)来评价光照不均匀图像增强方法。SSIM是衡量图像相似性的指标

(19)

(20)

(21)

4.3 实验结果及分析

分别使用MSR算法、CLAHE算法及相关文献所提算法对Floor，Way和Shelf三种类型的图像进行增强处理，实验结果如图5-图7所示。

图5 不同算法增强Floor后的图像

图6 不同算法增强Way后的图像

图7 不同算法增强Shelf后的图像

对于三种类型的图像，MSR算法相较与其它算法过度曝光了图像，在提高图像中较暗区域亮度的同时也提高了亮区域的亮度，这就造成了图像对比度的降低，另外，MSR算法在图像色彩的处理上存在明显的失真现象，使图像看起来整体“发白”。

对比三种图像，CLAHE算法相比于MSR算法在在色彩的处理上有一定提高，但依然存在色彩失真的问题，从图6(c)中可以看出，CLAHE算法对整体较暗的图像有明显的改善效果，但对于明暗对比度较大的图像，如图5(c)和图7(c)所示，CLAHE算法在提高图像较暗区域的亮度的同时没有抑制亮区域的亮度，因此不具有普适性。

文献[17]所提算法和CLAHE算法对图像处理的结果相似，对比图6(a)和(e)，文献[17]所提算法的整体处理效果优于其它算法，分别将图5(a)和图7(a)对比图5(e)和图7(e)，可以看出，图像暗区域和亮区域的亮度整体提高，造成亮区域失真，同时在对图像色彩的处理上也存在较大的失真，因此文献[17]所提算法同样不具有普适性。

对比图6(a)和(d)可以看出，文献[16]算法在处理整体较暗图像上的效果优于其它算法，分别将图5(a)和图7(a)对比图5(d)和图7(d)，可以看出该算法在提高较暗区域亮度的同时抑制了亮区域亮度，亮区域部分相较于原图亮度有存在损失，这在图7(d)中尤为明显，因此该算法更适用于亮度分布均匀的图像。

分别对比图5-图7的(b)(c)(e)(f)，可以看出本文所提算法对比MSR算法，CLAHE算法和文献[17]所提算法，在处理图像时不会造成色彩失真，保留了图像更多的信息，分别将图5-图7中(a)与(f)进行对比，图像中暗区域亮度明显提高的同时不会使图像中的亮区域亮度发生改变，对比图7(a)和(f)，该算法在处理亮区域效果明显优于文献[16]所提算法，相比于其它算法，本文所提算法在保持图像色彩的同时能有效提高暗区域的亮度，保持亮区域的亮度，因此也更具有普适性。

分别计算图5至图7中图像的SSIM和PSNR，结果如表3所示：

表3 SSIM、PSNR对不同算法增强后图像的质量评价

表3中可以看出，MSR算法和CLAHE算法所计算出的SSIM值和PSNR值整体小于文献[16]算法、文献[17]算法和本文算法所计算出的SSIM值和PSNR值(仅Way类型图像在CLAHE算法中的PSNR值稍大于文献[17]算法中的PSNR值)，在对图5-图7的主观分析中得出的结果是经MSR算法和CLAHE算法增强的图像均存在较大程度的色彩失真，尤其是MSR所处理的结果失真最为严重，这一点从表中的数据得到了验证，MSR算法处理图像所计算出的SSIM和PSNR均为最小值，虽然CLAHE算法相较于MSR算法计算出的PSNR值有所提高，但相对于其它算法仍有较大差距，表明这两种算法在处理色彩失真和图像质量问题上仍存在较大不足。

表3中可以看出文献[16]算法、文献[17]算法及本文算法所计算出的SSIM值有较大提高，说明这三种算法在处理图像色彩失真问题上均匀较大的性能提升，但本文算法计算出的SSIM值优于文献[16]算法、文献[17]算法所计算出的SSIM值。另外，文献[16]算法、文献[17]算法所计算的PSNR值明显小于本文算法所计算出的PSNR值，而在对图像的主观分析中可知文献[16]算法存在亮度的问题，文献[17]算法存在过增强的问题，亮度丢失与过增强会造成图像质量下降，这也表明了文献[16]算法、文献[17]算法在在保持图像质量的问题上存在较大的不足。

在对文献[16]算法和本文算法对图像处理的效果的主观分析可知这两种算法在保持图像色彩方面效果最优，而从表中数据可以看出这两种算法的所计算出的SSIM值较大，这也证明了文献[16]算法和本文算法能够更好的保持图像原有的结构，不会造成图像色彩的失真。从图像的分析上看，文献[16]算法和本文算法对Floor和Way类型的图像有均有较好的处理效果，所计算出的PSNR值相近，但文献[16]算法在处理Shelf类型图像时相对比本文算法，效果明显不足，文献[16]算法的PSNR值小于本文算法的PSNR值，表明本文算法有更好的普适性。

综上可知，本文算法在提高图像暗区域亮度的同时，在保持较高的图像色彩和结构的相似性，并且不会降低图像质量，图像增强的效果优于其它算法，而且本文算法具有更好的普适性，充分体现了本文算法的优越性。

5 结束语

本文算法通过对图像的V分量分割阈值进行处理，设计出自适应调整照度分量不同区域的两条伽马曲线，基于空间域，将调整后照度分量与原照度分量融合，实现对照度分量的自适应校正，并且对反射分量进行增强，最终实现光照不均匀图像的自适应增强。

综合主观视觉效果和客观图像评价指标，本文算法在增强图像过暗区域视觉效果的同时，有效避免了过增强现象，图像的暗区域亮度明显提高，增强后图像的视觉效果更好。增强后图像与原图的结构相似性很高，失真程度很小，具有良好的抗噪能力，充分体现了本文算法的优越性。

虽然本文算法增强效果较好，但是算法的复杂度仍然不够低，限制了在工程领域的应用，例如监控视频的实时增强，另外，由于图像过暗区域所映射的反射分量区域往往存在很多噪声的问题，将来将针对算法复杂度的优化以及反射分量去噪处理进行研究。