基于图像融合策略的Retinex背光图像增强算法

马 康，崔子冠，干宗良，唐贵进，刘 峰

(1.南京邮电大学 通信与信息工程学院,江苏 南京 210003；2.南京邮电大学 江苏省图像处理与图像通信重点实验室，江苏 南京 210003)

基于图像融合策略的Retinex背光图像增强算法

马 康1,2，崔子冠1,2，干宗良1,2，唐贵进1,2，刘 峰1,2

(1.南京邮电大学 通信与信息工程学院,江苏 南京 210003；2.南京邮电大学 江苏省图像处理与图像通信重点实验室，江苏 南京 210003)

Retinex是一种基于人类视觉的亮度和颜色感知的模型，在图像增强领域有着广泛的应用。背光作为常见的场景，使得拍摄到的图像存在暗区域不清晰、信息丢失等问题，影响图像的进一步分析和识别。为了提高对这类图像的增强效果，提出了一种基于图像融合策略的Retinex背光图像增强算法。该算法通过原始图像获取白平衡和增强图像，进行颜色校正和对比度增强，再分别对这两幅图像求其权重图以实现拉普拉斯金字塔融合，从而得到增强图像。权重图突显了背光区域的细节信息，与融合技术相结合，可有效提高背光区域的增强效果，获得对比度高、色彩丰富的增强图像。实验结果表明，与已有方法相比，所提出的图像增强算法能够更好地保留图像的细节信息，有效提高背光图像的对比度和清晰度。

Retinex；背光图像增强；权重图；融合策略

0 引 言

图像传感器在采集图像时，有时会拍摄到主体很暗但背景很亮的图像，将这种图像称为背光图像。当采集到背光图像时，通常需要对该图像进行增强等处理以使内容清晰有效。但是，目前背光图像的增强处理仍然没有成熟的解决方案。复杂的光线条件极大地增加了背光图像处理的难度。传统的Retinex增强方法，往往会造成背光图像的暗区域细节增强不明显，或者背景亮区域被过度增强的现象，同时，暗区域存在一定的色彩丢失现象，增强后的图片色彩不自然[1]，不仅影响视觉感受，而且对一系列后续的图像处理任务(如图像分割、特征提取、超分辨率重建等)都会造成一定的困难。Retinex理论指出，人的眼睛之所以能感知到物体的颜色信息是由于光照与物体两者相互作用的结果，而且光照对物体颜色的影响不是决定物体颜色的主要原因，真正起作用的是物体对光照的反射能力。该理论的本质有助于得到图像中物体的本来面貌，即物体的反射图像。

基于Retinex理论的图像增强算法大体分为三个阶段。第一阶段：任意路径方法，由Land等[2]在1977年提出，路径法的分析模型很复杂且处理效率较低。第二阶段：中心-环绕法[3-4]，由Jobson等提出，并由此发展出单尺度和多尺度模型，但无论是单尺度还是多尺度中心-环绕法，都存在光晕、伪影等问题。第三阶段：变分框架下的Retinex方法[5]，Kimmel最先提出该算法，并通过实验证明，变分形式的Retinex方法既能保证动态范围压缩，也能很好地保持边缘细节信息。

图像融合即多幅图像各取所需结合为最终图像，以满足人们的需求效果[6]。图像融合的方法有很多，但通过分析和总结，基本可分成两大类：基于小波分解的相关算法和基于金字塔融合算法。针对不同的图像，融合算法会有很大差异，这也导致至今没有普遍适应性的融合算法出现。但在背光图像增强的研究中发现，融合算法可以作为图像增强的工具，即通过金字塔融合的方法来整合多幅图像的信息，使有效信息最大化，最终得到超越单幅图像效果的融合图像。

不同的Retinex算法对图像都有一定的增强效果，但针对背光情况，算法都存在各自的缺点，如背景过分增强、色彩失真等。为了提高对背光图像的增强效果，提出了基于融合策略的Retinex增强算法，并选取了直方图均衡方法、带色彩恢复的Retinex算法(Multi-Scale Retinex with Color Restoration，MSRCR)和变分框架Retinex算法与该算法进行了对比。

1 提出的算法

Retinex算法从人类视觉形成机制出发，有效去除光照对图像的影响，它能够平衡动态范围压缩、边缘增强和颜色恒常三个方面，从而增强图像的可视性。变分框架Retinex算法目前在图像增强领域得到了广泛应用和研究，针对背光图片能一定程度消除复杂光线的影响，使得暗光区域得到增强；融合策略也作为增强的一种手段，充分利用白平衡图像和Retinex增强图像中的局部特征，提取有用的信息加以融合，从而使最终的图像信息更加丰富，增强效果更显著。

1.1 算法流程

针对背光图片明暗对比强、暗光区域存在色彩丢失等特征，分别采用改进的变分框架Retinex算法和白平衡算法对原始图像进行处理，以提高整幅图像的对比度和彩色均衡性，再对处理后的两幅图片分别求亮度权重图、色度权重图和显著度权重图，最后对输入图与其对应的权重图进行金字塔融合。图1给出了提出算法流程。

图1 算法流程

1.2 改进的WhitePatchRetinex白平衡算法

白平衡可以消除因光线条件不同给图片带来的颜色失真，从而改善观察者的视觉效果。对于一幅图像来说，物体对光线的反射特性以及光线的颜色共同决定了人眼所看到的物体颜色。为了尽可能去除对物体颜色影响至深的光源因素，可以设法获得物体在某一经典光源下的颜色，还原受影响的图像，白平衡算法就可以达到这一功能。从广义的角度来描述白平衡算法，就是为了恢复色彩的一致性，将在未知光源下拍摄到的物体颜色，转换成在经典光源下的物体色彩，这也是白平衡算法的核心。文中采用WhitePatchRetinex算法，即白点检测法[7]，并加以改进，改善对背光图片的色彩校正效果。

估计光源强度Li是WhitePatch算法的核心，传统方法是求三个颜色通道中像素的最大值作为Li。根据背光图像直方图两端分布比普通图像多的特点，求原始图像每个通道的累计直方图，取累计到某一个值p*n时对应的像素值作为Li。其中p为百分值，实验取1%～5%，n为图像的像素点数。

具体步骤如下：

(1)将原始背光图像分为RGB三个通道，并求出每个通道的累计直方图；

(2)选取各个通道p%个元素，结合直方图数据求出每个通道的估计光源强度Li；

(3)R、G、B三个通道的原始数据除以步骤(2)中估计出的Li，得到均衡后的新像素值；

(4)合并三通道新的数据，得到白平衡图像。

文中改进方法可以获得更好的白平衡效果，依靠上述白平衡算法对原图像进行处理，在一定程度上解决原始背光图像中色偏的问题，但是想获得更清晰的图像，还需解决原图像在背光区域的亮度和对比度等问题。

1.3 改进的Retinex增强算法

Retinex理论的本质思想是得到图像中去除光照影响后物体本来的面貌，即物体的反射图像，根据式(1)只要求出照射分量L(x,y)即可求得反射分量R(x,y)。该算法的核心是对传输光线照射分量的有效估计[8]。它可通过滤波等方法从源图像S(x,y)中估计出来，有了照射分量，根据Retinex理论，在对数域用源图像减去照射分量得到反射分量信息。

S(x,y)=L(x,y)R(x,y)

(1)

为了更好地增强图像，设计一个预处理过程来改进变分框架Retinex算法，并且不需要像传统的SSR(Single Scale Retinex)、MSR(Multi-Scale Retinex)算法在对数域进行运算，克服丢失边缘信息等缺点。

1.3.1 预处理

为了消除光照不均匀对Retinex算法的影响，在增强之前先对输入图像进行预处理：

(2)

其中，Si和So分别为输入与输出图像；max、min为输入图像Si中的最大和最小像素值；γ的范围取[0,1]。

当γ的值较小时，低像素的值会被拉伸，同时高像素值得到压缩，这样做的最大优点是让低亮度区域像素值范围得到扩展，提高了对比度，有利于后续Retinex算法的处理。

1.3.2 变分框架Retinex增强算法

背光图像明暗对比较强，为了避免对数域转换带来边缘信息的丢失，采用改进的变分框架Retinex算法[9]，避免在对数域的运算，表达式为：

(3)

将颜色空间转换到HSV后获取亮度值V，高通滤波后得L0作为初始化的L，运用最优化求解方法，不断迭代R和L，可求得：

R=

(4)

(5)

求得反射分量后进行增强处理，再通过S=RL求得增强后的图像。变分框架处理背光图像时，也存在一些缺点，如背景过度增强、图像不自然等情况，通过以下改进步骤来有效消除这些影响。

1.4 权重图

经过Retinex增强后的图像仍存在局部亮度较低等缺点，因为白平衡、对比度增强的操作是针对整幅图像进行的，没有考虑局部信息，对背光图片来说，局部区域亮度低，而背景正常或高亮，在经过上述处理后，背景会过度增强。为了克服这个缺点，引入权重图的方法，更好地利用局部信息来得到最终结果[10]。

通过对背光图像特点的分析，可以看到，图像的亮度和色度信息以及图像中感兴趣目标的清晰程度是研究的焦点。因此，定义三种权重图：照度图、色度图和显著图，来计算输入图像相关的细节信息[11]，最后通过融合算法整合成一幅信息量丰富、观察效果良好的图像。图2给出了通过提出方法得到的三种权重图。获取三种权重图的具体方法如下：

(1)照度权重图。

照度刻画了物体的明亮程度，定义照度图来描述图像的亮度信息。之前通过原始背光图像获得了白平衡和Retinex增强图像，为了充分利用两幅图像中的信息，同时提取两幅图像的亮度值分别进行计算，最后进行均衡。计算方法是先求得亮度分量L(HSV空间的V分量)，再计算每幅输入图的R、G、B通道与各自的亮度分量的标准差，最终求得照度图。把照度图作为权重图的一部分，可以起到均衡亮度的效果。

(6)

其中，k表示输入图的索引，即白平衡图和增强图(k=1,2)。

通过亮度权重的计算，暗光区域将分配较小的值，以减少这部分区域低像素值对最终输出图像的影响。

(2)色度权重图。

图2 由原有背光图像得到的输入图及其相对应的权重图

色度图用来描述图像中与颜色相关的信息，如颜色的丰富度和饱和度等。色度图能很好体现图像色彩的鲜艳程度。定义色度权重图如下：

(7)

其中，k为输入图像索引；σ的默认值为0.3；Sa(x,y)表示(x,y)处的色度值，可以将RGB图像转到HSI颜色空间求得色度图Sa(x,y)。

通过色度图的计算，可以将接近0的值提高，从而提升暗光区域的色彩度。如图2(c)所示，两幅输入图都突显了人物的色度值权重，而且対背景所取权重不同，这样在融合时能更好地针对图像中较暗的人物进行增强，同时不会让背景过亮。

(3)显著度权重图。

显著图反映了图像中能明显引起人们注意的地方，文中研究图像的背光区域就是所关注的重点区域。由于明暗对比明显，主区域和边缘区域存在高对比度，这很容易引起人们的注意，从而具有更大的显著性。很多增强算法都是全局性的处理，这并不适合背光图像，而显著图可以突出这类图像的显著区域，同时减少亮度很高区域的增强。通过显著图提取出局部区域的轮廓，进一步增加其相应的权重值，从而达到增强图像对比度的效果。文中采用Achanta[12]提出的显著性区域检测算法，分析图像的空间频域信息，利用多个基于高斯函数的带通滤波器不断叠加得到显著度图。算法定义显著度的表达式为：

(8)

显著性区域检测算法所需参数少，从而提高了计算效率，而且计算所得的显著性权重图边缘特性保持较好，所以采用该算法。背光图像存在的明暗对比关系也利于显著度的提取。求得的显著度权重图如图2(d)所示。

在应用融合策略时，若要使最终增强结果具有较好的清晰度，必须选取合适的输入图和权重图。图像融合作为增强工具，主要作用是将相关处理结果与输入图相结合，从而保留图像中众多重要的特征信息。通过融合的作用，让输入图的每一个区域都受到权重图的影响，实现信息的最大利用。在提出的增强算法中，融合过程所需的两个输入图都来自原背光图像。其中，第一幅输入图利用白平衡处理消除了原图像的色偏，而第二幅输入图则通过变分Retinex算法以增强图像的对比度。

1.5 拉普拉斯金字塔融合

通过前面的分析，得到了两幅输入图和基于输入图的三幅权重图。对求得的各个权重图进行归一化处理，以便于对输入图的加权融合。每幅输入图的权重图的标准化值表示为：

(9)

其中，WL1=WL_1/(WL_1+WL_2)，即为输入图像I1照度图的归一化值；WL_1和WL_2为亮度权重值，由式(5)求得。按照同样的方法继续算出色度图的归一化值WC1，以及显著图的归一化值WS1。I2求解方式是一样的。

最终的输出图像由输入图各自和归一化的权值相乘得到的两幅图进行融合得到：

(10)

文中算法采用拉普拉斯金字塔[13-14]通过不同尺度的划分来分解输入图。分解后采用高斯金字塔计算每一级的归一化权重图。高斯金字塔和拉普拉斯金字塔在应用时具有相同数目的分解级数，所以拉普拉斯输入图与高斯规范化权重图的融合过程可以在每个级数上独立地展开计算，从而生成最终的融合金字塔。此融合处理过程如下所示：

(11)

其中，l为金字塔的等级数目，默认数值为3；k为编号，即输入图1、输入图2；L{I}为对图I进行拉普拉斯金字塔分解操作；G{W}为对归一化权重图W进行高斯金字塔操作。

整个过程采用自底向上的金字塔操作方式，在金字塔的每一级分别按式(10)进行计算。通过计算，可以分别得到两个输入图的融合结果，最后将两幅融合图像的每一像素进行点乘的全局操作，获得最终的增强图像，即

(12)

2 实验结果及分析

为了验证算法的有效性和实用性，采用Matlab在Core(TM) i5，3.00 GHz，8 GB内存的PC机上进行了对比实验。

实验选取直方图均衡方法、带色彩恢复的Retinex算法(MSRCR)、变分框架Retinex算法与文中算法进行对比。均衡化算法是图像增强方法的典型代表，MSRCR[14]是对单尺度Retinex(SSR)和多尺度Retinex(MSR)的优化，是对数域处理的经典算法。对比结果如图3和图4所示。

图3 对比结果(1)

图4 对比结果(2)

实验结果表明，均衡化方法在增强明暗对比明显的背光图像时突显了图像噪声，清晰度明显降低。MSRCR算法使图像整体变得很亮，细节丢失严重且很不自然。变分框架Retinex算法相对均衡化和MSRCR有提高，但是背景和暗光区域的增强的区分不明显，整体效果不自然且有局部失真。文中算法对于背光图片，暗光区域得到增强，同时背景也不会过亮或过暗，保留了原图很多细节信息，整体上色彩饱和度、清晰度、自然程度都很好，尤其对比变分框架Retinex算法各项指标都有提升，很好地验证了该算法的有效性。

为了更客观地衡量算法的增强效果，采用对比度、清晰度、信息熵三种客观评价标准进行分析评测，数据见表1。

一幅图像的对比度对视觉效果影响较大，对比度越大，图像越清晰醒目，增强效果越好，其计算公式如下：

(13)

其中，δ(i,j)=|i,j|为相邻像素间的灰度差；Pδ(i,j)为相邻像素间灰度差为δ的像素分布概率。

表1 各种增强算法客观评价结果对比

采用的对比度增量是增强后的图像与原图对比度之比，反映图像增强前后对比度的变化程度，越大表示增强效果越好。

清晰度是指人眼宏观看到的图像的清晰程度，定义为图像的空间频率，反映图像总体的活跃程度，其数值越大，效果越好。清晰度计算公式为：

(14)

其中，R为行频率，C为列频率，其计算公式为:

(15)

(16)

信息熵，图像所含内容的丰富程度，其计算公式为：

(17)

其中，pi是值为i的像素在图像中的统计概率。

信息熵的值越大，表明图像所含的信息量越多，效果越好。

由表1可见，文中融合方法的清晰化效果较为明显，能够得到对比度、色彩和细节信息均适度增强的处理结果。主要原因在于传统的均衡化方法是全局性增强，增强有用信息的过程中原有的噪声也被放大，对背光图像而言就是本来很亮的地方同时被增强，破坏了整体视觉效果。而文中算法通过融合策略，利用相关权重图在突显图像细节的同时，很好地抑制了图像中不需要太多关注的信息和噪声。从表1可以看出，均衡化的方法可以提高对比度，但实际观察效果并不好；MSRCR算法提升了图像的整体亮度，但对比度和清晰度方面表现很差；变分框架Retinex算法相对于MSRCR各项指标均有提高，但在对比度上还有提升空间，从图3、4也可以看出，暗光区域的增强不够明显；文中算法在清晰度上有较大提升，从信息熵的数据来看，也很好地保留了图像细节等信息，对比其他算法，都具有一定的优势，而且也能达到令人满意的主观视觉效果。

3 结束语

针对背光图像主体较暗背景过亮影响视觉效果等问题，提出了一种基于融合策略的Retinex背光图像增强算法。该算法利用权重融合的方法，通过选取合适的输入图与权重图，达到了增强的目的。相比于MSRCR、变分框架Retinex等算法，该算法可以较好地处理背光图像，且最终结果大大减轻了光晕伪影、细节丢失、图像不自然等问题。但也存在不足，对于背景特别亮的背光图像，由于光照的严重不均匀会导致暗光区域增强不明显，过亮的背景影响整体视觉效果，针对这类图像算法还有待改进。

[1] Wang S,Zheng J,Hu H M,et al.Naturalness preserved enhancement algorithm for non-uniform illumination images[J].IEEE Transactions on Image Processing,2013,22(9):3538-3548.

[2] Land E H.The retinex theory of color vision[J].Scientific American,1977,237(6):108-128.

[3] Funt B,Ciurea F,McCann J.Retinex in Matlab[J].Journal of Electronic Imaging,2004,13(1):48-57.

[4] Jobson D J,Rahaman Z,Woodell G A.Properties and performance of a center/surround retinex[J].IEEE Transactions on Image Processing,1997,6(3):451-462.

[5] Ng M K,Wang W.A total variation model for retinex[J].SIAM Journal on Imaging Sciences,2011,4(1):345-365.

[6] 席 亮.基于量子力学和拉普拉斯金字塔的图像融合方法[J].计算机与现代化,2015(4):37-41.

[7] Ebner M.A parallel algorithm for color constancy[J].Journal of Parallel and Distributed Computing,2004,64(1):79-88.

[8] 王书民,张爱武,胡少兴,等.一种基于全局和局部光照估计的Retinex图像增强算法[J].科学技术与工程,2015,15(34):101-104.

[9] Fu Xueyang,Sun Ye,Li Minghui,et al.A novel retinex based approach for image enhancement with illumination adjustment[C]//ICASSP.[s.l.]:[s.n.],2014:1190-1194.

[10] Ancuti C O,Ancuti C.Single image dehazing by multi-scale fusion[J].IEEE Transactions on Image Processing,2013,22(8):3271-3282.

[11] 郭 璠,唐 琎,蔡自兴.基于融合策略的单幅图像去雾算法[J].通信学报,2014,35(7):199-207.

[12] Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection[C]//Proceedings of CVPR.Piscataway,USA:[s.n.],2009:1597-1604.

[13] Burt P,Adelson T.The Laplacian pyramid as a compact image code[J].IEEE Transactions on Communication,1983,31(4):671-679.

[14] 陈 浩,王延杰.基于拉普拉斯金字塔变换的图像融合算法研究[J].激光与红外,2009,39(4):439-442.

Backlight Image Enhancement Algorithm of Retinex Based on Image Fusion Strategy

MA Kang1,2，CUI Zi-guan1,2，GAN Zong-liang1,2，TANG Gui-jin1,2，LIU Feng1,2

(1.College of Telecommunications & Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China;2.Key Lab on Image Processing and Image Communication of Jiangsu Province,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

Retinex is a model of brightness and color perception based on human vision,which has wide applications in the field of image enhancement.As a common scene,backlight could make captured images blur in their dark areas,loss of information and others,which could impact further analysis and detection on the image.In order to improve the enhancement effect of such images,backlight image enhancement algorithm using Retinex based on image fusion strategy is proposed.It gets both the white balance and enhanced images by original image to carry on color correction and contrast enhancement.Then two images are achieved weight maps to implement Laplacian pyramid fusion for enhanced image.Weights maps highlights the details of the backlight region,which can effectively raise the enhancement effect of backlight area combined with fusion technology and acquire identified images with high contrast and ample hues.Compared with other existing methods,experimental results show that the proposed algorithm has retained the details and promoted the contrast and definition of backlight image.

Retinex;backlight image enhancement;weight maps;fusion strategy

2016-06-21

2016-09-28 网络出版时间：2017-07-05

国家自然科学基金资助项目(61501260,61471201,61471203)；江苏省自然科学青年基金(BK20130867)；江苏省高校自然科学重大项目(13KJA510004)；江苏省六大人才高峰(2014-DZXX-008)；南京邮电大学校科研基金(NY214031)；南京邮电大学“1311人才计划”资助课题

马 康(1990-)，男，硕士研究生，研究方向为暗光图像增强技术；崔子冠，副教授，硕士生导师，通信作者，研究方向为视频编码与传输、图像处理、视频主观质量评价等；干宗良，副教授，硕士生导师，研究方向为视频监控中的图像增强技术和视频分析等；唐贵进，副教授，硕士生导师，研究方向为智能视频分析；刘 峰，教授，博士生导师，研究方向为图像处理与网络视频通信、高速DSP与嵌入式应用系统设计等。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170705.1649.020.html

TP301.6

A

1673-629X(2017)08-0073-06

10.3969/j.issn.1673-629X.2017.08.015