改进Retinex与多图像融合算法用于低照度图像增强

翟海祥，何嘉奇，王正家，景嘉宝，陈文重

改进Retinex与多图像融合算法用于低照度图像增强

翟海祥1,2，何嘉奇1,2，王正家1,2，景嘉宝1,2，陈文重1,2

（1. 湖北工业大学 机械工程学院，湖北 武汉 4130068；2. 现代制造质量工程湖北省重点实验室，湖北 武汉 430068）

为了解决低照度图像在图像增强过程中图像质量不佳、对比度不高等问题，本文提出改进Retinex与多图像融合算法用于低照度图像增强。首先将待处理图像转换到HSV色彩空间，并设定阈值对其V通道分量进行亮度调节，然后转换到RGB色彩空间，将其拷贝3份，对第一份进行直方图均衡化，中值滤波处理；对第2份进行自动亮度调节，双边滤波处理；对第3份进行改进的Retinex算法处理，采用高斯滤波、双边滤波作为其环绕函数，估计图像照明分量，最后输出反射图。将处理后的3份图像转到HSV色彩空间，对其分量进行多图像融合，、分量沿用第2份图像分量值，最后将融合后的图像由HSV转为RGB色彩空间，输出处理后的图像。实验结果表明，本文提出的算法在增强低照度图像的同时，还可抑制图像噪声，同时具有良好的保边性，且细节明显。

低照度；图像增强；Retinex；双边滤波；图像分量融合；HSV色彩空间

0 引言

随着光学和计算机技术的快速发展，图像设备不断更新迭代。图像中往往包含众多信息，因此生活中各种视觉系统广泛应用，如电子监控设备、计算机视觉、卫星遥感、视频监控、医学影像等[1-2]。但是，由于光照不足，拍摄的图像通常偏暗、对比度不强和图像细节难以识别，降低人眼视觉效果，同时也不利于计算机等视觉设备的正常使用。因此，需要对采集的低照度图像进行增强处理，从而使得图像具有较高对比度。如今，图像增强技术成为热门学科广受科研人员研究[3]。

近年，主流的方法有：基于直方图均衡化方法、基于Retinex理论方法、基于图像取反增强方法以及基于卷积神经网络的增强方法。如直方图均衡化处理，主要是将图像灰度映射到更多的灰度级上，从而实现对图像对比度的增强，但直接处理会导致图像细节丢失。基于SSR（single_scale Retinex）单尺度[4]算法是美国物理学家Edwin. H. Land在1997年提出的，通过对照明图估计从而得到更好的对比度和细节特征。由于单尺度Retinex在图像增强同时会造成细节丢失，随后提出多尺度[5]Retinex（multi-scale Retinex, MSR）和带颜色恢复的MSR（multi-scale Retinex with color restoration, MSRCR）增强后的色彩失真度小，但仍然会出现局部欠增强或过增强现象。基于图像取反的方法，借用He[6]暗通道先验原理，对图像进行反转操作，从而实现对图像增强。基于卷积神经网络的增强方法需要搭建网络模型[7]，且训练复杂，落地要求高。常用的图像增强算法还有，伽马变换[8]，线性拉伸等，其效果并不尽人意。随后，Fu[9]等人提出基于图像融合的弱光照增强方法，可以使得图像的对比度和亮度同时得到增强，不足之处在于图像在灯光区域增强过程中会有过曝现象，造成图像局部细节模糊。

基于此，本文提出改进Retinex与多图像融合算法，通过对图像进行直方图均衡化、自适应亮度调节以及改进的Retinex处理，将处理后的图像进行通道融合处理，可将各部分处理后的清晰特征保留下来，最后将处理后的图像转到RGB色彩空间，从而实现对低照度图像的增强。

1 相关理论

1.1 HSV色彩模型

HSV（hue, saturation, value）由A. R. Smith在1978年创建的色彩空间[10]，也叫六角锥体模型（hexcone model）。此色彩模型按照色彩、深浅、明暗来描述图像。其中，为图像色彩，为图像深浅、＝0时，只有灰度，为图像明暗，代表图像的明亮大小。RGB是常用的色彩空间[11]，该色彩空间表明，每一种颜色都可以由（Red）、（green）、（Blue）3种基色混合而成，这两种模型转换公式如下：

式中：、、代表彩色图像三通道，相比较RGB模型，HSV模型更接近人眼视觉效果，且在该模型上处理时各通道之间的影响较小。

1.2 直方图均衡化

采用查表直方图均衡化进行图像拉伸[12]，无论是图像质量还是处理时间都有一定的优化和提高。通过直方图均衡化增强图像对比度，将直方图中非零项的最低值设置为0，最高值设置为255，中间值灰度级拉伸变换，最后输出增强后的图像。

首先统计图像像素在每个灰度级上出现的概率，如式(4)所示：

式中：()是灰度级出现的次数；是图像中总的灰度数；是归一化到[0,1]，那么对应的累计概率函数为：

式(5)中：是累计归一化直方图。

1.3 自适应调节

将图像中所有像素出现的次数依次统计出来，每个像素出现的频率，即每个像素出现的次数除以总的像素个数，并绘制该像素出现的频率图，就构成了灰度直方图。如图1所示，为低照度图像，如图2所示，为图1的灰度直方图。由图2所示可以看出，3个通道的像素值大多数分布在0～30之间，因此图像呈现出较暗状态。其主要原因是像素之间的差别较小，单纯的亮度调节并不能拉开像素灰度级的差距，所以需要进行对比度调整，即在调大像素值的同时增加像素值间的间隔，这样可以提高图像的对比度，自适应判断公式如式(6)所示：

1.4 Retinex理论

Retinex理论表明，物质本身的颜色取决于其对波长的反射能力，除受反射光强度的绝对值外，同时不受非均匀光照的影响，且具有一致性，故Retinex以颜色一致性为基础。传统的非线性、线性仅增强物体的某一类特征，而该理论可在动态范围压缩、边缘提高和颜色不变等方面进行调节，使得图像能够进行自适应增强。

由该理论可知，人眼对物质亮度的感知受环境的照明和物质表面对照射光的反射共同决定，可表示为：

式中：(,)为采集或接收到的图像信号；(,)为环境光的照射分量；(,)为具有图像细节的目标物体反射分量。

如图3所示，为Retinex对数阈值融合照明估计，其可在动态范围内压缩、边缘提高和颜色不变等方面进行平衡调节，具有良好的自适应效果。

图3 Retinex对数阈值融合照明估计

一般把空间平滑图像作为照射图像假设估计，(,)为待处理图像，(,)为反射图像，(,)为亮度图像，由此可得到单尺度Retinex算法，公式为：

式中：(,)为输出图像；*为卷积运算符；(,)为中心环绕函数，其可以表示为：

式中：表示高斯环绕尺度；是一个尺度，它的取值必须满足一下条件：

综上可知，本文将SSR算法中的卷积比作对空间的照度图像的计算，然后计算图像中像素点与该像素点区域的加权平均作为估计图像中照度，并去除估计后的图像照度，最后使图像中物体的反射属性进行保留，实现增强的效果。单尺度SSR算法实现步骤如下所示。

第一步：读入图(,)，将图像每个像素由整数转到浮点数（若为灰度图像直接转换，若为彩色图分别分通道转换）；

第二步：输入尺度，积分转为求和，进一步确定参数；

第三步：计算照度分量(,)，若为彩色图，三通道均有r＝(,)；

第四步：将(,)从对数阈转换到实数阈得到输出图像(,)；

第五步：对(,)线性拉伸，并以对应的格式输出。

MSR[13]是在SSR算法上进一步演化发展而来的，此算法的优点是在进行压缩的同时，还可兼顾图像高保真度和图像的动态范围。与此同时，在一定条件下，MSR能够实现图像色彩增强、颜色不变性、局部动态压缩或全局动态压缩，也适用于X光图像增强。

式(12)中：代表环绕函数的个数，当取值为1时，MSR转变为SSR。一般来说，取值为3时，可使SSR同时兼有高、中、低3个不同尺度的优点，即：

实验结果表明，c分别取15，80，120可以得到较好的增强效果。

2 改进的Retinex算法及图像融合

2.1 双边滤波

双边滤波[14]作为非线性滤波器的一种，有较强的保边、降噪、平滑能力。与其他滤波相似，双边滤波也是采用加权平均的方式，用周边像素亮度值的加权代表某个像素的强度。不同之处在于双边滤波不仅考虑像素的欧式距离，还考虑像素范数阈的差异，同时兼顾这两个权重，数学表达式如下：

式(14)中：(,)为双边滤波后的像素灰度值；(,)为待处理图像像素点的灰度值；(,,)为采用加权的高斯函数计算得出的新灰度值；(,)是以点(,)为中心的像素点灰度值取值范围。

2.2 改进的Retinex算法

如式(10)所示，Retinex的传统算法中，高斯函数的尺度因子决定了图像增强效果，局限性明显。基于此，改进的Retinex算法被提出为了进行光照估计，在本文算法中，将高斯滤波和双边滤波作为中心环绕函数，分别与输入的待处理图像进行卷积运算，从而估计出入射分量。然后将估计出入射分量进行加权融合，融合后的入射分量，既可以保持图像的平滑度，提高图像对比度，还可较好保留图像边缘信息，达到滤波效果，增强算法构建流程如图4所示，步骤如下。

1）首先将待处理图像转换到HSV色彩空间，并设定阈值对其通道分量进行亮度调节，然后转换到RGB色彩空间，将处理的图像拷贝3份，对第一份进行直方图均衡化处理，将图像灰度级进行拉伸，实验结果表明，处理后图像会有一些孤立的噪声点出现，因此，本文对处理后的图像进行中值滤波处理，消除图像中存在的噪声点。

2）对第二份进行自动亮度调节，首先计算图像分量的亮度值，将计算后的亮度值与设定阈值进行比较，本文值设定为125，分量像素值大于125，图像亮度足够，不做处理；像素值小于125，亮度不够，需要进行亮度增强操作，由图2可知，3个通道的像素值大多数分布在0～30之间，本文将落在0.1～0.9之间的像素值拉伸到0～255，去掉分位之外的值，然后对处理后的图像进行双边滤波处理，突出图像边缘信息。

3）对第三份进行改进的Retinex算法处理，用高斯滤波、双边滤波作为其环绕函数，分别估计图像照明分量，最后输出反射图。

最后将处理后的3份图像转到HSV色彩空间，对其分量进行多图像融合，、分量用第二份图像分量值，最后将融合后的图像由HSV转到RGB色彩空间，输出处理后的图像。

图4 增强算法构建流程图

3 实验结果与分析

为测试本文算法对弱光图像增强的效果，实验环境配置：英特尔(R) Core(TM) i5-6500处理器@ 3.20GHz，Windows10操作系统，8G环境下的Pycharm软件，解释器Anaconda Python3.7。分别与无暗光的Label图像以及传统的SSR算法、MSR算法、伽马变换[15]、Fu[9]等算法进行效果对比，如图5所示。

图5 弱光图像增强结果对比实验图

3.1 主观分析

图5中，第一列为不同场景下的Label图（即原图所对应的无暗光图），第二列为该场景下对应的暗光图，可以看出既有室内也有室外图。从第三列起往右依次为SSR算法、MSR算法、伽马变换、Fu的算法以及本文算法处理后所对应的图像，其中SSR算法与MSR算法处理后图像整体曝光，图像泛白，失真明显，图像细节损失严重，在远景天空区域，暗光增强效果不明显。伽马变换拉伸了图像对比度，但整体图像仍然偏暗，且在天空区域出现色彩失真现象。Fu的算法，处理后图像整体较亮，但是对比度降低，对于高亮区域变得模糊，如图5中矩形框区域，Fu的算法对灯光区域处理后出现过曝现象，同时增强后的图像会引入噪声，图像视觉效果降低。本文算法，不仅提高了图像的亮度，而且保留了图像的细节，对比度明显。对于天空区域几乎没有出现失真现象，同时增强后的图像噪声也较少，能够实现较好的弱光图像增强。

3.2 客观分析

主观评价易受外界因素影响，为客观验证[16]算法，本文从3方面进行。

1）峰值信噪比（peak signal to noise ratio，PSNR）是常用来衡量图像变化的程度，PSNR越大，说明图像差异越小，失真度越低，图像质量越高，如公式(15)所示。

式中：表示图像的等级数，通常取为255；(,)为初始图像；(,)为处理后的图像；、作为图像的行列数，经过对比前后，大小不变。

2）结构相似性（structural similarity index measure，SSIM）通过对比处理前后图像之间差别进行质量评估，通过对图像的对比度、结构信息以及亮度三者的乘积作为综合评判，该值越大说明处理效果越好。为了方便叙述，假设处理前图像为，处理后图像为。

图像亮度对比如公式(16)：

图像对比度比较如公式(17)：

结构相似性比较如公式(18)：

式(16)、(17)、(18)中：，为图像像素平均值；为两幅图像标准差；1、2、3为常数，主要为了防止分母取0的情况。一般取1＝(1×)2，2＝(2×)2，3＝2/2,t通常设定1为0.01，2为0.03，为255。

3）信息熵（information entropy, IE）指图像涵盖的信息量，该值越大，图像细节越丰富，层次及结构就越清晰，图像质量越高。如公式(19)所示：

式(19)中：为图像像素灰度等级，通常＝28－1，()是图像中某点灰度值时，图像在该点出现的概率。

选取图5中Label 1、Label 5图，对其进行客观对比分析（如表1和表2所示）。

表1 Label 1图像增强质量评价

表2 Label 5图像增强质量评价

由表1、2可知，本文算法峰值信噪比、结构相似性以及信息熵明显大于其他算法。另外Label图所在列，为与暗光图像对应的无暗光图像运行获得的。可以看出PSNR，SSIM值比较低的，证明暗光图与无暗光图的差别较大。但IE值明显高于其他项，证明各种算法处理后与无暗光图像对比还有一定的差距，但经过本文算法处理后的图像，IE值比较接近无暗光图像获得IE值。由此可知，经本文算法处理后的图像，图像对比度提高，亮度增加，失真小，同时图像细节清晰和颜色失真问题，证明本文算法的有效性。

4 结论

针对低照度图像增强过程中图像质量不佳、图像偏暗等问题，本文提出改进Retinex与多图像融合算法。对拷贝的3份图像进行分别操作，第一份采用直方图处理，拉伸了图像的灰度等级，提高了暗光图像的亮度。同时采用中值滤波，消除了图像中的孤立噪声点；对于第二份图像进行阈值拉伸处理，均匀的提高图像亮度；第三份采用改进的SSR算法处理，保留了图像的边缘信息。最后将3份图像融合，实验结果表明，经过本文算法处理的图像，主观色彩明显，自然度，对比度以及亮度都明显提高。客观上，PSNR、SSIM以及IE较其他算法都有较大提升，且经过本文算法处理后的图像，IE值最接近真实无暗光图像，表明本文算法在对弱光图像增强方面具有不错的效果。

[1] 闫保中, 韩旭东, 何伟. 基于Retinex理论改进的低照度图像增强算法[J]. 应用科技, 2020, 47(5): 74-78.

YAN Baozhong, HAN Xudong, HE Wei. Improved low illumination image enhancement algorithm based on Retinex theory[J]., 2020, 47(5): 74-78.

[2] 牟琦, 魏妍妍, 李姣, 等. 改进的Retinex低照度图像增强算法研究[J].哈尔滨工程大学学报, 2018, 39(12): 2001-2010.

MOU Qi, WEI Yanyan, LI Jiao, et al. Research on improved Retinex low illumination image enhancement algorithm[J]., 2018, 39(12): 2001-2010.

[3] 韩梦妍, 李良荣, 蒋凯. 基于光照图估计的Retinex低照度图像增强算法研究[J/OL]. [2020-07-28]. 计算机工程, http://www.ecice06.com/ CN/ 10.19678/j.issn.1000-3428.0059224.

HAN Mengyan, LI Liangrong, JIANG Kai. Research on Retinex low illumination image enhancement algorithm based on illumination map estimation[J/OL]. [2020-07-28]., http://www. ecice06. com/ CN/10.19678/j.issn.1000-3428.0059224.

[4] 赵馨宇, 黄福珍. 基于双通道先验和光照图引导滤波的图像增强[J]. 激光与光电子学进展, 2021, 58(8): 53-62.

ZHAO Xinyu, HUANG Fuzhen. Image enhancement based on dual channel a priori and illumination guided filtering[J]., 2021, 58(8): 53-62.

[5] 刘明珠, 苏桃宇, 王依宁. 压扩多尺度Retinex图像增强算法研究[J].哈尔滨理工大学学报, 2020, 25(5): 93-99.

LIU Mingzhu, SU Taoyu, WANG Yining. Research on companding multiscale Retinex image enhancement algorithm[J]., 2020, 25(5): 93-99.

[6] SUN J, HE K, TANG X. Single Image Haze Removal Using Dark Channel Priors: U.S. Patent 8,340,461[P]. 2012-12-25.

[7] CHEN C, CHEN Q, XU J, et al. Learning to See in the Dark [C/OL][2018-05-04]//(CVPR), https://arxiv.org/abs/1805.01934.

[8] 李斯娜, 明道洋. 小波变换在图像去噪中的应用[J]. 科技信息, 2013(18): 253.

LI SinA, MING Daoyang. Application of wavelet transform in image denoising [J].2013(18): 253.

[9] FU X Y, ZENG D L, HUANG Y, et al. A fusion-based enhancing method for weakly illuminated images[J]., 2016, 129: 82-96.

[10] 秦绪佳, 王慧玲, 杜轶诚, 等. HSV色彩空间的Retinex结构光图像增强算法[J]. 计算机辅助设计与图形学学报, 2013(4): 488-493.

QIN Xujia, WANG Huiling, DU Yicheng, et al. Retinex structured light image enhancement algorithm in HSV color space[J]., 2013(4): 488-493.

[11] 杨振亚, 王勇, 杨振东, 等. RGB颜色空间的矢量-角度距离色差公式[J]. 计算机工程与应用, 2010(6): 154-156.

YANG Zhenya, WANG Yong, YANG Zhendong, et al. Vector angle distance color difference formula of RGB color space[J]., 2010(6): 154-156.

[12] 武治国, 王延杰. 一种基于直方图非线性变换的图像对比度增强方法[J]. 光子学报, 2010, 39(4): 755-758.

WU Zhiguo, WANG Yanjie. An image contrast enhancement method based on histogram nonlinear transformation[J]., 2010, 39(4): 755-758.

[13] 孙抗, 汪渤, 周志强, 等. 基于双边滤波的实时图像去雾技术研究[J]. 北京理工大学学报, 2011(7): 810-813.

SUN Kang, WANG Bo, ZHOU Zhiqiang, et al. Research on real-time image defogging technology based on bilateral filtering[J]., 2011(7): 810-813.

[14] 张亚飞. 基于幂次变换和MSR的光照不均图像增强[J].电脑知识与技术, 2012, 8(22): 5456-5458.

ZHANG Yafei. Uneven illumination image enhancement based on power transform and MSR[J]., 2012, 8 (22): 5456-5458.

[15] 杨先凤, 李小兰, 贵红军. 改进的自适应伽马变换图像增强算法仿真[J]. 计算机仿真, 2020, 37(5): 246-250.

YANG Xianfeng, LI Xiaolan, GUI Hongjun. Simulation of improved adaptive gamma transform image enhancement algorithm[J]., 2020, 37 (5): 246-250.

[16] 郭璠, 蔡自兴. 图像去雾算法清晰化效果客观评价方法[J]. 自动化学报, 2012, 38(9): 1410-1419.

GUO Xuan, CAI Zixing. Objective evaluation method of image defogging algorithm clarity effect[J]., 2012, 38 (9): 1410-1419.

Improved Retinex and Multi-Image Fusion Algorithm for Low Illumination Image Enhancement

ZHAI Haixiang1,2，HE Jiaqi1,2，WANG Zhengjia1,2，JING Jiabao1,2，CHEN Wenzhong1,2

(1.,,430068,; 2.,430068,)

To solve the problems of poor image quality and low contrast in low-illumination image enhancement, this study proposes an improved Retinex and multi-image fusion algorithm for low -illumination image enhancement. First, the image to be processed is converted to the HSV color space, and the brightness of the V-channel component is adjusted by setting a threshold. Then, it is converted to the RGB color space, and three copies are made. Histogram equalization and median filtering are performed for the first part; the second part is processed by automatic brightness adjustment and bilateral filtering; the third part is processed by an improved Retinex algorithm, which uses Gaussian filtering and bilateral filtering as its surround function to estimate the illumination component of the image, and outputs the reflection image. The three processed images are transferred to the HSV color space, and thecomponent is fused. Theandcomponents follow the values of the second image component. Finally, the fused image is converted from the HSV to RGB color space, and the processed image is output. The experimental results show that the proposed algorithm not only enhances the low-illumination image but also suppresses the image noise. Furthermore, it exhibits good edge preservation and obvious details.

low illumination, image enhancement, Retinex, bilateral filtering, image component fusion, HSV color space

TP391.41

A

1001-8891(2021)10-0987-07

2021-01-06；

2021-03-03.

翟海祥（1994-），男，硕士研究生，主要从事嵌入式图像、机器视觉方面的研究。E-mail：3026871256@qq.com。

王正家（1970-）男，博士，副教授，硕士生导师，主要从事电机智能控制、智能装备与仪器方面的研究。E-mail：276318532@qq.com。

国家自然科学基金（51275158）。