基于非下采样轮廓波变换的矿井图像增强算法

王满利，田子建

(1.中国矿业大学(北京) 机电与信息工程学院,北京 100083; 2.河南理工大学 物理与电子信息学院，河南 焦作 454000)

随着矿山信息化高速发展，“无人化开采”稳步推进，越来越多图像、视频技术投入矿山开采的各环节，实现视觉检测功能。但是，矿井环境复杂，电磁干扰大，成像光照条件差，导致采集图像噪声大、照度低。低照度噪声矿井图像严重制约图像、视频技术在矿山开采中推广应用。矿井图像增强技术，也因此成为建设智慧矿山需要攻克的关键技术之一。

矿井图像增强的关键是解决对比度提高与噪声抑制的矛盾，常规图像增强技术侧重增强图像的细节，提高图像的对比度，无法实现噪声抑制，甚至还会引起噪声放大。矿井图像增强必须同时解决两方面问题:① 提高图像的对比度，增强细节;② 抑制噪声，防止图像增强过程中噪声放大。

传统图像增强算法有:直方图均衡化[1-3]、Retinex模型图像增强[4,6,8-10,16,19]、多分辨几何分析的图像增强[12]、基于变分的图像增强算法[17]等。针对矿井图像增强的研究也在不断深入，文献[5]研究了低照度与非均匀光照图像的增强算法，文献[7]研究了矿井图像噪声抑制方法，文献[11]研究了雾、尘矿井图像清晰化算法，上述算法各有侧重，无法满足井下低照度噪声图像的增强。

鉴于此，笔者提出基于轮廓波变换的矿井图像增强算法(Mine Image Enhancement Algorithm Based on Nonsubsampled Contourlet Transform，MIECT)，实现矿井低照度噪声图像对比度的提高、细节增强和噪声抑制。

1 增强算法框架

Retinex理论认为颜色是光与物质相互作用的结果，人眼感知的颜色与物体表面的反射特性密切相关，高反射率的物体看起来明亮，而低反射率的则暗淡，人们观测到的图像是光照分量和物体反射分量的乘积构成，反射分量表征物体恒常图像，Retinex理论图像模型为

I(x,y)=L(x,y)·R(x,y)

(1)

式中，I(x,y)为观测图像;L(x,y)为光照分量;·为乘操作;R(x,y)为反射分量。

基于Retinex的图像增强算法核心思想是反射分量决定物体本质信息，消除观测图像中光照分量影响，获得物体本质的反射分量，即可实现增强图像。

矿井下不仅成像环境光照条件差，而且电磁干扰大[20-21]，导致观测图像富含噪声，致使常规基于Retinex图像增强方法无法满足矿井下低光照噪声图像的增强。式(1)中引入零均值高斯噪声分量n(x,y)，将观测图像分写为低频分量Il(x,y)和高频分量Ih(x,y)，相应的反射分量也表示为低频分量Rl(x,y)和高频分量Rh(x,y)，则式(1)变为式(2)，假如能够由式(2)得到Rl(x,y)和Rh(x,y)，即可实现矿井下低照度噪声图像的增强。

I(x,y)=Il(x,y)+Ih(x,y)=L(x,y)·Rl(x,y)+

[L(x,y)·Rh(x,y)+n(x,y)]

(2)

其中，Il(x,y)=L(x,y)Rl(x,y)属于观测图像的缓慢变化信息，决定图像的对比度;Ih(x,y)=L(x,y)Rh(x,y)+n(x,y)属于观测图像的高频快速变化信息，决定图像的纹理细节。式(2)中惟一已知I(x,y)，将其分解为Il(x,y)和Ih(x,y)后，Il(x,y)消除了n(x,y)的影响，若能由Il(x,y)获得光照分量L(x,y);由Ih(x,y)分离n(x,y)得到L(x,y)·Rh(x,y)，则联立两条件获得增强图像为

R(x,y)=Rl(x,y)+Rh(x,y)=

(3)

式中，max()为取最大值;δ为小正数，避免分母为0。

根据式(3)，设计图1所示的矿井图像增强算法框架，图1中红、绿、蓝边框为对应的R，G，B颜色通道;符号LFI为低频图像;BCI为低频图像的亮通道图像;RBCI为精细化的亮通道图像。首先，采用非下采样轮廓波变换(Nonsubsampled Contourlet Transform,NSCT)将输入图像分解为低频图像Il(x,y)和高频图像Ih(x,y);其次，在轮廓波变换域，利用Il(x,y)的亮通道估计光照图像L(x,y);再次，利用阈值收缩函数收缩Ih(x,y)的分解系数，抑制噪声n(x,y)，利用收缩过后的高频分解系数和原低频分解系数实施非下采样逆轮廓波变换，得到L(x,y)·(Rl(x,y)+Rh(x,y))，最后，由L(x,y)和L(x,y)·(Rl(x,y)+Rh(x,y))得到增强图像R(x,y)。

图1 基于轮廓波变换的矿井图像增强框架

2 噪声抑制与光照图像估计

2.1 非下采样轮廓波变换

为便于表述，定义符号TNSCT()为NSCT变换，观测图像I(x,y)经NSCT分解表述为

c∈{R,G,B}

(4)

2.2 光照图估计

(5)

图2 NSCT的非下采样分解与相应的频率切分图

(6)

式中，Ω(x,y)为以(x,y)为中心(2n+1)×(2n+1)的滤波窗口;mean()为均值滤波操作;γ为(0,1)的正数，建议取值[0.5,0.8]。

分别采用式(5)，(6)估计光照图，根据不同的光照图估计值计算增强图像，其结果对比如图3所示，其中，图3(a)为测试图原图，图3(b)为式(5)得到基础估计光照图和相应的增强图像，图3(c)为式(6)最终估计光照图及相应的增强图像，由图3知，基础估计光照图对应的灰度值偏小，增强图像存在过度增强现象，而经过γ校正和均值滤波的最终估计光照图更平滑、更亮，即灰度值相比基础估计值更大，增强图像更加清晰，色彩更加自然。

2.3 高频子带噪声抑制

得到光照图估计值后，抑制高频子带系数中的噪声成为获得高质量增强图像的关键。

图3 不同的光照图估计值对比

NSCT变换能够稀疏表达二维图像，且具有平移不变性。因此，各方向子带系数矩阵与原图像大小相同，像素对应系数空间位置不变。并且，NSCT各方向子带系数具有区分图像边缘和噪声的能力，噪声对应的所有方向子带系数幅值都较小，而边缘对应的方向子带系数较噪声大了许多，根据这一情况，对各方向子带系数做阈值收缩，即将高频各方向子带中小于阈值的系数置0，实现噪声抑制。变换域阈值收缩常用方法包括硬阈值收缩和软阈值收缩，硬阈值收缩能够很好的提高图像的峰值信噪比，突显图像的边缘细节特征，而软阈值法容易引起图像边缘损失，因此，本文选用硬阈值收缩函数，实现高频子带系数收缩，达到抑制噪声目的。本文采用的硬阈值收缩原理为

j=1,2，…,J，s=1,2,…,Sj

(7)

式中，kj为分解尺度j对应阈值比例系数;σc为观测图像各颜色通道的噪声方差;Tj,s为频域中NSCT各方向子带对应的均方根，即

(8)

(9)

式中，σc由式(10)所示小波噪声估计经验公式计算得到:

(10)

由上述得到最终估计光照图和阈值收缩的高频子带系数，如果不考虑突显部分高频子带细节的情况下，根据本文的增强框架可知，联合低频子带系数和收缩的高频子带系数实施非下采样轮廓波逆变换，之后按式(3)计算，可得到最终增强图像。

2.4 增强图像重构

为算法更加灵活适用，不仅要求算法能提高矿井图像的整体对比度，增强整体细节，还要求算法增强不同高频方向子带系数对应的细节信息，因此，联合式(3)，(6)～(7)，可得式(11)所示的增强图像重构规则为

(11)

3 增强算法

MIECT算法的4个主要环节:① 矿井下低光照图像的非下采样轮廓波分解;② 在轮廓波域内，利用低频子带系数估计光照图;③ 为抑制噪声，在轮廓波域内收缩高频方向子带系数;④ 根据估计的光照图和收缩的高频子带系数，实施NSCT逆变换得到增强图像。设计MIECT算法如下:

(1)NSCT分解矿井下采集图像I(x,y)的各颜色通道，得到各通道图像的NSCT各尺度、方向子带系数。

4 数值实验

为验证MIECT增强效果，开展3类实验从主观视觉与客观指标数据评价其性能。

(1)验证MIECT算法是否与设计原理一致，能否在轮廓波变换域实现光照图的估计和煤矿井下图像的增强。

(2)验证MIECT抑制噪声的能力,增强不同频带、不同方向细节信息的能力。

(3)比较 MIECT 与其他6种算法的增强性能，6种算法包括:文献[9]的低光照图像增强算法1(LIME)、SSR、文献[16]中的带颜色恢复的多尺度Retinex(MSRCP)、文献[17]的加权变分模型Retinex增强算法(SRIE)、文献[18] 基于融合技术的单张图像快速增强算法(MFIE)和文献[19]的低光照图像鲁棒Retinex增强算法(SRLIE)。

分别使用平均局部标准差、平均局部信息熵和Brenner梯度函数值分析评价图像的对比度、细节信息丰富程度和清晰度。

当局部窗口块尺寸为(2d+1)×(2d+1)时，局部标准差定义如式(12)所示，整幅图像的局部标准差的平均值即为平均局部标准差。

n=(2d+1)×(2d+1)

(12)

式中，Lstd为平均局部标准差;fE(x)为增强图像的灰度值;x为(2d+1)×(2d+1)窗口内的标记序号;d为1个选定的自然数。Brenner梯度函数定义为

(13)

式中，m,n为图像f的行、列数;Clty(f)为清晰度函数，Clty的值越大图像f越清晰;thr为Brenner梯度函数的限值，本文thr=4。

平均局部信息熵指整幅图像局部信息熵的均值，局部信息熵的定义为

(14)

式中，Lepy为平均局部信息熵;p(r)为局部窗口中像素取值r对应的概率;rmax为像素取值的最大值。

实验使用Matlab R2014b 编写算法代码，在Dell Inspiron 14-7460 笔记本运行所有算法，笔记本配备了i7-7500处理器，8G RAM，安装Windows10 操作系统。

4.1 实验1

使用MIECT增强大小为512×512的矿井测试图像集KJ10，KJ11，KJ12和KJ13，检验其是否与设计初衷相一致，实验中，NSCT对测试图像做3尺度分解，每个尺度对应的方向滤波器数为2，4，8，δ=0.01，ε=0.05，γ=0.7，均值滤波的窗口半径为5，各尺度阈值收缩的比例系数为2.5，2.5，3.5，高频方向子带增益设置为1，检验MIECT的整体增强效果。

MIECT增强测试图像KJ10的过程中，获得光照图估计、增强图像以及原图与增强图像的直方图，如图4所示，其中，图4(a)为KJ10测试原图，图4(b)为算法估计出的光照图，图4(c)为MIECT的增强图像，图4(d)为KJ10原图对应的三通道直方图，图4(e)为KJ10增强图对应的三通道直方图。

图4 MIECT增强KJ10的效果

由图4(b)知，在非下采样轮廓波变换域内，利用亮通道得到的估计光照图，移除了原图的高频纹理细节，符合光照图变换缓慢的特征。由图4(c)可知，KJ10经MIECT增强过后，图像的对比度、清晰度得到极大提高，原图增强后“黑暗区域”基本都能清晰的显示，整体增强效果良好。由图4(e)和(d)对比知，KJ10原图各通道灰度值分布在100以下，而增强图像灰度值分布更加均匀，布满0～255的值域，表明增强图像的对比度和纹理细节更加明显。

由表1数据对比可知，4幅测试图像经MIECT增强后，相比原图像，增强图像的平均局部标准差Lstd和Brenner梯度提高了近1.5倍，平均局部信息熵Lepy也都有不同程度的提高，表明增强图像的对比度、清晰度以及纹理细节都有不同程度提高。

表1 原图像与增强图像指标数据对比

通过视觉分析和客观数据对比可知，MIECT与设计原理一致，利用轮廓波低频子带系数的亮通道能够实现彩色图像光照图的估计，根据估计的光照图能够实现矿井图像增强。

4.2 实验2

验证MIECT增强含噪声低光照图像的性能以及抑制噪声的能力，使用MIECT增强20幅512×512矿井测试图像，其中，测试图像包含均值为0，方差分别为5，10和15的高斯噪声，测试图像增强前后噪声方差估计的曲线，如图5所示。

图5中，青色曲线、洋红曲线和蓝色曲线分别对应方差5，10和15噪声测试图像的噪声方差，分析图5曲线可知，随着噪声方差的增加，增强后图像噪声略有增加，但是全部方差小于1.2，由此可知，MIECT算法具有较好的噪声抑制能力且性能稳定。

图5的噪声方差曲线表明MIECT的噪声抑制性能良好，下面视觉分析MIECT增强噪声图像的性能。方差为15的高斯噪声矿车1和矿车2测试图像增强效果如图6所示，图6(a)，(c)为原噪声图像，图6(b)，(d)为MIECT增强图像，增强图像的噪声方差为1.0和1.1，由视觉分析图6知，噪声低照度图像经MIECT增强后，原“黑暗”区域能够清晰显示，且增强算法很好的抑制了噪声，增强图像视觉效果良好。

图5 增强图像的噪声方差曲线

图6 MIECT增强噪声图像对比

图7 不同的频率方向子带增益系数的增强图像

为验证MIECT增强不同频带、不同方向细节信息的能力，设置不同的高频方向子带增益系数，分析MIECT增强效果。512×512测试图像TC1的不同高频方向子带增益系数对应的增强图像如图7所示，图7中，除标注的高频方向子带增益系数外，其他子带增益系数均为1。

图7(b)中，由各增强图像的局部放大图对比可知，第2分解尺度不同的方向子带增益系数凸显的图像纹理细节方向也不相同，对应的方向为图7(b)第2行方向子带系数图像所指示的方向。图7(b)的局部放大图和图7(a)中“全1”子图的局部放大图比较可知，图7(b)各增强图像凸显了第2分解尺度对应的不同方向的纹理细节。

由上述分析可知，MIECT具有良好的增强不同频带、不同方向细节信息的能力。

4.3 实验3

比较SSR，MSRCP，LIME，SRIE，MFIE，SRLIE和MIECT几种增强算法，进一步验证MIECT的增强性能。使用7种算法，分别增强不同噪声含量的测试图像KJ14-KJ16，噪声含量KJ14

图8 7种算法增强效果对比

视觉分析图8(a)知，增强KJ14时，MFIE产生严重的色彩失真，SSR和MSRCP也引起了一定程度的颜色不均与失真，较 LIME，SRLIE和MIECT，SRIE增强图像的对比度较低，增强效果不明显，LIME，SRLIE和MIECT增强图像整体效果接近，由局部放大图知，MIECT较LIME纹理细节更加丰富，增强KJ14，MIECT和SRLIE的增强效果最好，其次是LIME。

分析图8(b)知，增强KJ15时，MFIE，SSR和MSRCP引起一定程度的颜色不均与失真,SRIE增强效果不明显，LIME，SRLIE和MIECT增强图像整体效果接近，由局部放大图知,LIME增强图像噪声含量大，增强KJ15也是MIECT和SRLIE的增强效果最好。

分析图8(c)中各局部放大图知，随着测试图像噪声含量增加，SSR，LIME，SRIE和SRLIE放大噪声严重，而MFIE引起了大的色差，并且对比度提高不明显，MSRCP和MIECT相比，MSRCP增强图像对比更大，但是MSRCP增强图像的噪声含量远大于MIECT增强图像，综合对比，增强KJ16时，MIECT的增强效果最好。

图8由视觉角度对比分析7种算法的增强性能，下面由图像质量指标数据分析7种算法的增强性能。KJ14，KJ15和KJ16增强图像的质量指标数据统计见表2，其中列出了原图像的指标数据和7种算法增强图像的指标数据，σ2，Lstd，Lepy和Clty分别为图像的噪声方差估计、平均局部标准差、平均局部信息熵和Brenner梯度，表中黑体字表示该组数据的最值，斜体字为MIECT排在第3的指标数据。

分析表2数据可知，对噪声较小的KJ14增强时，7种算法都不同程度的放大了噪声，增强KJ15时，7种算法表现出了一定的噪声抑制能力，随着测试图像KJ16噪声方差的增加，SSR,LIME,SRIE,SRLIE算法的增强性能发生较大的改变，放大噪声明显，MSRCP和MEFIE仍然有部分抑制噪声能力，但是增强图像噪声残余较大，是MIECT的3倍多，增强图像噪声方差对比中，MIECT抑制噪声性能最优。

根据不同的增强图像的指标分析几种算法，增强KJ14时，MIECT增强图像的Lstd和Lepy指标第3，仅低于SSR和MSRCP，Clty指标第4，鉴于噪声方差因素，MIECT增强图像的综合指标最优。

增强KJ15时，MIECT增强图像的Lstd指标第3，低于SSR和LMIE，Lepy指标第3，低于SSR和MSRCP，Clty指标第4，小于SSR，MSRCP和LMIE，但是SSR，MSRCP和LMIE增强图像的噪声方差是MIECT增强图像噪声方差的2倍多，而Lstd，Lepy和Clty指标数据相差不多，综合分析，MIECT增强KJ15时指标最优。

增强KJ16时，SSR，LIME，SRIE，SRLIE放大噪声严重，增强效果相对较差，MSRCP和MFIE的增强图像的噪声残余是MIECT的3倍多，除了噪声方差其他指标数据可比性较差，但鉴于视觉对比知，MIECT增强KJ16时效果最好。

MIECT算法复杂度分析:MIECT分解、重构图像的计算复杂度由NSCT的NSP和NSDFB决定。与NSP相比，NSDFB的运算占据了NSCT的运算主体。因此，MIECT分解、重构图像具有NSDFB同量级的计算复杂度。

为比较7种增强算法的计算耗时，分别使用7种算法增强30幅512×512的测试图像，统计其增强图像耗时的平均值，如图9所示。

图9 7种算法的平均耗时

由图9知，MIECT增强平均耗时大于SSR，LIME，MSRCP和MFIE，小于SRIE和SRLIE。

综合分析图8，9和表2的数据可知，增强含噪声低光照图像时，MIECT适应最强，且抑制噪声和增强性能相对最稳定，计算速度介于几种算法之间。

5 结 论

(1)基于非下采样轮廓波变换的矿井图像增强算法，能够在轮廓波变换域，根据低频子带系数的亮通道实现光照图的估计，消除了噪声对估计光照图的干扰。

(2)MIECT通过NSCT分解的高频方向子带系数阈值收缩和低频子带系数的光照图估计，同步实现了图像的增强和噪声抑制，避免了图像增强过程中噪声放大的风险。实验表明，MIECT具有很强的适应性和稳定性，更加适合矿井下低光照噪声图像的增强。