夜视环境下红外与可见光图像真彩色快速融合方法研究

谢一博,程 进,周 顺,侯劲尧,刘卫国

(西安工业大学光电工程学院,陕西 西安 710021)

1 引 言

可见光图像是通过可见光传感器所接收的信息经过光电转换后所得的图像,而人眼敏感的波长范围恰好与可见光传感器的波长近似相同;并且可见光图像受环境影响较大,通常在夜晚或能见度较低的环境下无法看清物体的轮廓[1-2]。而红外图像在这种情况下根据热成像的原理,可以识别物体的轮廓;但在正常环境下相比可见光图像,红外图像的视觉感观较劣。不同探测器的响应使得红外图像与可见光图像在不同条件下都存在各自的优势。因此,红外与可见光图像的融合作为一种多参量的分布式光电成像融合,成为了一大研究热门,也在目标识别、目标检测等领域被广泛应用[3]。

红外与可见光图像的融合方法,主要包含基于多尺度变换的融合方法、基于稀疏表示的融合方法、基于神经网络的融合方法和基于空间的融合方法等。其中多尺度变换方法能够获取不同层次的子图像,可以保存更多的细节信息,故其应用较为广泛,包括金字塔变换、小波变换以及非下采样的多尺度多方向几何变换等。小波变换最早由Mallat于1989年[4]提出并广泛应用;后来1995年,Li等人[5]改进小波变换并提出一种离散小波(Discrete Wavelet Transform,DWT)变换的图像融合,降低了图像融合的噪声影响;随着学者们不断对小波变换的研究,双树复小波变换(Dual-Tree Complex Wavelet Transform,DT-CWT)[6]、静态小波变换(Lifting Stationary Wavelet Transform,LSWT)[6]等各种小波融合算法出现。在轮廓波变换(Contourlet)的基础上,非下采样轮廓波变换(Non-Subsampled Contourlet Transform,NSCT)被da Cunha等人[6]提出,该方法具有平移不变性、多尺度等特点,使得图像融合领域进一步提升;而针对剪切波变换结果出现伪吉布斯现象的缺点,2008年Easley等人提出了非下采样剪切波变换(Non-Subsampled Shearlet Transform,NSST)[6]使得融合结果进一步提升。随着深度学习的逐渐发展,各种基于神经网络的方法被应用到图像融合中[7],由脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)模型开始,深度学习成为国内外学者研究的主流,到后来经典的VGG-19(Visual Geometry Group-19)网络、生成对抗网络(Generative Adversarial Network,GAN)在图像融合领域展现了较好的性能。2019年,Wei等人采用GAN网络实现红外与可见光图像的融合提出了FusionGAN网络模型[8];然而由于异源图像并未有大量标准的数据集且该方法速度较慢,不适用于对实时性要求较高的场景,因此基于神经网络的异源图像融合还有待继续研究[9-10]。根据高低频子带不同特征,常用的图像融合规则有基于像素的融合规则和基于区域能量的融合规则,前者的速度快、算法简单,但容易出现振铃的现象;后者引入临近像素的相关性,融合效果得到提升。

为解决夜视环境下红外与可见光图像融合速率低且效果不佳的问题,本文搭建结构简单、响应速度快的双目异型成像系统,软件算法采用基于斜率一致性的图像配准与多尺度变换的图像融合结合方法,获取红外图像的辐射信息以及可见光图像的细节信息,将两种图像融合获得一幅视觉感观更优的融合图像,保留夜视条件下图像的更多细节信息并提升融合算法的速率,提升目标检测的实时性。

2 双目异型成像系统平台搭建

2.1 系统结构

为了同步获取红外图像与可见光图像,搭建出双目异型成像系统。在上位机软件中采用QT界面设计,图像以实时状态在界面上显示,并以同步触发的方式在几毫秒的时间内获取同一场景下的红外图像和可见光图像。该成像系统的优势是结构简单、性价比高、以低成本提供分工式成像系统的设计思路。

本文将红外相机与RGB相机平行放置,两个相机固定且相对位置不变,使红外相机和RGB相机的光轴尽可能平行且传感器的中心位置尽可能在同一垂直竖线上,最终设计出双目异型成像系统,如图1所示。由上方的RGB相机和下方的红外相机组合而成,同时连接至计算机上,上位机软件采用多线程的方式同步触发获取图像,并实现数据的高速同步传输。

图1 双目异型成像系统实物图

2.2 系统参数

系统所拍摄的目标为夜视条件的场景,通过图像处理后可识别夜视下的目标。由于中红外波段的信息最为丰富,故选择8～14 μm范围的相机;红外相机的价格与分辨率呈正相关,故选择分辨率为400×300性价比高的红外相机;为使RGB相机与红外相机所覆盖的场景信息近似相同,选择两个相机的视场角近似相同,其焦距基本一致。图1中的红外相机与RGB相机的具体参数如表1所示。

表1 红外相机与RGB相机的参数

3 红外图像与可见光图像融合过程

为了获得一幅信息丰富的融合图像,对红外图像与可见光图像采用软件进行图像处理,主要包括:数据下采样、图像滤波、图像配准以及图像融合。在对红外图像和RGB图像分别进行滤波与双线性下采样处理后,将RGB图像作为参考图像对红外图像进行配准;再结合双尺度融合算法融合方法处理红外与可见光图像,得到的融合图像信息更加丰富。红外与可见光图像融合的实现步骤如图2所示。

图2 红外与可见光图像融合过程示意图

3.1 数据预处理

由于可见光图像的分辨率为1280×1024,而红外图像的分辨率为400×300,为了解决可见与红外图像的分辨率大小不匹配问题,采用双线性插值的方式对可见光图像进行下采样,使可见光图像符合红外图像大小。

由于红外相机特殊的成像原理,其探测目标需经过大气、光电转换、数电转换等复杂的过程;且红外相机受环境以及目标的影响,导致红外成像的图像存在各种噪声,这使得红外图像的信噪比低、画质低,故其噪声远大于可见光图像的噪声。故,本文采用非局部均值(Non-Local Mean,NLM)滤波算法[11]对红外图像进行去噪处理,该滤波算法考虑像素之间的相似度,能够较好地消除噪声并保留细节信息,如图3所示。

图3 非局部均值滤波的示意图

令噪声图像为v,滤波后的图像为u。在u中x处的像素值由下式表示:

(1)

其中,w(x,y)为像素点x和y间的相似度,其值由以x、y为中心的邻域N(x)、N(y)间的高斯加权欧式距离表示:

(2)

两邻域之间的欧式距离与归一化参数分别表示为:

(3)

(4)

其中,Z(x)为归一化的系数;h为平滑参数,控制着降噪效果强弱。h越大高斯函数变化越平缓,降噪强度越大,图像会越来越模糊;h越小,降噪强度越小,边缘细节信息保持得越多,但同时也会将过多的噪声点保留下来。故h的大小随不同图像中的噪声而不同。

NLM的h对图像的滤波效果有一定的影响,所以如何根据不同局部图像的熵值(Entropy,EN)选择合适的h来达到更好的滤波效果尤为重要。为了保证图像的噪声能够得到更好的消除,采用熵值来评价局部图像的效果。在此基础上,本文提出了一种基于熵的自适应h求解方法[11],具体过程如图4所示。

图4 基于熵的自适应h求解方法的流程图

NLM参数h从0.01开始增加,步长为0.01,EN0初始值为0。为了防止h过大,导致细节信息无法保留,当EN大于EN0时更新EN0和hmin。这个方法中有一个定时器,EN0需要比较7次,如果hmin值没有更新,则在第7次之后返回hmin。该值的选择是为了去除噪声并尽可能地保留图像的细节信息。

通过上述方法对红外图像进行滤波,去除图像中的部分噪声,红外图像滤波前后的结果如图5所示。经滤波处理的前后图像的熵值从5.665提升至6.297,熵值变大证明图像的背景噪声被消除,图像的细节分辨率能力越强,图像质量越好,具体数据见表2。

表2 滤波前后图像质量评价指标对比

图5 非局部均值滤波前后的红外图像对比结果图

3.2 图像配准

为了更好地完成后续的图像融合,需对红外图像与可见光图像进行图像配准,使不同图像中空间上相同位置对应的点相互对应[2]。本文引入一种基于斜率一致性的配准算法,其具体流程为图6所示。

图6 图像配准的流程图

(1)对进行灰度化处理后的红外与可见光图像采用Canny边缘检测[12],得到红外与可见光的边缘图像如图7所示。

图7 红外与可见光图像的边缘检测结果

(2)基于SURF算法的旋转不变性和稳定性实现对[13]红外与可见光的图像边缘的特征点提取和定位。

(3)采用基于斜率一致性[14]的特征点匹配算法对两幅图像的特征点进行匹配。两幅图像的对应的特征点对可以由斜率公式k=(y2-y1)/(x2-x1)所表示,如图8所示。而根据先验知识可知,图像中正确匹配的特征点对的斜率基本上一致。

图8 斜率一致性原理图

基于上述方法,得到基于斜率一致性的配准图像如图9所示。从图中可得,三对匹配点的斜率基本一致,特征点相对应。

图9 基于斜率一致性的特征匹配结果

作为图像配准的位置转换关系,通过仿射变换矩阵计算两图像间的变换关系,完成两幅图像在同一坐标系下的匹配和校准。如图10所示,待配准的原红外图像经过平移和旋转变换得到校准后的红外图像。

图10 红外图像配准前后对比图

3.3 图像融合算法

经过图像配准处理后,采用双尺度图像融合算法(Two-scale Image Fusion algorithm,TIF)对两幅图像进行融合,得到目标突出且视觉效果良好的融合图像[15-16]。与其他的图像融合算法相比较,TIF算法更快速且高效,如图11为双尺度融合算法的示意图。具体步骤包括:图像分解、图像融合和图像重建三部分。

图11 双尺度融合算法示意图

3.3.1 图像分解

将可见光图像F1(x,y)和红外图像F2(x,y)分别分解为基础图像和细节图像。

其中的基础图像由原图像经过均值滤波器μ(x,y)滤波后的图像,由公式(5)～(6)表示:

(5)

(6)

将原图像与基础图像做差处理,得到细节图像。由公式(7)～(8)表示:

(7)

(8)

根据视觉显著检测的理论基础,求解细节图像融合的权重参数,即图像均值滤波的结果与图像中值滤波的结果作差后,绝对值化处理[16-17]。过程如下:

计算融合时的加权参数,可表示为:

ξ(x,y)=|Fu(x,y)-Fη(x,y)|

(9)

其中,Fu(x,y)为均值滤波后的结果;Fη(x,y)为中值滤波后的结果。

根据加权参数公式(9)计算两者的权重值ξ1(x,y)、ξ2(x,y),求解细节图像的融合系数矩阵,表示为:

(10)

(11)

3.3.2 图像融合

本文所拍摄的环境是夜视环境下的场景,红外图像的基础图像效果优于可见光图像效果,故以红外与可见光的权重比为3∶2的方式对两图像的基础图像进行融合:

(12)

以加权平均的方式[18]融合细节图像,其权值为ψ1(x,y)、ψ2(x,y),由下式表示:

(13)

3.3.3 图像重建

将融合后的基础图像和融合后的细节图像采用加和的方式得到最终重建结果:

γ(x,y)=FB(x,y)+FD(x,y)

(14)

本文对不同的室内外场景进行图像采集,搭建一种由红外与可见光相机组成的双目异型成像系统,以实时的方式采集图像后进行预处理,再通过基于斜率一致性的图像配准结合本节的TIF算法处理红外与可见光图像。该算法采用显著性对融合图像进行重构,通过多尺度变换将红外图像和可见光图像分解为基础层和细节层,在源图像的细节层应用显著性提取模型,得到显著性图;后通过显著性图得到权重图,得到融合后的细节图像,最后将处理的的基础图像和细节图像构造得到融合后的图像。其运行速度快,适用于要求较高实时性的场景,可在夜视环境下进行目标识别的研究。

4 实验数据分析

本文研究红外图像与可见光图像的融合技术,选用几种图像融合规则:对应像素取最小、对应像素取最大、对应像素取平均、基于区域能量取小、基于区域能量取大以及常用的离散小波变换融合(DWT)、非下采样轮廓波变换融合(NSCT)[19-20]作为红外图像与可见光图像融合的对比算法,突显双尺度融合算法速度快、效果好的优势。如图12为红外图像、可见光图像以及采用各种融合技术的图像对比结果。为了更加客观地描述TIF算法的优势,本文采用的评价指标包括无参考图像中的熵值(Entropy)、均值(Mean)、标准差(Standard deviation)[21]、边缘强度(Edge Intensity)与峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)[22],分析结果如表3所示。

表3 各图像质量评价指标对比

图12 图像对比结果

无参考评价指标中的熵值、均值以及标准差分别表示图像携带信息量、图像的平均亮度和图像像素值相对于均值的离散程度。边缘强度用于评价图像的边缘特征,其值越大表示边缘信息越丰富。

(15)

(16)

其中,sx(i,j)2、sy(i,j)2分别表示Sobel水平与垂直方向卷积核在点(i,j)处做卷积获得的图像。

峰值信噪比(PSNR)是对两幅图像之间差异的衡量,通常以分贝(dB)为单位。均方误差由下式表示:

(17)

其中,I1(i,j)和I2(i,j)分别表示RGB图像和融合图像。

(18)

其中,MAXI是图像的最大值,uint8类型图像最大值为255。

本文在预处理时采用自适应熵值的非局部均值滤波算法去除图像噪声;在图像融合时采用TIF算法,其中均值滤波能够减少像素与其邻域之间的强度变化,中值滤波能去除噪声,通过两种滤波的结果做差计算图像的显著特征。该算法将异源图像分别在细节图像与基础图像进行处理,能够较好地将不同层图像进行融合,最终重建出信息丰富的融合图像。

观察图13中在夜视环境的IR图像、RGB图像以及各种融合后的图像,其中以像素值取最小和基于区域能量取最小方式融合的图像更突出RGB图像的色彩信息,两种方式所融合的图像与原RGB图像相近,未表现出IR图像的特性;对应像素值取最大和基于区域能量取最大方式融合的图像更突出红外图像的温度信息,而未能表达RGB图像的彩色信息;对应像素取平均方式融合的图像与DWT融合图像都既保留的红外图像的热辐射特征又具有RGB图像的纹理特征,其整体效果较好,但色彩光过亮,无法更好地突出RGB的彩色信息;NSCT融合图像不仅未突出更多的颜色数据,且产生了“网状”的现象;而采用双尺度融合的图像更加清晰、细节信息更加丰富,观察图13(j)人体的温度以及轮廓分布、衣服的色彩信息都得以保留。观察图13中的(e)、(h)、(j),在融合图像中既能观察到可见光图像中远处的背景信息——左侧的门和后方的玻璃窗,又保留了红外图像中的温度信息——近处人体的温度分布。为了进一步说明算法之间的差异并突显TIF的效果,以客观评价描述的方式说明,详细数据见表3。

图13 图像对比结果2

分析表3中的数据,比较8种融合图像的评价数据。均值与标准差分别表示图像的平均亮度和图像像素灰度的离散程度,故在通过对应像素值取最大、基于区域能量取最大与NSCT融合的图像与红外图像更为接近,其亮度更高,因此这几种融合图像的均值和标准差较高,但其图像并未表现出RGB图像的特征,融合结果并不理想。而采用TIF融合图像的熵值相比其他融合方式达到最大,与原红外图像相比其熵值提升了4.76 %;相比其他图像,TIF融合图像的标准差指标最大为43.064;以RGB图像为参考进行PSNR评价时,TIF算法的参数指标达到了11.768 dB。计算各种融合算法的运行速度,TIF算法的时间效率最高,其速度最快仅需35 ms左右,相比其他的融合方法,速度快了10倍量级。故以双尺度融合算法作为红外与可见光图像融合的主要算法。

该算法采用的显著性是以一种自下而上的方式吸引人类的视觉注意力,根据人类视觉系统的机制,基于显著性的融合方法能够保持显著目标区域的完整性,提高融合图像的视觉质量,故非常适合于目标检测与识别等应用。

观察场景2的实验,如图13所示,采用8种图像融合算法处理红外与可见光图像。其中以像素取最小融合方式及区域能量取最小融合方式所得的图像未表现出红外的温度信息;而采用像素取最大融合方式及区域能量取最大融合方式的图像较接近于可见光图像;而NSCT融合方式过亮,使得周围环境不清晰;像素取平均融合方式、DWT融合方式以及TIF融合方式的效果均表现出红外数据与可见光的环境数据,能够将在暗处的人表现出来。而TIF既能够将红外图像的人体信息与人在桌上的倒影信息所保留,与红外图像中的背景信息所融合,能够辨别出人在办公室的角落处背对成像系统。为了进一步说明场景2图像数据,客观数据由表4说明。

表4 各图像质量评价指标对比2

表4对8种融合图像的数据结果进行评价,TIF算法的熵值、标准差、边缘强度均最大,表明该算法的图像信息量大且边缘特征明显;其时间最短,说明算法的实时性高。而像素取最小融合图像与区域能量取最小融合图像较接近RGB图像,因此基于RGB图像计算的PSNR数值较大。分析数据,TIF算法的综合参数最优。

图14所拍摄的是室外的场景,目标人物蜷缩在树林中。像素取最小以及区域能量取最小图像更接近可见光图像的特征;像素取最大、区域能量取最大以及非下采样轮廓波变换融合图像更接近于红外图像的特性;像素取平均、离散小波变换融合图像以及双尺度融合图像均保留了红外与可见光的特性;其中TIF算法将红外与可见光图像从不同层进行融合,既使得目标很好的表现,也能够将周围的林木环境清晰的表征,树叶的轮廓也得以保留。

图14 图像对比结果3

表5中可以看出,TIF算法在熵值、边缘强度以及时间效率上最佳,说明该算法在图像细节表现方面具有优越性;而在均值指标上像素取最大图像的值最大;对于标准差,区域能量取最大图像的值最大。这些是由于根据不同的融合规则,所表现图像趋近于一种图像,并不能将红外与可见光图像的特征同时表示。

表5 各图像质量评价指标对比3

综合上述数据,并结合图12、13、14的主观视觉分析,在不同场景下不同算法的参数指标各有优劣。但是对于主观视觉融合效果较好的像素取平均融合图像、离散小波变换融合图像与双尺度融合图像三种结果,TIF算法的结果具有较好的优势,其熵值、标准差及边缘强度最大。讨论几种算法的时间开销,分析3组数据的时间效率,TIF算法的运行速度最快,说明其可以实现实时的图像融合。针对不同的室内外场景,采用不同尺度方式融合的TIF算法的效率最高,图像质量最佳,不仅能够保留真实色彩信息,而且具有高效的特性,其整体性能优于其他对比算法。

5 结 语

本文选用红外相机与RGB相机搭建了双目异型成像系统作为硬件平台;通过上位机软件采集图像后,提出一种基于熵的自适应h求解方法来处理非局部均值滤波进而对红外图像进行滤波,对可见光图像进行下采样操作;在引入基于斜率一致性的图像配准后采用调整权重融合的双尺度融合算法融合红外与可见光图像,生成一幅信息丰富真实色彩的IR-RGB融合图像。两组实验结果表明,相比原红外图像,TIF算法融合图像的熵值提升了约5.14 %;其标准差与边缘强度的参数指标最大;且该方法运行速度快,仅为普通的像素级融合方法的1/10;IR-RGB融合图像展现出更加可靠的图像信息内容,能够更全面地表达拍摄图像所包含的信息。故本文对红外与可见光图像融合的研究,为高实时性图像融合的需求提供帮助,在目标识别和监测等领域具有广泛的使用价值。