战场侦察图像融合技术

沈永玲,薛 毅

(1.中国电子科技集团公司第五十四研究所,河北石家庄050081;2.河北省经济信息中心,河北石家庄050051)

0 引言

多种光谱的图像传感器被应用到战场侦察,获得的图像包括可见光彩色图像、红外图像(长波红外、中波红外、短波红外)、微光图像和微波图像等。每种图像都揭示了目标特定的信息,但单一的图像都不能完全满足对战场目标分析的要求。图像融合是解决这个矛盾的有效方法,融合后的图像能够将每种传感器的图像的信息结合在一起,其信息内容超过任何一种单一的图像,能够更加精确地描述侦察场景中的地形、地貌、隐藏的人员和武器类目标。

战场上获取的侦察图像最常见的是彩色图像和红外图像,彩色图像具有高分辨率和丰富逼真色彩的优点,但却无法看到隐藏在伪装之下的武器类目标。红外图像具有发现隐藏的武器类目标的特点,但图像分辨率低,并且是单色图像,不利于人眼对图像总体内容的判读。该文提出了应用离散小波框架的融合处理与彩色空间变换相结合的处理技术,实现了彩色图像和红外图像融合处理,使融合结果图像能够保留彩色图像的高分辨率和接近真实的色彩信息,同时包含红外图像发现的隐藏的武器类目标,为战场目标发现、识别和分析提供了数据基础。

1 离散小波框架分解与合成算法

离散小波框架(Discrete Wavelet Frame,DWF)是一种基于多尺度分解的融合方法,比较标准的小波变换(DWT)有平移不变的特性,该特点对于融合彩色和红外图像很重要,因为在实际中保证2个源图像的完全配准很难达到,存在配准误差,平移不变的特性能够使得融合方法对配准误差不敏感,可以用来开发具有鲁棒性较好的融合方法。

在DWF算法中,信号f被分解为小波序列˜ωi(k)和尺度序列si(k)。

式中,s0=f;h和g为原型滤波器;[h]↑2i和[g]↑2i为第i层的分析滤波器,分析滤波器的构成是在原型滤波器元素之间插入适当数量的零值而得。

信号f的重构公式为:

式中,˜h、˜g为合成滤波器。

使用DWF算法实现第i级图像分解和合成框图如图1所示。

图1 使用DWF实现图像分解和合成

2 彩色图像与红外图像融合技术

2.1 彩色空间转换

彩色图像与红外图像融合处理流程中使用了RGB至HSV(H:色度,S:饱和度,V:亮度)及 RGB至LAB颜色空间转换。利用这些颜色空间转换实现融合后的图像的色彩修正处理,能够实现将源彩色图像的逼真色彩赋予融合后的图像。

RGB至HSV颜色空间转换方法:对于任意3个在[0,1]范围内的R、G、B值,其对应HSV颜色空间中的H、S、V的值可由下式计算:

在LAB颜色空间,L代表亮度,A代表红-绿色度,B代表黄-蓝色度。相比较RGB和HSV颜色空间,用LAB空间中每种颜色只需要一个参数来表示。因此,在LAB空间对图像颜色进行处理更加方便。首先将RGB图像转换至XYZ空间,再转换到LAB空间。由RGB_空间转换到XYZ空间_的公_式_如下:

由XYZ空间向LAB颜色空间的转换公式如式(8)所示:

2.2 融合处理流程

红外图像与彩色图像融合处理流程如图2所示。将输入的彩色图像记为Vrgb,包括了R、G、B三个彩色通道,将其变换到HSV空间(记为Vhsv)。彩色图像的V通道,代表图像的亮度,用于与红外图像融合。其他的2个通道H、S与原彩色图像的色彩最接近,承载着源彩色图像的颜色信息,被用于修正融合后图像的颜色。

图2 红外图像与彩色图像融合流程

在融合开始,将原始的IR图像进行负片转换,这样做的原因是一些隐藏的武器有时在IR图像的负片中更加明显。采用基于离散小波框架的融合方法将彩色图像的V通道分别与IR图像及IR-1图像进行融合处理。

彩色图像和IR图像、IR-1图像的融合方法如下:

①通过重采样方法将低分辨率的IR、IR-1图像变成与高分辨率的彩色图像相同分辨率的图像,实现2种图像的配准;

②将IR、IR-1图像和彩色图像的亮度分量图像进行直方图匹配增强处理;

③用DWF变换分别将IR、IR-1图像和彩色图像的亮度分量图像分解为DWF表示,低频系数:,高频系数:2…I;

④为了增加融合后的图像的空间信息,使用多尺度对比度增强方法增强彩色图像的亮度分量,采用如下非线性函数映射每一级带通图像:

式中,M为非线性增强的最大值;Gi为增益系数;i为带通图像的级数;

⑤直接用IR或IR-1图像数据I代替彩色图像的亮度分量中的的低频通带分量,这样可以有效地在融合后的图像中保留红外图像的信息。融合后图像的低频率系数是,高频率系数为:

⑥执行DWF反变换获得融合后的图像。用DWF实现IR、IR-1图像和彩色图像的亮度分量图像进行融合的流程如图3所示。

图3 DWT实现图像融合流程

2.3 融合后图像色彩修正

如图2所示,在用DWT实现IR、IR-1和彩色图像的亮度分量融合后获得了2个融合后的灰度图像。需要将源彩色图像的自然色彩赋予融合后图像,使用如下步骤完成对融合后图像的色彩修正处理:

①将彩色图像的V通道(Vv)赋给绿色通道,将V v和IR融合后的图像赋给红色通道,将Vv和IR-1融合后的图像赋给蓝色通道。得到伪彩色图像(FIrgb);

②将伪彩色图像赋予接近源彩色图像的色彩。一般情况下,冷区域武器在IR-1中呈现亮色,它们在融合后的图像FIb中呈现亮色。因为FIb被赋给了蓝色通道,因此,冷区域在伪彩色图像中呈现蓝色。为了同时获得彩色图像中的色彩及保留IR图像中的有用信息(隐藏的武器),需要对伪彩色图像进行处理;

③将伪彩色图像和彩色图像进行RGB彩色空间向LAB空间变换(表示为F1LAB(F1L,F1A,F1B)和VLAB(VL,,VA,VB))。用下面的方法获得了一个新图像F2LAB(F2L,F2A,F2B):

(F2L,F2A,F2B)=(VL,VA,F1B)。

F1LAB的L和A通道被彩色图像VLAB的L和A通道替换,再将图像F2LAB从LAB彩色空间变换到RGB彩色空间获得图像F2rgb。用上述的替换方程,彩色图像F2rgb的色彩与原始彩色图像的色彩接近,并且它结合了从IR图像的重要信息(隐藏的武器);

④应用下面方法处理图像F2rgb,可以使融合后的图像的背景内容与原彩色图像的背景接近一致。将图像F2rgb转换到 HSV空间(F2HSV(F2H,F2S、F2V),用下面的过程获得新图像F3HSV(F3H、F3S、F3V),

(F3H、F3S、F3V)=(VH,VS,F2V)。

即F2HSV的H和S通道用VHSV的S和V通道代替。

通过上述步骤可以对融合后的图像的色彩进行修正,使其色彩接近于源彩色图像,利于人眼对战场图像的判读,提高情报员对战场侦察图像的判读效率和对图像上目标信息的识别能力。

3 试验验证及效果分析

3.1 试验图像验证

为验证所提出的彩色图像和红外图像的融合方法的效果,使用了多组图像进行测试,一组试验图像及融合后的结果图像如图4所示,融合图像具备了彩色图像的色彩信息和高分辨率信息,包含了红外图像中的隐藏的武器目标信息。

图4 源图像及融合图像

3.2 融合效果分析

为了客观、定量评价融合图像的质量,判断融合后的图像继承源彩色图像和红外图像的信息量的大小,采用条件交互信息量的方法衡量源图像向融合图像转移的信息量。融合图像F和源图像A、B的条件交互信息量计算公式为:

式中,H(A,B)表示源彩色图像和红外图像的联合熵,定义为:

H(A,B|F)表示给定F时,A,B的条件熵,定义为:

CMI的值越大,表示融合图像从源图像中获取的信息越丰富,融合效果越好,1表示源图像的全部信息都转移到了融合图像(理想情况)。计算图4中的源图像和融合图像的CMI值为0.877 68,根据经验,这表明了融合图像从源图像继承的分辨率、对比度及颜色等信息量很大,融合图像满足战场图像分析的需要。

4 结束语

战场图像中以可见光彩色图像与红外图像居多,应用离散小波框架融合方法与彩色空间变换组合方法实现可见光彩色图像与红外图像融合,使融合后的图像保留了红外图像发现的隐藏的武器目标、彩色图像的高分辨率信息及自然的色彩信息。融合后的图像更有利于指挥员对战场图像的判读、发现和识别目标、获得更加丰富的战场态势感知。

[1]牛轶峰,赵博欣.像素级图像优化融合客观评价指标分析[J].计算机与数字工程,2010,38(3):116-122.

[2]CARPER J W,LILLESAND T M,KIEFER R W.The Use of Intensity-hue-saturation Transformation forMerging SPOT Panchromatic and Multispectral Image Data [J].PhotogrammeticEngineering and RemoteSensing,1990,56(4):459-467.

[3]UNSER M.Texture Classification and Segmentation Using Wavelete Frames[J].IEEETrans.on Image Processing,1995,4(11):1549-1560.