采用局部约束线性编码的像素级舰船目标图像融合

2021-04-16 13:07张洲宇曹云峰

导航定位与授时 2021年2期

张洲宇, 曹云峰

(南京航空航天大学航天学院，南京210016)

0 引言

着舰由于高更新率和高实时性等特点,在无人舰载机的任务链内显得尤为关键，统计数据表明，着舰期间的事故发生率远高于起飞与巡航阶段[1]。因此，针对无人舰载机着舰导引技术的研究具有重要意义。视觉导引因具备高可靠性、高安全性、低能耗等优点,为无人机着舰提供了一条行之有效的途径。视觉着舰导引流程图如图1所示[2]。

图1 无人机视觉着舰导引流程图Fig.1 UAV visual landing guidance flow chart

由于视觉传感器的成像质量易受光照变化的影响，在低能见度条件下难以满足着舰导引的任务需求，因此对视觉信息进行预处理以达到着舰导引的条件显得至关重要。如图2所示，可见光舰船图像可以较好地保留海岸线和舰船轮廓等细节信息，但是在低能见度条件下难以清晰地捕获舰船目标；而红外图像在低能见度条件下可以完整地获取舰船目标，但是图像中的纹理信息不够丰富。如图1所示，由于完整的舰船目标是视觉着舰流程中舰船检测步骤的必要条件，而图像中的细节信息对于机舰相对位姿估计步骤具有至关重要的影响[3]，可见光舰船图像与红外舰船图像对于视觉着舰具有较强的互补性。为此，本文针对面向无人机视觉着舰导引的红外与可见光像素级舰船图像融合方法展开研究，以提升视觉导引在低能见度条件下的适用性。

(a) 可见光图像

(b) 红外图像

当前广泛采用的像素级图像融合方法可分为三类[4-9]：基于压缩感知 (Compressive Sensing, CS)理论的图像融合方法、基于卷积稀疏表示(Con-volutional Sparse Representation, CSR)的图像融合方法和基于卷积神经网络(Convolutional Neural Network, CNN)的图像融合方法。

基于CS理论的图像融合方法首先将源图像分解为大量互相重叠的图像块，在此基础上采用预先学习的过完备字典获取每一个图像块的投影系数，最终通过预先设计的融合规则结合过完备字典实现融合图像的重建。由于CS理论所采用的过完备字典具有较强的特征学习能力，该类方法的融合性能相比于采用小波基的图像融合方法有明显的提升[9]。然而针对无人机视觉着舰导引的应用背景，该类方法的不足之处在于：在投影系数计算阶段，正交匹配追踪 (Orthogonal Matching Pursuit, OMP)与多面体追踪 (Polytope Faces Pursuit, PFP)等算法需要大量的重复迭代，计算复杂度高达O(m2)[10-11]，其中m为过完备字典的原子个数。

基于CSR的图像融合方法采用一组预先训练的字典滤波器将源图像分解为大小相同的一组卷积图，在此基础上通过活性层衡量算法计算每一个像素点位置的活性强度，最终根据活性强度结合预先训练的字典滤波器实现融合图像的重建。由于采用CSR的图像融合方法无需将源图像分解为大量重叠的图像块，在一定程度上避免了CS理论所产生的块状分布等不良效应。然而针对无人机视觉着舰导引的应用背景，该类方法的不足之处在于：在字典滤波器数量较少时，融合效果往往不够理想；而当字典滤波器数量增加时，融合算法的计算复杂度也随之急剧上升。

基于CNN的图像融合方法根据卷积神经网络的不同属性，又可以进一步分为基于分类卷积神经网络的图像融合以及基于回归卷积神经网络的图像融合[5]。由于CNN具有监督学习特性，上述两种类型的卷积神经网络都通过大量带有标签的训练样本完成网络训练，并在此基础上通过预训练网络实现端到端的图像融合[12]。由于CNN近年来在特征学习方面展现出的巨大优势，该类方法在像素级图像融合领域具有较好的应用前景。然而针对无人机视觉着舰导引的应用背景，该类方法最大的缺陷在于难以获取用于训练的融合图像真值图(Ground Truth, GT)。

为了克服现有算法的不足，考虑视觉着舰导引对于实时性的要求，本文提出了一种采用局部约束线性编码(Locality-constrained Linear Coding, LLC)的红外与可见光像素级舰船图像融合方法，该方法分为基于K均值奇异值分解的过完备字典建立、基于LLC的融合系数求解，以及融合图像的重建三个部分。由于LLC无需迭代即可求得融合系数的解析解，与传统CS理论架构下的图像融合方法相比，本文所提融合算法的计算复杂度显著下降。针对三组不同距离拍摄的红外与可见光舰船图像的融合实验结果表明：在融合图像质量方面，本文所提算法在保留高频细节的同时将图像中的舰船目标有效增强了，MI、Qw、QAB/F等部分客观评价指标优于基于CSR的图像融合算法与基于CNN的图像融合算法；在实时性方面，本文所提算法的计算速度相比于采用OMP计算融合系数的图像融合算法有明显提升。

1 像素级舰船图像融合方案

本文设计的像素级舰船图像融合总体方案如图3所示，可分为三个部分：过完备字典的学习、融合系数的求解和融合图像的重建。其中，过完备字典的学习是离线的，而融合系数的求解与融合图像的重建是在线完成的。

考虑到着舰导引对于实时性的要求，融合系数求解算法的计算复杂度对于着舰导引具有至关重要的影响。为了提升融合算法的实时性，本文采用LLC来实现融合系数的求解。相较于OMP和PFP等基于数值优化的投影系数求解方法，该方法具有解析解，且无需重复迭代，因此计算复杂度仅为O(m+k),k≪m[11]，其中k为用于计算投影系数的K近邻原子个数，m为过完备字典的原子个数。

2 像素级舰船图像融合算法

2.1 过完备字典的学习

如图3所示，获取过完备字典是融合系数求解的先决条件。K均值奇异值分解(K-means Singular Value Decomposition, K-SVD)是一种经典的从训练样本中学习字典的方法[13]，其目标函数可以表示为

(1)

图3 像素级舰船图像融合方案Fig.3 Pixel level ship image fusion scheme

2.2 融合系数的求解

通过求解融合系数实现图像在不同空间上的转换是变换域像素级图像融合算法的核心[4]。在求解融合系数之前，首先需要对源图像进行向量化，以获得一组向量集合，在此基础上求解向量集合所对应的融合系数。

(2)

显然，求解式(2)中的系数a为NP-hard难题，无法获取解析解，因此只能通过数学分析方法获取稀疏系数a的近似解。稀疏系数的近似估计方法包括l0范数贪婪迭代算法和l1范数最小化算法。OMP算法[14]是应用最为广泛的l0范数贪婪迭代算法，目标函数如式(3)所示。该算法继承了匹配追踪算法的原子选择标准，但是通过对原子集合进行递归正交化，从而降低了迭代次数。

(3)

l1范数最小化算法是指通过计算l1范数的最小值替代l0范数最小值的方法，当字典D满足约束等距条件时，l1范数最小化问题和l0范数最小化问题是等价的，因此针对式(3)的优化求解可以转化为式(4)。针对l1范数最小化问题的求解方法可以利用CS理论中的标准线性规划方法实现，其中具有代表性的包括基追踪(Basis Pursuit, BP)算法和PFP算法等。

(4)

上述两类求解系数向量方法的共同不足在于，需要通过不断迭代求取近似解，因此计算复杂度较大。即便通过近似计算的方式简化分析，该类求解方式的计算复杂度依然高达O(m2)[10]，其中m为过完备字典的原子个数。

(5)

(6)

2.3 融合图像的重建

通过LLC分别计算得到红外与可见光图像的系数向量后，如何选取恰当的融合规则实现系数向量的融合是重建融合图像的前提[14]。考虑到利用均值融合重建得到融合图像后，图像中反映重要细节的高频信息容易丢失，这与图像融合的初衷是相违背的。因此，本文设计了最大绝对值融合规则，该融合规则的数学表达式为

(7)

至此，融合舰船图像的重建步骤可归纳如下。

第一步：基于系数向量的融合规则，将红外舰船图像的系数矩阵Ain与可见光舰船图像的系数矩阵Avi融合为系数矩阵AF;

第二步：通过YF=DAF获取融合图像所对应的矩阵YF；

第三步：将YF的每一个列向量yF转化成大小为n×n的矩阵，并将这个矩阵加到与原图像尺寸相同的空矩阵S上，该过程可视为图4获取输入信号的逆过程；

第四步：由于每个矩阵在空矩阵S上相加的位置存在重叠，因此，S的每个元素所在的位置都需要除以该位置上矩阵相加的次数，从而获取与融合图像IF对应的像素值。

3 舰船图像融合算法仿真验证

3.1 仿真实验设置

本文用于实验的源图像共有三组，如图5所示。其中，图5(a)、(b)、(c)为红外图像，图5(d)、(e)、(f)为可见光图像，两组图像按照由远及近的顺序拍摄，由此模拟无人机的着舰过程。

用于K-SVD字典训练的样本包含20000个尺寸为8×8、从红外与可见光图像中随机选择的图像块。根据训练样本的不同选择，本文使用的字典分为完全由红外图像训练得到的字典和完全由可见光图像训练得到的字典两类。

在融合效果评估方面，本文选取了三种广泛采用的融合图像质量客观评价指标，包括：

(a) 红外图像1

(b) 红外图像2

(d) 可见光图像1

(e) 可见光图像2

(f) 可见光图像3

1)MI：MI与融合效果呈正相关；

2)QW：QW与融合效果呈正相关；

3)QAB/F：QAB/F与1更接近，表明融合效果更好。

3.2 融合效果分析

考虑到无人机视觉着舰导引的实时性要求，本文从图像融合质量与融合算法计算时间两个角度对融合效果进行综合分析。

由于过完备字典的学习、融合系数的求解和融合图像的重建是本文设计算法的三个核心步骤，因此本文重点针对以上三个步骤对融合效果的影响展开分析。在过完备字典的学习部分，针对字典训练样本的选取对融合效果的影响进行分析；在融合系数的求解部分，针对融合系数求解算法的选取对融合效果的影响进行分析；在融合图像的重建部分，针对绝对值最大融合规则和l1范数最大融合规则对融合效果的影响进行分析。由此组合得到八种不同的算法，列举如表1所示。在所有的实验中，字典大小设置为64×256，滑窗尺寸设置为8×8，式(4)中OMP算法的δ设置为0.1，式(5)中局部约束线性算法的λ设置为10-6。

第一组和第二组舰船图像在八种算法下的融合结果分别如图6和图7所示。第一组和第二组舰船图像在8种算法下的客观评价指标如表2所示。

表1 实验算法设置

表2 融合结果客观评价指标对比

(a) IR-LLC-Abs

(c)IR-OMP-Abs

(d)IR-OMP-l1

(e)VI-LLC-Abs

(f)VI-LLC-l1

(g)VI-OMP-Abs

(h)VI-OMP-l1

(a) IR-LLC-Abs

(b)IR-LLC-l1

(c)IR-OMP-Abs

(d)IR-OMP-l1

(e)VI-LLC-Abs

(f)VI-LLC-l1

(g)VI-OMP-Abs

(h)VI-OMP-l1

通过人眼的直观评价对融合结果进行初步分析可知：1)字典学习过程中采用的训练样本类型对最终的融合结果没有显著影响；2)采用LLC求解融合系数得到的融合图像效果优于采用最优匹配追踪算法；3)采用最大绝对值融合规则得到的融合图像效果优于采用最大l1范数融合规则。

进一步对第一组和第二组舰船图像的各个融合结果进行客观评价，计算得到的MI、QW、QAB/F的对比结果如表2所示。分析融合结果的客观评价指标，其规律与主观评价得到的结果基本一致，即：1)字典学习过程中的训练样本类型对融合结果没有明显影响；2)利用LLC求解融合系数的融合图像效果优于OMP；3)采用最大绝对值融合规则的融合图像效果基本优于最大l1范数融合规则。

对于两组舰船图像的八种算法进一步进行实时性验证分析。本文算法的实现平台为matlab 2016b，

计算机主频为3.4GHz，内存为8GB，采用matlab的tic toc命令，对于八种算法的运行时间进行统计，统计结果如表3所示。由表3可知，由于本文采用的LLC的计算复杂度较低，因此算法运行时间得到了有效缩减。

表3 融合结果计算时间对比

3.3 对比实验分析

为了进一步验证本文所提算法的有效性，将本文算法与基于CSR的图像融合算法[15]和基于CNN的图像融合算法[12]进行对比实验分析。由于本文算法采用的过完备字典大小为64×256，因此，将CSR的滤波器组设置为256个8×8大小的字典滤波器。

第一、二、三组源图像在三种不同方法下所对应的融合结果如图8～图10所示，计算得到的MI、QW、QAB/F的对比结果如表4所示。

(a) 本文算法

(b) CSR

(a) 本文算法

(b) CSR

(a) 本文算法

(b) CSR

由表4可知，本文所提算法与基于CSR的图像融合算法和基于CNN的图像融合算法相比,在部分融合指标上具有一定的优势。

表4 融合结果客观评价指标对比

4 结论

本文针对视觉成像在低能见度条件下适用性不足的缺陷，提出了一种面向无人机视觉着舰导引的舰船图像融合方法。采用K均值奇异值分解算法从海量仅包含红外图像的训练样本中完成过完备字典的学习。在此基础上,根据着舰的实时性需求，基于LLC完成融合系数的非迭代求解。最后，设计了一种基于融合系数最大绝对值的融合规则，根据过完备字典和融合后的局部约束线性系数重建合成图。

实验分析结果表明：

1)本文提出的算法相较于基于OMP的图像融合算法在融合效果和实时性方面均具有明显的优势；

2)本文提出的算法相较于基于CSR的图像融合算法和基于CNN的图像融合算法,在部分融合指标上具有一定的优势；

3)在其他条件一致的情况下，最大绝对值融合规则得到的多数结果优于最大l1范数融合规则的结果。