低空轻量级红外弱小目标检测算法

张 上,黄俊锋 ,王恒涛,陈永麟,王 康

(1.三峡大学湖北省建筑质量检测装备工程技术研究中心,湖北 宜昌 443002;2.三峡大学计算机与信息学院,湖北 宜昌 443002)

1 引 言

红外目标检测是实时监控、追踪、制导的关键技术之一,其应用广泛,如机载监视、反无人机等领域。目前,红外弱小目标检测成为计算机视觉中的一个重点与难点,红外图像弱小目标检测的难点主要有:红外弱小目标亮度低,通常呈点状,成像不明显;尺寸微小,一般不超过15个像素,形状特征、纹理和边缘特征难以提取;背景复杂,在实际检测环境下,背景因素不可避免,如楼房、云层、植物、飞行动物等,都会干扰检测;红外图像成像存在噪声;实时性要求高。如监测与制导场景中,需要检测算法能够及时响应目标,提供高准确率和高速的检测。

上述难点亟待深度学习来解决。基于深度学习的目标检测算法可分为四类,分别为注意力机制算法(Transformer[1]和Swin-Transformer[2]等)、双阶段检测算法(Mask R-CNN[3]、Faster R-CNN[4]等)、单阶段检测算法(YOLO[5]、SSD[6]等)和无锚框检测算法(FCOS[7]、CenterNet[8]等)。人工智能算法广泛用于工业和军事[9-11]。为实现红外弱小目标的智能化实时检测,王晓红等人[12]提出一种基于YOLOv5的红外弱小目标检测方法,引入BiFPN特征融合机制,使网络模型可以更聚焦于物体的细小特征。张立国等人[13]对特征融合模块和解耦检测端分类回归结构进行改进。以上算法能够实现红外弱小目标的检测,但存在检测误检率、漏检率高,计算量和模型体积大的问题。

针对红外弱小目标检测存在的难点,本文贡献如下:

1)设计专用于红外弱小目标检测的SL-YOLO(超轻量红外目标检测)算法,对网络结构进行重构,使其能够适应红外弱小目标特征提取,并且减轻算法的计算量与体积。

2)设计重构网络的剪枝架构,实现剪枝算法与重构后网络的融合。去除冗余参数与通道,提高模型的推理速度。

3)设计VariFocal-SIoU损失函数。改变边框回归损失函数、均衡正负样本、提高检测框检测精度。

4)为验证算法有效性,在IDSAT和SIRST公开数据集上对算法进行验证。在数据集上的平均检测精度分别为96.4 %、98.1 %。

2 SL-YOLO

2.1 结构设计

SL-YOLO核心思想是针对红外弱小目标特征进行网络结构的构建,以红外弱小特征信息的提取与融合为基准点,分别设计网络特征提取模块与网络特征融合模块,然后设计模型剪枝算法,实现剪枝算法与网络模型的融合,最后,设计VariFocal-SIoU损失函数,实现正负样本均衡与重叠区域的损失计算,提升与修复剪枝完成后的精度。SL-YOLO主要由轻量化网络结构、剪枝算法和VariFocal-SIoU损失函数构成。SL-YOLO网络架构如图1所示,通过在轻量化提取网络与融合网络的训练过程中融合剪枝算法和VariFocal-SIoU损失函数,完成模块轻量化和回归优化。

图1 SL-YOLO系统架构图

SL-YOLO经过轻量化设计后,实现网络结构冗余模块的剔除,完成冗余参数的修剪,使得网络模型计算量、体积大幅减低,检测速度提高。

2.2 网络重构

目标检测中常使用80×80、40×40和20×20三类特征图,SL-YOLO通过调整感受野和特征图来实现红外弱小目标的特征提取和特征融合。针对红外弱小目标的特征信息与尺度变化,将感受野调整为40×40与80×80两种特征尺度,将更多红外弱小目标信息保留。

在红外图像中,红外弱小目标仅占据图片的很小部分,经过卷积与下采用后信息丢失严重。优化后特征提取网络CSPDarkNet结构如表1所示,优化后特征提取网络下采样为4次,卷积为3次,在降低计算量和参数量的同时保留更多的红外弱小特征信息。

表1 重构CSPDarkNet结构

特征提取网络经过优化后需要对特征融合网络作处理,改进后特征融合网络结构如图2所示,针对感受野尺度调整融合网络结构。依次完成浅层到深层语义的融合,再进行深层到浅层语义的融合。同时,增加浅层语义的特征权重。减少红外弱小目标的信息丢失。

图2 特征融合网络结构图

SL-YOLO算法结构如图3所示,网络结构重构后,分别对特征提取网络与特征融合网络进行了重构设计。重构后网络结构删除大感受野信息提取,仅保留中小尺度的特征提取,特征融合网络侧重向小感受野进行调整,最后输出40×40与80×80特征信息。

图3 SL-YOLO网络结构

2.3 剪枝算法融合

基于范数的剪枝算法是被经常使用的模型剪枝算法,通过特征信息的范数大小来均衡重要程度。在目标检测特征空间中低范数特征信息也具有重要的特征信息,而基于范数的剪枝算法将其删除,故丢失大量低范数特征信息。FPGM剪枝算法如图4所示,SL-YOLO将剪枝算法融入到模型中,突破常规范数的局限性,去除可替代的特征信息,保留更多有用信息。

图4 FPGM剪枝示意图

FPGM的核心是计算滤波器的欧氏距离之和,过滤出欧式距离之和相对较低的进行删除。计算滤波器a(i)的欧式距离:

(1)

过滤出可代替的滤波器:

x*=argminf(x)

(2)

使用几何中值的算法计算第i层中所有滤波器的公共距离。其中,滤波器参数定义为Fi∈RNi,Ni×K×K。

(3)

滤波器根据几何中心距离进行剪枝,找出距离特征空间中心最近的滤波器:

(4)

几何中心距离的计算涉及到范数的计算,导致计算量的增加。而计算滤波器之间的距离相对简单,故可以通过计算距离之和得到几何中心相对较小滤波器之和:

(5)

(6)

其中,x∈{Fi,1,…,Fi,Ni+1}。

算法1 FPGM 前期工作:训练集、验证集、预训练模型输入,参数设定剪枝率设定:R1:initial:网络模型及参数 W2:for epoch=1;epoch≤epoch_max;epoch++ do3: 迭代网络模型:W4: for i=1;i ≤L;i++ do5: 计算第i层中每个滤波器之间的欧氏距离之和6: end for7: 得到N×R个可替换滤波器8: 将可替换滤波器梯度置零9: end for10:训练模型W调节梯度获得待去零模型W111:去除W1网络中梯度为零的通道,获得去零网络W2输出:剪枝且模型收敛的网络与参数

2.4 Varifocal-SIoU

SL-YOLO通过对Focal loss进行改进,设计Varifocal-SIoU在提高锚框匹配的同时根据目标类别进行加权损失计算。

Focal loss、VariFocal loss损失函数如下:

(7)

(8)

其中,p为预测值,取值为[-1,1];y为实际背景与目标类别;α为比例因子;(1-p)β为目标类调制因子;pβ为背景类调制因子;q为判别条件,背景类q为0,目标类q值为真实锚框与预选框之间的IoU值。

Focal loss通过引入目标调节因子,使用加权的方式可以使得IACS回归,解决目标类与背景类之间的不均衡问题。但对于目标类采用的是相同的计算方式,不能对正样本进行突出。Varifocal loss基于二元交叉熵损失进行设计,使用真实锚框与预选框之间的IoU值进行损失计算,使得在均衡正负样本的同时能够根据样本的质量进行损失加成。

常见的边框损失忽视所需真实框与预测框之间不匹配的方向问题。故提出SIoU,既提高了训练速度,又提高了检测精度。SIoU损失函数如下:

(9)

其中,LIoU为IoU损失函数;Δ为距离损失;Ω为形状损失。

形状损失Ω通过锚框的宽高进行处理:

(10)

其中,τ为形状损失调节因子;通过调节因子计算形状损失,能够直接对宽高损失进行调节。

距离损失Δ可依靠角度、横纵坐标得出:

(11)

以锚框横纵坐标、角度为基准,通过计算出距离误差,其中,μ为角度误差:

(12)

Varifocal-SIoU loss,在均衡正负样本、重叠损失、锚框向量角度的同时,重点突出正样本的贡献:

LVarifocal-SIoU=Varifocalloss(SIoU)

(13)

2.5 系统算法详解

SL-YOLO通过将剪枝算法、重构网络模型训练、损失函数优化相结合,完成轻量化红外弱小目标检测算法的设计与实现。SL-YOLO模型训练及剪枝优化如算法2所示。

3 实 验

实验环境:操作系统:Ubuntu 16.04、CUDA 11.3;GPU配置:NVIDIA RTX2060,6 GB显存;深度学习框架:Pytorch。

3.1 红外弱小目标数据集

红外小目标在学术上有两种定义方式,分别为基于相对尺度和基于绝对尺度的定义方法。基于相对尺度的定义方法,是根据国际光电仪器工程师协会的定义,将小于原图0.12 %像素的目标称为小目标。基于绝对尺度的定义方法,根据通用目标检测数据集COCO数据集中,尺寸小于32×32像素的目标定义为小目标。

算法2 SL-YOLO算法准备工作:训练参数、预训练模型输入,训练次数epoch剪枝率:RWhile(FPGM剪枝算法未收敛or N

为验证SL-YOLO对红外弱小目标的检测效果,本文采用公开数据集SIRST和IDSAT数据集进行验证。SIRST是一种单帧红外小目标检测数据集,共包含427张图片,包含480个实例,数据量丰富,包含短波、中波和950 nm波长的红外图像。IDSAT数据集有22种背景,覆盖地面复杂背景、天空、地空交接等复杂背景。训练集、验证集、测试集按照3∶1∶1进行随机划分。

3.2 模型剪枝对比

模型剪枝性能对比如表2所示,其中剪枝模型为网络重构后的模型,剪枝率的增加,模型的检测性能有所下降。网络结构重构后在SIRST和IDSAT数据集上进行验证,剪枝率升高,模型的检测精度AP有所减低,当剪枝率大于80 %时,模型的检测精度下降最多。

表2 不同剪枝率对数据集的性能指标对比

针对剪枝带来的精度下降,本文在模型剪枝后设计Varifocal-SIoU进行算法微调。微调结果如表3所示,从表中数据可知,微调后模型的P、R、mAP和F1均有恢复。其中,在剪枝率为90 %时,性能恢复最多。其中,在SIRST数据集检测精度能提高1.6 %,在IDSAT数据集检测精度能提高0.9 %。实验充分验证了SL-YOLO算法中的Varifocal-SIoU有效性。

表3 不同剪枝率经过Varifocal-SIoU微调后性能指标比较

3.3 实验结果与分析

为验证SL-YOLO中每个改进点对红外弱小目标检测的效果,在SIRST、IDSAT数据集上进行消融实验,如表4所示。SL-YOLO经过网络结构重构、Varifocal-SIoU优化后平均检测精度、准确率、召回率均有所提高。

表4 消融实验

在两个不同的数据集上,SL-YOLO通过网络重构与Varifocal-SIoU后,能够大幅提高召回率和准确率。随着模型剪枝的提升,模型平均精度精度逐渐下降,经过Varifocal-SIoU可恢复检测精度。

3.4 与先进算法对比

为验证SL-YOLO算法对红外弱小目标检测的先进性,对SL-YOLO进行对比实验,将SL-YOLO与当前主流算法进行对比,如表5和表6所示。

表6 不同算法对IDSTD的性能指标比较

SL-YOLO算法在当前主流算法具有竞争力。SL-YOLO算法还可以根据剪枝率的大小进行计算量、推理时间和体积缩减,能够满足不同应用环境进行调节,满足不同环境下的实时检测需求。

总的来说,SL-YOLO算法在模型体积、计算量、平均检测精度和推理时间上均有巨大优势,能够满足红外弱小实时目标检测需求。

3.5 实验效果与分析

为验证SL-YOLO算法对红外弱小目标的实际检测效果,在SIRST、IDSAT数据集进行验证,包含海上、陆地、飞机等复杂背景。图6～10分别为不同剪枝率在海上、陆地、飞机的检测效果。

如图5所示,(a)为YOLOv5s基线检测结果图、(b)为YOLOv7检测结果图、(c)为SL-YOLO检测结果图。SL-YOLO相比于当前主流算法检测置信度更高,漏检率和误检率更低。

图5 不同模型下的检测效果

图6～图8从左到右依次为剪枝率10 %、30 %、50 %、70 %、90 %。在海上、陆地、飞机检测效果均优秀;随着剪枝率的增加,红外目标检测不会存在漏检率提高的问题,但置信度存在降低。在剪枝率50 %以下,置信度保持较高水平;当剪枝率超过50 %时,实例检测置信度下降较多。

图6 不同剪枝率在海上红外目标的检测效果

图7 不同剪枝率在陆地背景红外目标的检测效果

图8 不同剪枝率对飞机红外检测效果

综上所述,SL-YOLO对海上、陆地、飞机均有优异的检测效果。在剪枝率较高的情况下,模型的计算量与体积均大幅下降,漏检率和误检率不会增加,但存在置信度降低的问题。

4 结 论

精准的红外弱小目标检测对红外遥感至关重要。红外弱小目标特征信息尺寸小、背景复杂导致其检测难度增加。针对红外弱小目标检测特征,本文设计SL-YOLO算法。为保存更多特征信息,降低卷积带来的特征信息丢失问题,SL-YOLO重设计网络结构,在兼顾检测效果的同时,模型更加轻量。然后设计模型剪枝算法,实现冗余特征信息的剔除,提高检测速度,降低计算量、模型体积和参数量;最后设计VariFocal-SIoU损失函数,改变边框回归损失函数、均衡正负样本、提高检测框检测精度。在SIRST、IDSAT数据集上进行算法验证,SL-YOLO各项指标均优于当前主流算法,取得了优秀的成绩。SL-YOLO算法精度最高分别可达96.4 %、98.1 %,模型体积最小为190 kB,推理时间最低为2.89 ms。SL-YOLO在平均检测精度、推理速度与模型体积均具有较大的先进性。