基于注意力机制和改进CLDNN的雷达辐射源识别

崔邦彦, 田润澜,*, 王东风, 崔 钢, 石静苑

(1. 空军航空大学航空作战勤务学院, 吉林 长春 130022; 2. 空军研究院, 北京 100012;3. 空军航空大学航空基础学院, 吉林 长春 130022)

0 引 言

早期雷达体制单一,辐射源信号脉内调制类型相对简单,战场电磁环境并不复杂。辐射源识别[1]是电子对抗侦察的一项重要内容[2]。传统的雷达辐射源识别方法将雷达辐射源信号从时域、频域和时频域等多角度与雷达数据库对比及匹配。文献[3]中提出应用修正的D-S证据融合策略对融合算法进行改进;文献[4]提出应用模糊推理实现对辐射源的识别。这些方法识别速度和识别准确率较高,但是随着新体制雷达的出现,这些方法难以应对复杂电磁环境[5]下快速准确地识别雷达辐射源信号。因此,需要找到一种新方法,既能保证更快的识别速度,又能在低信噪比环境下有较高的识别准确率。

深度学习是机器学习领域的一个重要的研究方向,它学习样本数据的内在规律和表示层次,能较全面地提取样本数据特征,有效地避免人为提取特征的不完备性。训练后的深度学习模型有较快的识别速度和识别准确率。近些年,深度学习应用于雷达辐射源识别成为热点。如文献[6]采用一维卷积长短时深度神经网络(one-dimensional convolutional long-short-term-memory deep neural networks,1CLDNN)模型结合center loss损失函数对辐射源信号分类,信号识别准确率较卷积神经网络(convolutional neural network,CNN)模型有一定提升,但是在低信噪比环境下识别准确率受限;文献[7]使用深度卷积生成对抗网络(deep convolutional generative adversarial network,DCGAN)生成时频图像,使用VGG16模型对时频图像训练,各类信号在-15 dB信噪比环境下保持75%的准确率,但耗时较长。本课题组成员孙艺聪在文献[2]中提出改进1CLDNN[8]模型，将1CLDNN网络中的长短时记忆(long short-term memory, LSTM)层换成双向门控循环装置(bi-directional gated recurrent unit, Bi-GRU)，利用Bi-GRU[9]的双向结构获取更多的结构信息,该网络在识别准确率和识别速度上都有提高,但是改进的1CLDNN在处理低截获概率雷达信号时受限。

针对上述问题,为提高信号识别速度和低信噪比环境下识别的准确率,本文在1CLDNN模型基础上引入特征融合方法和注意力机制,提出注意力机制特征融合1CLDNN网络(attention-mechanism feature-fusion 1CLDNN, AF1CLDNN)。

1 1CLDNN模型

1CLDNN模型主要是由一维CNN(one-dimensional CNN,1CNN)、LSTM网络[10]、深度神经网络(deep neural network,DNN)组成，如图1所示。该网络结构最早于2015年由Sainath等人提出,现在广泛应用于语音识别领域[11-13]。

图1 1CLDNN结构

1CLDNN中的子网络建模能力各有不同,1CNN擅长减小频域变化,LSTM提供长时记忆,DNN擅长将特征映射到独立的欧几里得空间,将这3种网络序贯连接,在信号识别领域获得比单独任意一个网络更优的性能。

2 特征融合方法和注意力机制

2.1 特征融合方法

本文引入集成学习中的特征融合[14-15]方法,对多种特征在分类器层次上进行融合,使数据中深层特征和浅层特征融合,深层和浅层的特征能够优势互补,从而增强特征的描述能力,有效提高神经网络训练的准确率。

基于卷积神经网络的辐射源分类识别算法通常采用特征融合方法提高辐射源的识别精度。假设Yi(i=1,2,…,N)、Yj(j=1,2,…,N)为原始特征和融合特征,N为特征数，特征融合算法可以概括为

Yj=φj[φi(Yi)],i=1,2,…,N;j=1,2,…,N

(1)

式中,φi代表转换函数;φj代表特征融合函数;特征融合后的结果Yj融合了上层分类器的深层特征和浅层特征,使提取的特征更全面,从而提高辐射源信号分类识别速度和识别准确率。

2.2 注意力机制

近年来,研究人员将人类视觉的选择性注意力机制[16-19]引入到深度学习中,人类视觉的注意力机制是人类的视觉系统快速地扫描视觉范围内的全局场景,经过大脑信号处理机制,选择需要重点关注的目标区域,并对这个区域投入更多的注意力资源,以获取更多的细节信息,提升网络识别速度和识别准确率。

注意力机制的本质思想是查询到一系列键-值对的映射，得到一系列键-值对之间的相似度,两者之间相似度越高会分配更多的注意力资源,相似度越少则会分配更少的注意力资源甚至不分配注意力资源。注意力机制本质如图2所示。

图2 注意力机制

辐射源脉冲内部特征提取是辐射源信号识别[20-23]的关键问题。注意力机制中的询问(Q)代表辐射源信号,注意力机制中的键-值对(Ki-Vi)代表辐射源信号中各元素的权值。将注意力机制引入识别辐射源的神经网络中可以加快神经网络的识别速度,并在一定程度上提高神经网络对辐射源信号识别的准确率。

在计算注意力时主要分为3个步骤。

步骤 1计算辐射源信号和辐射源信号中各元素权值的相似度得到权重。常用的相似度函数有点积、拼接、感知机等。本文采用拼接的方法实现相似度:

f(Q,Ki)=Wα[Q;Ki]

(2)

步骤 2使用Softmax函数对上一步得到的权重归一化:

(3)

步骤 3最后将权重和加权后的辐射源信号中各元素的权值进行加权求和得到注意力:

(4)

3 AF1CLDNNF模型

3.1 AF1CLDNN结构

AF1CLDNN模型是1CLDNN模型的改进型,AF1CLDNN模型结构如图3所示。该模型的网络结构包括一维卷积池化层、LSTM层、注意力层、DNN层和特征融合层。图3中红色虚线框中的是1CLDNN模型,1CLDNN模型在处理序列数据问题上具有一定的优势:其一,可以提取时间序列的浅层特征；其二,能提供长时记忆。1CLDNN模型也具有一定的局限性:① 模型并不能提取序列数据的深层特征;② LSTM模型训练速度慢,当数据量在一定数量级时,网络弊端就很明显;③ 1CLDNN模型对辐射源信号识别的准确率还需要提升。

图3 AF1CLDNN模型结构

针对上述问题本文在1CLDNN模型的基础上加入另一个支路DNN[24-27],如图3中蓝色虚线框部分所示,DNN能够将特征转换到独立的欧几里得特征空间,可以获得数据深层特征信息。1CLDNN提取的浅层特征和DNN提取的深层特征通过图3中绿色虚线框内的特征融合层将数据深层特征和浅层特征进行融合,使网络在分类输出时可根据更多的特征进行选择,提高网络对辐射源识别准确率。1CLDNN中CNN层后加入图3中紫色虚线框内的注意力层,注意力层将更多的注意力资源分配给需要关注的特征,使得注意力层后的DNN网络对特征提取的效率更高，提高网络对辐射源信号的识别速度和识别准确率。

3.2 AF1CLDNN模型参数设置

AF1CLDNN模型的11层网络中包含3个一维卷积池化层、2个LSTM层以及5个全连接层。所有的一维卷积层具有相同的配置,步长为5,维度由128、64到16;共有3个最大池化层,大小依次为4、4和3,步长为1;共有5个全连接层，输出结果的维度由16、64、32、8到7;共有2个LSTM层，输出维度分别为32和16。整体参数结构如图4所示。

3.3 训练流程

鉴于AF1CLDNN模型处理具有时间相关性的序列数据效果好,本文采用时域下雷达脉冲的幅度序列数据作为模型输入数据。

步骤 1辐射源信号输入。将辐射源数据和标签输入到AF1CLDNN模型中。

步骤 2数据预处理。将辐射源数据都截成长度为1 024×1。

步骤 3标签处理。对不同类别的标签进行one-hot编码。

步骤 4建立数据集。将数据按照不同的类别以相同的比例0.28∶0.42∶0.3分为训练集、验证集和测试集,并将其随机打乱。

步骤 5设置EarlyStopping。在训练达到饱和的时候可以终止训练。

步骤 6设置datetime。获取当前时间,方便测量网络训练用时。

步骤 7编译学习过程。损失函数采用categorical_crossentropy;优化器采用Adam;学习率初始设置为1×10-4,学习率随着训练集误差的变化情况动态调整。

步骤 8模型训练。设置batch_size大小为256;训练轮数设置为100轮,对模型训练。

4 实验及结果分析

本文采用Matlab仿真时域下雷达脉冲的幅度序列数据来验证本模型性能,用Matlab仿真的数据集包含7种信号,分别是BPSK、Costas、Frank、P1、P2、P3和P4。7种信号的信噪比范围为-20～10 dB,间隔2 dB。每种信号在每个信噪比的条件下生成2 000个样本,每个样本长度为1 024,所以样本总计224 000个,雷达辐射源信号的调制参数如表1所示。计算机配置:CPU为Intel(R)Core(TM) i7-10 750H,GPU为NVIDIA GeForce RTX 2 070 Super。

图4 AF1CLDNN整体参数结构图

表1 信号主要参数

实验 1为了探究特征融合对网络分类能力的影响,实验将是否对网络进行特征融合作为自变量,分别训练1CLDNN和特征融合1CLDNN(feature-fusion 1CLDNN, F1CLDNN),用没有进行特征融合的支路模型的训练结果与特征融合后的模型训练结果比较,以测试集的损失和准确率、训练集的训练轮数和训练时间作为评价标准进行实验。实验结果如表2所示。

表2 特征融合对网络分类能力的影响实验结果

从表2中可看出1CLDNN在没有进行特征融合前,无论是在损失、准确率、训练轮数，还是训练时间都比特征融合后的F1CLDNN效果差;F1CLDNN将1CLDNN提取的浅层特征和DNN提取的深层特征进行融合,训练准确率高,训练轮数少,训练时间少,说明在特征融合层的作用下模型将数据深层特征和浅层特征进行融合,使网络在分类输出时可以根据更多的特征进行选择,提高网络识别准确率,在训练过程中收敛速度更快,拟合效果更好。

实验 2为了探究注意力机制对网络分类能力的影响,实验中将注意力机制的有无作为自变量,以测试集的准确率和损失、训练集训练轮数和训练时间作为评价标准进行实验。实验结果如表3所示。

表3 注意力机制对网络分类能力的影响实验结果

在表3中1CLDNN模型和F1CLDN模型在没有注意力时比有注意力时训练时间长、训练轮数多、准确率低、损失高,可以看出注意力可在一定程度上提升测试准确率和识别速度并降低损失,但是注意力在F1CLDNN中提升准确率的效果并不是很明显,只能在很小的范围提升准确率,但是在1CLDNN中应用注意力机制测试后准确率显著提升。注意力机制在提升训练速度方面有非常大的优势,F1CLDNN在同样的条件下使用注意力机制比不使用注意力机制快了0:12:41,而1CLDNN在同样的条件下使用注意力机制比不使用注意力机制快了4:35:24。注意力层将更多的注意力资源分配给需要关注的特征到DNN中,提高网络对辐射源信号的识别速度和识别准确率,因此注意力机制可以在一定程度上提升网络识别准确率,加快网络识别速度。

为了观察注意力都提取信号的哪些特征使得识别速度和识别准确率提高,实验将注意力层的输出与原信号对比并将结果绘制成热力图。实验步骤如下:

步骤 1实验从7类信号中的每一类中选取一个代表这一类信号;

步骤 2将步骤1中提取出的7个样本长度为1 024的信号从前到后截取样本长度为100作为可视化信号;

步骤 3将步骤2中截取的信号可视化,并将该信号经过注意力层的权值通过热力图绘制,原信号的可视化图和信号经过注意力层的权值热力图绘制到一张图,如图5所示。

图5的标题位置是信号类别。左侧纵坐标代表样本长度为100的信号,信号的输入从上到下。右侧纵坐标代表分配给每个颜色的权值,颜色越深分配的权值越大。横坐标代表选择每一类信号中的第几个信号。黑色代表原始信号,彩色代表分配给该位置信号的权值。

由图5可以更清楚地对比出注意力层更注重各信号的特征在信号样本中的位置。图5中这7类信号经过注意力层后都注重了8,40,56,88这几个位置,这几个位置比较随机且分散,并不能通过时频分析[28-30]后的结果解释,但是可以看到这几个位置都在波峰处,可以认为这几个位置是在其他的欧几里得空间提取出来的特征,而可以分配更多注意力资源在这几个位置对信号分类识别,分配更少注意力资源甚至忽略在一些无关位置的注意力资源,可以有效地提高网络识别速度。

图5 7类信号注意力层权值热力图

实验 3在实验1和实验2的基础上为了探究将注意力机制和特征融合方法结合是否能进一步提升网络对辐射源信号识别速度和识别准确率,以及在低信噪比下对各信号的识别情况。本文在实验3中设置3个小实验,第1个小实验用AF1CLDNN、F1CLDNN、注意力机制特征融合1CLDNN(attention mechanism 1CLDNN,A1CLDN-N)、1CLDNN和深度学习中的经典模型以测试集的准确率和损失、训练时间和训练轮数作为评价标准比较,实验结果如表4所示。

表4 多种模型结构实验结果

由表4可知在1CLDNN的基础上既引入注意力机制又引入特征融合方法比只用其中一种的识别速度快,识别准确率更高。

AF1CLDNN模型和一些经典深度学习模型比较,无论是在识别速度还是在识别准确率上都有一定的提升。

第2个小实验是AF1CLDNN模型在低信噪比环境下是否有较好的识别准确率,实验用AF1CLDNN、F1CLDNN、A1CLDNN、1CLDNN和深度学习中的经典模型对比。用不同信噪比的Costas信号测试,测试结果如图6所示。

图6 8种模型的不同信噪比识别准确率图

由图6可知AF1CLDNN模型比其他经典深度学习模型在低信噪比的环境下识别准确率要高,AF1CLDNN模型在-20 dB的情况依然有69%的准确率,在-12 dB依然有接近100%的准确率,而其他经典深度学习模型在-20 dB时最高有60%左右的准确率。因此,AF1CLDNN在低信噪比的情况下依然有较高的识别准确率。

第3个小实验探究AF1CLDNN模型在不同信噪比下对信号分类的能力,利用训练保存的模型对这7类信号分类(这7类信号使用测试集数据),这7类信号在不同信噪比环境下识别结果如图7所示。

由图7可知信号在信噪比大于等于-10 dB时基本有100%的准确率,在-12 dB时除了BPSK信号其他信号均有接近100%的准确率,而BPSK信号依然有97%以上的准确率,即使在-20 dB时除了BPSK信号有58%的准确率,其他信号均有高于69%的准确率。

图7 不同信噪比下AF1CLDNN对7类信号的识别准确率

BPSK信号受信噪比影响最大,在低信噪比的环境下难以和其他6类信号区分,其他6类信号识别结果的准确率相对均衡,可以认为AF1CLDNN模型对这7类信号识别的结果是有效的。

7类信号的混淆矩阵如图8所示。图8中颜色越深代表辐射源信号正确识别率越高,可以很清晰地看到对角线上的颜色深。图8中BPSK信号被误认为Costas、Frank、P1、P2、P3和P4的错误率基本为1%,因此结合图7可知,BPSK在低信噪比的条件下和其他6类信号接近,该信号较难区分。

图8 7类信号混淆矩阵图

5 结 论

本文在1CLDNN模型的基础上,提出了AF1CLDNN模型,并对7种常见的辐射源信号进行识别。实验结果表明,本文提出的AF1CLDNN具有较高的识别速度和识别准确率,并且在复杂电磁环境[31-34]中信噪比较低的情况下能够有效地识别这7种信号,与其他常见处理一维数据模型对比,本文提出的模型具有训练时间复杂度低、收敛速度快和识别精度高的特点。