卷积神经网络在数字枪瞄系统中的应用与实现

陶声祥，艾 磊

(陆军炮兵防空兵学院 高过载弹药制导控制与信息感知实验室， 合肥 230031)

数字枪瞄系统是近几年新兴的一种枪用瞄准系统，其关键技术主要包括大面阵图像传感器采集图像技术，数字图像处理技术，数据高速传输技术。研究表明：在一些复杂的战场环境下，数字枪瞄技术能很好的解决目标图像抖动问题，同时还可以非直接式瞄准，保护了射手。因此，世界各国纷纷投入经费，大力研究。我国的数字枪瞄系统研究的起步较晚，但对大面阵CMOS图像传感器成像等技术的研究已比较成熟，文献[1]完成了高清CMOS图像传感器多通道数据传输系统设计，文献[2]对数字枪瞄系统中的关键技术进行了研究，搭建了实验平台，但对战场目标还没有做到自动识别。

在目标识别算法方面，卷积神经网络(CNN)模型是目前热度极高的研究课题，国内外文献都对其进行了深入的研究[3-6]，并将其运用于各个领域，取得了不错的识别效果。据报道，该算法已经实现了对硬件平台的移值[7]。由于在一些机载、车载平台上观瞄图像容易出现抖动，本文在搭建了数字枪瞄系统实验平台的基础上，通过数据传输接口将图像信息传输至PC端，接着对抖动图像进行了预处理，进一步减小了抖动图像的影响，同时运用了改进CNN的目标识别算法，使该系统可以自动识别目标，提高目标识别的识别率与准确度，以便在作战过程中辅助射手进行决策，精确打击目标。

1 系统简介

数字枪瞄系统硬件平台如图1所示，该系统主要有大面阵CMOS图像传感器成像电路，FPGA驱动与控制电路，图像高速传输与显示驱动电路组成。其中图像传感器采用ON公司的一英寸大面阵CMOS图像传感器NOIV1SE5000A，该型CMOS图像传感器有效像素为2 592像素×2 048像素，可实现75帧每秒的高速传输，采集的图像数据传输至FPGA中进行图像处理，采用的是LDVS传输技术，具有高速传输，低功耗，较强的抗噪声等优点。FPGA采用的是Altera公司的CycloneⅢ系列的EP3C25Q24，其定位是低功耗，低成本且易于设计，由于其具有强大的硬件资源，共有24 624个逻辑单元，结合Quartus Ⅱ软件的集成IP核让基带处理模块的设计变得轻松易于实现。在图像高速传输与显示电路中，采用的是TI公司的DS90UB925Q芯片，可以实现高清数字图像的远距离、高速传输，最终图像显示在显示屏上。其工作原理如图2所示，可实现对1 000 m以上目标进行清晰成像。

图1 数字枪瞄系统硬件平台

图2 数字枪瞄系统工作原理

2 图像抗抖动处理

在战场环境下，运动过程中的连续拍摄观瞄，时常会出现图像抖动，严重影响对目标的识别的准确度，因此，对抖动图像的预处理显得十分重要。目前的抗抖动处理方法主要有光学防抖动，机械式防抖动和软件算法防抖动。由于战场环境恶劣，地势起伏较大，车载或机载枪瞄设备连续拍摄时，图像序列抖动，甚至观测者晕眩。光学防抖动，补偿光学镜片组需要可以移动，效果不好，为此本文采用了基于灰度投影法的稳像算法对抖动图像进行处理。首先进行图像灰度投影，根据图像序列灰度的投影值的变化及规律性得到运动矢量，接着对运动矢量的高频部分进行均值滤波处理，以减小抖动对图像的影响，通过当前图像帧的灰度投影与参考图像帧的灰度投影做互相关运算，得到图像序列运动位移矢量，最后对图像序列运动位移矢量的反向进行修正，得到减小了抖动的图像序列输出[8]。

2.1 灰度映射

灰度映射也称灰度投影，图像序列中的图像在经过直方图均衡化预处理之后，需要对图像水平和垂直的灰度值进行映射，将一个二维图像的信息转换为两个独立一维信息[8]，水平灰度投影与垂直灰度投影的方法类似，下面给出垂直投影的计算方法：

(1)

(2)

colProii(x) =coli(x)-colToti

(3)

其中coli(x)为第i帧图像中第x列灰度值，grei(x,y)为第i帧图像中坐标(x,y)处的灰度值，LC为列数；colProii(x)表示第i帧图像中第x列的灰度映射[8]。

由于每一幅图像的边缘信息是唯一的，所以当图像的抖动较大时，就会造成图像失真，对运动矢量的计算将产生不利的影响，这时可通过滤波处理以消除图像边缘的垂直水平投影值，这里采用了升余弦滤波器进行滤波[10],保留了大部分中间的波形，减小了图像的边缘信息，对图像精度进一步提高。

2.2 运动位移矢量的获取

运动位移矢量是通过对图像序列的垂直、水平灰度投影值做互相关运算得到的，最终计算结果曲线图的波谷值即为当前图像帧与参考帧的位移矢量，下面列出垂直位移矢量的计算公式，水平位移矢量的计算也相同。

(4)

式(4)中:1≤x≤2m+1，LC为图像帧的列数，colk(i)和colr(i)分别为第k帧图像和参考图像r帧的第i列的灰度投影值，m为相对于参考帧一侧的搜索宽度，根据文献[8],这里取30。设Ymin为当R(x)值为最小值时候y的值，第k帧相对于参考帧图像垂直位移大小为

δy=m+1-Ymin

(5)

垂直位移矢量在被计算出来之后，就可以将当前图像进行空间变换，垂直方向移动-δy的距离，减小抖动对图像序列输出的影响。

通过对连续拍摄图像抖动的分析可知，其图像运动矢量的轨迹可以看作在一定时间内是平滑的，而抖动属于随机振动，具有无规律，高频变化的特点，因此可以采用均值滤波进行平滑处理，减小图像抖动的影响，因而可以对原始序列的第一帧修正，得到稳定的第二帧，以此类推，稳定的后一帧由前一帧得到，但如果一开始就出现修正错误就会导致错误一直传播到后面，为了避免错误的传播，采用的改进补偿方法步骤如下，首先根据下式计算：

(6)

式(6)中um,n、um,t分别表示原始和平滑滤波过后水平运动参数，vm,n和vm,t表示垂直方向相关的运动参数,计算出结果后如图3进行判断。

图3 运动参数补偿判断步骤

3 基于改进的卷积神经网络模型的目标识别算法

3.1 CNN模型

一个典型的卷积神经网络(CNN)结构如图4所示，主要由输入层、卷积层、池化层、全连接层和输出层(分类器) 构成[9]。其中卷积层和采样层为池化层为隐性层，卷积层和池化层可以交替进行，每一层都有多个特征图，每个特征图都有多个神经元，每个特征图通过卷积核滤波可以提取输入的特征，然后经过池化层按照最大或平均值采样，经过维数的变化，输入到全连接层，全连接层的作用是将所有特征变成一种识别标签，之后可以通过激活函数(一般常用的激活函数有sigmoid 函数、双曲正切函数tanh、Softplus函数以及使用广泛的ReLU函数)进入最后的输出层，最后一层相当于一个分类器，可以采用逻辑回归、Softmax回归甚至是SVM(支持向量机)[8]进行结果的判断与分类。

3.2 激活函数

常见的激活函数有sigmoid函数、双曲正切函数tanh、Softplus函数以及使用广泛的ReLU函数。sigmoid函数与双曲正切函数tanh是研究初期最常见的两种激活函数，对中间部分的信号激活增益大，对两侧部分的增益小，在特征映射上有一定的好处，但Sigmoid函数在饱和的时候梯度较小，比较缓和，容易造成过拟合，没法继续进行训练，不能很好地产生稀松数据；而双曲正切函数tanh是关于零点反对称，不符合生物神经元的基本特性。后来不饱和的非线性激活函数ReLU函数以及Softplus函数被提出来了，其中ReLU函数使用最为广泛，ReLU函数、Softplus函数如图5所示，其计算表达式分别如下：

f(x)=max(0,x)

(7)

f(x)=ln(ex+1)

(8)

ReLU函数将小于0的信号全部强制变成0，大于0的信号则保持不变，使网络变得稀疏，避免了过拟合的现象。但当梯度下降过大的时候，训练容易停止，信号强度一直为0，神经元不再被激活，而Softplus函数使整个网络变得平滑，是ReLu函数的平滑表示，存在的问题是不具备稀疏性。

图4 卷积神经网络的典型结构

图5 不饱和的非线性函数

3.3 改进激活函数的卷积神经网络模型

常见的激活函数存在一些问题。本文对其进行了一些改进，运用了改进的激活函数[11-12]，其计算公式如下：

(9)

这样而来改进的激活函数，小于0的信号采用了ReLu函数的优点，强制转化为0，从何具备了稀疏的特性，而大于0的部分采用了Softplus函数的优点使其同时具备了平滑的特性。该激活函数的函数曲线和导函数曲线如图6所示。

图6 改进的激活函数与其导函数曲线

由图6可看出，改进的激活函数既具备了稀疏性又具备了平滑的特性，解决了卷积神经网络过拟合不收敛的问题，同时函数计算简单，收敛更快。为了避免改进过后的网络使图像信息过于稀疏，导致图像信息丢失严重，设计了两种改进激活函数的卷积神经网络模型ReLu+Softplus(a)、ReLu+Softplus(b)来进行训练学习[11]，如图7所示。

图7 改进的卷积神经网络结构

4 实验与结果

4.1 实验数据集

实验数据集的制作主要通过两个步骤，一是从互联网上下载，二是使用数字枪瞄镜进行连续抖动地拍摄军事目标的模型，获取的图像数据并通过数据接口传至PC终端。由于训练样本量较小，所以训练样本将军事目标共分为8类，其中包括坦克，装甲车，作战士兵、自行火炮，暗堡，直升机等如图所示，每类目标图像共制作2 000张作为卷积神经网络训练样本，部分训练样本如图8所示，其中训练样本的合理选择是提高识别率的关键，因此在保持足够训练样本数量的条件下，采用了比如目标定位、角度旋转、尺度缩放等方法对训练样本进行处理，将训练样本的关键特征给模型训练，使无关的训练特征尽可能少，提高识别精度。

图8 部分训练样本

除了每类2 000个训练样本图像之外，还需要制作1 000张图像为测试样本，其中要求测试样本中有一部分是数字枪瞄系统抖动拍摄的图像，且将其图像像素大小统一，实验流程如图9所示，首先通过数字枪瞄系统采集图像，然后将获取到的图像通过传输接口传输至PC端进行抖动处理与目标识别，验证改进卷积神经网络目标识别的可行性。

图9 实验流程

4.2 抖动图像的处理

根据上文的实验流程，为了获取抖动图像处理的效果，取其中连续拍摄，并且存在抖动现象的10帧图像进行实验。实验处理前后垂直方向的灰度投影值如图10(a)、图10(b)，从图中可以看出，实验处理前后的垂直灰度投影值波形相差不大，但有些帧频横坐标方向存在较大的抖动偏移，经过图像抖动处理之后，偏移量减小，处理前后10帧的投影值曲线趋于稳定，实验表明图像抖动减小比较明显。

图10 实验处理前后的垂直投影曲线

在连续拍摄抖动图像序列中，两帧之间主要产生水平方向和垂直方向的抖动偏移，图11白色区域表明两帧图像抖动的偏移量，经过处理后，抖动的偏移量明显减少。

图11 图像抖动处理前后两帧差

4.3 改进的CNN模型的目标识别结果分析

根据实验流程，设定两个卷积层的滤波器个数分别为6和16，均为5×5的卷积核，两个下采样层均采用核的大小为2×2的均值下采样方式，采取分批训练的方式对网络进行训练，最后通过测试得出卷积神经网络在不同激活函数下的识别度效果图，如图12所示。

根据识别图12可以看出，根据本文制作的数据集，在迭代4 000次之后，对于所有的卷积神经网路模型的损失函数下降到最低，识别率都达到饱和无法进一步上升。对于数字枪瞄镜获取的目标，改进的激活函数比使用其他激活函数的CNN模型在相同迭代次数下的识别效果要好，其中采用改进激活函数的卷积神经网络ReLu+Softplus(b)的识别效果最好，但识别速度准确度还有待提高。其识别效果如图13所示。

图12 实验效果

图13 识别效果

5 结论

本文围绕数字枪瞄系统的自动目标识别技术研究展开，依据搭建的数字枪瞄系统实验平台，对其获取图像序列存在的抖动问题，提出了基于灰度投影法的来进行图像消抖的预处理，实验表明，采用这种办法能有效的减小图像序列抖动，之后本文提出了基于改进激活函数的CNN模型来进行军事目标的识别，并制做了模型训练样本和测试样本，通过实验结果表明，改进激活函数的CNN模型比使用其他激活函数的识别速度快，识别率高。卷积神经网络在数字枪瞄系统的应用，为下一步在数字枪瞄系统中实现自动目标跟踪提供了新的方案。对提高我军的作战水平，辅助作战人员实现智能化决策有较大的实际意义。