遥感卫星明视视频中飞机目标的跟踪算法

赵春晖, 刘海燕

(哈尔滨工程大学 信息与通信工程学院, 黑龙江 哈尔滨 150001)

随着对地观测技术的发展,遥感图像在军事和民用领域的应用范围日趋广泛[1].基于遥感图像的视频跟踪在现代战争情报搜集中起着重要的作用.当前传统摄像监控视频运动目标跟踪算法较为成熟,但是卫星视频目标跟踪与其相比具有观测尺度不同导致卫星视频的运动目标较多,环境较为复杂、传感器搭载平台不同导致卫星视频中目标具有与背景的对比度低及信噪比低的特点,难以完整地将目标和背景区分开来,以及空间分辨率不同导致卫星视频运动目标所占像素较少,缺乏纹理信息等差异,这些差异导致传统监控视频的运动目标跟踪算法应用到卫星视频上存在较多问题[2].

目前,目标跟踪领域的方法主要是相关滤波类方法和深度学习方法.相关滤波类方法(correlation filter,CF)是目前跟踪效果较好、速度较快的一类方法.代表性的算法有CSK算法、KCF算法、CN算法等.相对于机器学习方法,目标跟踪领域特征才是最重要的,KCF算法在CSK算法的基础上扩展了多通道梯度的HOG特征,CN算法在CSK算法的基础上扩展了多通道颜色特征.在实际应用中上述算法都具有较优的表现.

在卫星视频中,飞机相对大范围图像来说目标较小,特征不明显.但是可以利用地物分布背景颜色基本为灰色而飞机颜色为白色这一颜色特征进行跟踪.所以本文应用了CN(color name)算法对卫星视频中的飞机进行跟踪[3].该算法主要是利用多通道颜色特征进行跟踪,然后再通过对颜色特征进行PCA[4]降维,去除颜色特征中的冗余信息,使得对目标的外观描述更加精确和鲁棒.但是CN跟踪算法需要人工给定视频第一帧中目标的位置,存在较大误差,而且针对不同的视频需要人工重新给定位置,过程较为烦琐.因此,本文提出了一种全自动跟踪的框架.首先利用变化检测提取出目标的潜在运动区域,然后在该区域附近利用目标检测算法检测目标的位置,根据目标检测算法的结果进行目标跟踪.并且,针对CN跟踪算法存在一旦跟丢目标就无法重新找回目标的问题,提出每隔一定帧间隔做一次检测.该方法相比原始的CN算法,跟踪准确率更高,鲁棒性更强.本文通过利用真实遥感视频数据进行仿真,验证了所提方法的优越性.

1 本文方法

针对场景复杂的遥感卫星视频数据,本文采用的是一种能够利用CN跟踪算法进行全自动跟踪的框架.该框架无需提前人工标定视频第一帧中目标的位置和大小,直接输入视频即能得到完整的视频跟踪结果.采用的方法是首先利用变化检测的方法得到遥感视频中目标飞机的潜在局部运动区域,然后由Faster R-CNN算法[5]进行局部图像检测,检测得到运动目标的初始位置,然后根据检测得到的结果由CN跟踪算法进行跟踪.并且,针对CN跟踪算法存在丢失目标无法重新找回的情况,本文也提出利用循环检测的方式,每隔一定帧间隔做重复检测,将检测到的目标的最新位置更新给跟踪框,保证即便目标出现丢失,跟踪框也能有机会获取跟踪目标的位置,从而继续跟踪目标.本文所提算法的总体设计流程图如图1所示.

图1 总体设计流程图Fig.1 Flow chart of overall design

1.1 帧间差分法

帧间差分[6]是指先将两个连续的视频序列帧作差分处理,再把得到的图像进行二值化运算:假设Ik(x,y)为视频当中的第k帧,Ik-1(x,y)为第k-1帧,将这两相邻图像进行差分运算,可得到它们的差分图像Dk(x,y).预先设定阈值为T,如果差分图像Dk(x,y)中像素点的绝对值大于T,则认为它是前景像素,反之,则是背景像素.

帧间差分法的运算比较简单,易于实现,但阈值的选取十分关键,阈值设定过低不能良好地抑制噪声,抗干扰能力差;阈值设定过高,会遗漏部分目标,导致结果不完整.阈值通常可以通过多次人工调整获得.

1.2 Faster R-CNN检测算法

本文的目标检测算法采用Faster R-CNN算法[7].Faster R-CNN算法是在R-CNN、Fast R-CNN算法的基础上发展而来的,是R-CNN系列算法中精度最高、速度最快的检测算法.

Faster R-CNN算法主要分为4个步骤,分别是生成候选区域、使用深度网络提取特征、特征送入分类器进行分类[8]以及使用回归器精细修正候选框位置[9].Faster R-CNN使用RPN(region proposal network)提取region proposal,然后利用Fast R-CNN对RPN提取的region proposal进行检测并识别proposal中的目标.

RPN是一个全卷积神经网络[10],它的作用是输入任意大小的图像进入RPN,输出一系列的矩形框作为region proposal.首先输入任意大小的图片,然后进行一系列卷积操作,在conv5-3卷积层输出的卷积特征映射(feature map)上用一个3×3的卷积核进行卷积,输出对应维度的全连接特征.在特征后会产生两个分支的全连接层,为回归层(reg-layer)和分类层(cls-layer)[11].回归层用于预测proposal的坐标(x,y)和宽高(w,h),分类层用于判定该proposal是前景还是背景.用3×3的卷积核进行卷积操作保证了分类层和回归层关联了conv5-3的全部特征空间[12].利用Faster RCNN算法可以检测出图像中的飞机目标.

2 自适应颜色属性的CN跟踪算法

CN算法是一种自适应颜色属性的实时视觉跟踪算法.该算法是在CSK算法[13]的基础上发展而来,CSK目标跟踪算法只用到了灰度信息进行训练,CN算法通过把颜色特征加入CSK跟踪算法中,将RGB三种颜色细化为黑、蓝、棕、灰、绿、橙、粉、紫、红、白、黄这11种颜色特征,但是高维颜色特征带来跟踪效果增加的同时也会导致计算量的急剧增加,算法的实时性也会急速下降,因此该算法加入PCA降维方法,将11维颜色特征降为2维,通过实时地选择颜色特征达到减小计算量的目的.

2.1 正则风险最小化

假设训练样本为(x1,y1),…,(xm,ym),分类器f(x)通过训练样本达到最小正则风险的目的.线性分类器表示为

(x)=〈w,x〉+b.

(1)

其中〈*,*〉表示点积,那么最小化问题为

(2)

式中:L(y,f(x))表示损失函数;λ是防止过拟合的正则化参数.其中,CN算法采用的是正则最小二乘分类器(RLS)[14],损失函数为L(y,f(x))=(y-f(x))2.据线性最小二乘,由式(1)、式(2)得:

w=(XHX+λI)-1XHy.

(3)

其中:XH=(X*)T,X是由一个样本的特征向量占一行组成的样本矩阵;X*表示X的共轭矩阵;T表示矩阵的转置运算;XH即表示X的共轭转置矩阵;y是对应每个样本的回归值yi组成的列向量;I是单位矩阵.

2.2 检测器

(4)

2.3 PCA算法

在颜色特征方面, CN算法是利用PCA降维算法对11维的颜色属性降维以保存其关键信息[15].PCA算法是将要处理的原始数据通过线性变换为一组线性无关的数据表示, 是一种常用的数据分析方法. PCA算法的操作是输入一个图像序列, 接着根据主元的排序去除其中的次要分量, 以达到压缩信息的目的. 在数学上,用方差反映变量信息的多少,方差越大则数据越离散, 在所有线性无关组合变量中按方差从大至小依次称为第一主成分、第二主成分、第三主成分等.通过对若干个主成分进行加权求和, 可得到每个主成分的最终评价值,权数则为每个主成分的方差贡献率,权数越大则该主成分越能反映原数据的信息.

3 实验仿真与分析

3.1 遥感视频数据

本文采用的数据集来源于“吉林一号”遥感卫星采集的真实飞机飞行视频数据. 数据集共含有4段视频. 视频一数据拍摄于突尼斯, 视频二和视频三均拍摄于美国明尼阿波利斯, 视频四拍摄于巴林穆哈拉格. 视频长度均在25～30 s之间, 速度为25 f·s-1, 一帧图像像素大小为4 096×2 304,视频总帧数为750. 其中视频场景如图2所示.

实验仿真环境为MATLAB R2017b,通过MATLAB编程语言对算法性能进行详尽论证.实验操作平台为Inter(R) Core(TM) i5-6500处理器,主频为3.20 GHz,内存为32.0 GB,系统类型为64位操作系统.

3.2 前期Faster R-CNN训练实验

在跟踪算法实验之前,需要先进行Faster R-CNN算法的训练实验,训练得到一个检测效果良好的网络才能满足本文对检测部分的要求.在本部分实验中,训练数据集来源于从GoogleEarth截取的历史影像,实验数据集采用540张遥感飞机图像,图像分辨率为460×340.在开始训练网络之前需要人工对数据集中的图像制作标签.

在训练网络时, 需要针对数据集的特点, 以及测试结果不断调整实验参数, 最终本文训练Faster R-CNN网络采用的实验参数如表1所示.

采用上述实验参数训练网络,得到的检测准确率可达88.9%.用训练好的网络测试本文所用视频数据的结果如图3所示.

图3FasterR-CNN算法检测视频三结果

Fig.3ResultsofvideothreedetectedbyFasterR-CNNalgorithm

3.3 跟踪实验结果

在本文中,变化检测部分是对视频图像进行帧间差分从而找到视频中运动着的目标,然后对运动目标附近的区域进行小范围图像截取.为了找到视频中的运动目标,本文设定利用视频第1帧和第10帧图像做帧间差分,然后将差分图像转换为二值图像,阈值T设为25.另外,由于本实验采用的视频数据左上角有汉字logo,所以需要将汉字logo区域的值均设为0.由于得到的二值图像可能存在较多噪声,所以需要对二值图像再进行一次处理,只保留联通区域较大的部分,本实验中此处阈值设为150.通过上述一系列操作,可得存在潜在运动目标的二值图像,实验结果如图4所示.

图4 视频三变化检测处理后结果Fig.4 Change detection processing results of video three(a)—第1帧图像; (b)—第10帧图像; (c)—差分图像.

由变化检测得到飞机运动的起始局部区域,然后在该区域内利用Faster R-CNN算法进行检测,得到飞机的初始位置,再将局部区域中飞机的坐标值映射到原本的遥感视频图像中,CN算法根据该初始坐标值作为运动目标在第1帧中的位置进行跟踪.视频一实验结果如图5所示.

由上述实验结果可以看出,本文所提出的方法从视频第1帧开始直到视频最后1帧都能完整地跟踪目标运动过程,在跟踪过程中并未出现跟踪不上或者跟踪目标丢失的问题.可以看出本文方法在真实遥感视频数据上具有良好的效果.

为了验证本文所提方法的有效性,实验采用中心位置误差(center location error, CLE)、距离精度(distance precision, DP)和速度(speed)这3个指标作为评价指标来对跟踪效果进行评估.其中,中心位置误差为跟踪到的目标中心位置与标准目标中心位置之间的欧氏距离,单位为像素,具体计算公式为

距离精度DP为中心位置误差小于某一阈值的帧数占视频总帧数的百分比,DP的值越大,表明符合条件的帧数越多,跟踪效果越好,该阈值设为20.speed是算法运行的速度,是视频总帧数与运行时间的比值.speed的值越大,表明算法运行速度越快,性能越好.实验测试视频的结果可如表2所示.

图5 视频三实验结果Fig.5 Experimental results of video three

图6 视频二第40帧、70帧和130帧实验结果Fig.6 Experimental results of the 40th, 70th, and 130th frame of video two(a)—未使用本文方法; (b)—使用本文方法.

表2 实验结果Table 2 Experimental results

为防止出现CN跟踪算法存在的目标跟丢无法找回的情况,本文提出每隔一定帧间隔做一次检测的办法.当目标脱离跟踪框时,跟踪框停留在跟丢的位置,但是目标仍在运动,所以要想跟踪框能够重新跟踪上目标,必须要更新跟踪框的位置.因此,本文采取的做法是从视频第一帧开始每隔一定帧做一次检测,然后将检测得到的目标坐标重新赋值给跟踪框,这样能够保证跟踪框及时获取目标的最新位置,即便出现跟丢的情况也能通过检测重新找回目标.

本实验中设置的循环检测的帧间隔数为50帧,即每隔50帧做一次循环检测.该值可依据实际情况进行调整.实验结果如图6所示.

在图6a中,视频的第40帧时,目标飞机已经开始脱离跟踪框,若不做任何处理,视频的第70帧和第130帧都无法准确地跟踪运动飞机,意味着目标飞机从第40帧开始已经跟丢.但是运用了本文提出的循环检测方法之后,在第50帧进行了一次检测,飞机的最新位置已被获取并重新赋值给跟踪算法,在第70帧时跟踪框已经找到目标并进行准确地跟踪.实验验证了本文所提出方法的有效性,在一定程度上也提高了算法的鲁棒性.

4 结 论

由于遥感卫星视频的特殊性导致传统的目标跟踪算法难以运用到遥感卫星视频上,本文所提出的利用变化检测得到运动目标的潜在区域,再利用目标检测算法与目标跟踪算法相结合的方式,在真实遥感视频数据上具有优异的表现力.并且,本文针对CN跟踪算法存在的一旦丢失目标就无法重新找回的问题提出利用每隔一定帧间隔重新做一次循环检测的方法,很好地解决了该问题.

但是,本文所提出的方法也存在一定的缺陷.由于CN跟踪算法是单目标跟踪算法,无法进行多个目标的跟踪,要想对多目标进行跟踪,仍需对CN跟踪算法进行扩展.所以,该方法仍有待改进.