多特征融合的次峰抑制无人机目标跟踪

吴贵山 ，林淑彬 ，杨文元

1.闽南师范大学 计算机学院，福建 漳州 363000

2.闽南师范大学 福建省粒计算及其应用重点实验室，福建 漳州 363000

1 引言

无人机目标跟踪是计算机视觉的一个热门的研究方向[1-2]，受到越来越多的关注。随着低成本小型无人机的日益普及，无人机广泛应用于军事、航拍、灾难救援、环境监测、电力巡检、人群监测等领域。在无人机的空中场景中，由于受到快速运动、摄像机抖动和视角变化等方面影响，目标跟踪仍然具有挑战性。

过去几年，基于相关滤波的改进算法取得很大的进展。2014年Henriques等人[3]在CSK[4]的基础上，拓展特征通道并引入方向梯度直方图（Histogram of Oriented Gradient，HOG）特征[5]，提出核化相关滤波器KCF，进一步完善相关滤波跟踪框架。2017年Danelljant M等人[6]在C-COT[7]基础上加入因式分解的卷积层，提出ECO算法，进一步提高跟踪精度。成悦等人[8]提出基于置信度的加权特征融合相关滤波跟踪，加入了特征融合和更新机制，提高跟踪的精度和鲁棒性。

为了适应无人机轻量化的要求，符长虹等人[9]提出基于相关滤波的无人机在线多特征学习，利用测量响应峰值强度的峰值旁瓣比来加权每个响应；提出BEVT算法[10]，通过在线增强背景学习和多帧一致性验证，解决无人机目标跟踪的边界效应问题。董美宝等人[11]提出多特征重检测的相关滤波无人机视觉跟踪，解决目标遮挡的问题。李一鸣等人[12]提出AMCF算法，通过快速压缩上下文学习方法，提高了滤波器的识别能力，在CPU上的速度超过40帧/s。

然而，在某些跟踪挑战被放大的空中场景中，包括快速移动、摄相机抖动、视角变化、偏离视线等，一些跟踪算法不能体现良好的性能。为了提高精度引入的深度学习和预训练网络，大幅牺牲了跟踪速度，使用GPU运算又不能适应无人机轻量化的要求。多特征的融合增强了算法的表达能力，但融合后的响应不可避免地含有噪声，最终导致模型漂移。

针对上述问题，提出一种基于多特征融合的次峰响应抑制无人机目标跟踪算法（Sub-peak Suppression of Multi-feature fusion in UAV object Tracking，SSMT），在融合后的响应中加入次峰抑制，解决多特征融合的噪声问题，聚合中心主峰。首先，为了解决目标和背景相似时跟踪出现漂移的问题，通过从背景中密集采样获得真实负样本，提取HOG特征。为了避免颜色的高维性导致计算开销的增加，采用降维技术提取二维颜色属性特征（Color Names，CN）。然后，融合HOG特征和CN特征，生成响应。对融合后的响应进行剪裁，减少模糊响应，减小目标响应的方差；在每一行和每一列中查找最大响应，水平和垂直方向进行最大池化并求和，将多个次峰聚合为一个中心主峰。最后，通过峰值可靠性得分判断目标是否发生遮挡等情况，引入自适应模型更新策略进一步增强算法的鲁棒性。在UAV123和VisDrone2019数据集上进行实验，与其他算法进行对比。实验结果显示在无人机的快速运动、摄像机抖动、视角变化、偏离视线等挑战场景中表现出较好的精度和鲁棒性。

2 多特征的提取和融合

主要介绍如何提取HOG特征和降维的CN特征，并将两个特征进行融合生成响应。加入模型更新机制，提高跟踪的精度和鲁棒性。

2.1 背景感知相关滤波

传统的相关滤波缺乏真正的负样本。为了训练一个能更好地区分前景目标和其移位样本的滤波器，对图像应用一个循环移位和裁剪操作。多通道背景感知相关滤波器w通过以下公式进行训练：

其中，ε(w)为样本 Bxk[Δτt]的响应与其回归目标 y(t)的平方误差和。

为了加快计算速度，在频域内进行相关运算。因此，式（1）转换到频域，得到以下方程：

其中，X̂∈CN×DN,ĝ∈CDN×1和 w∈RDM×1分别定义为表示克罗内克乘积，^表示信号的离散傅里叶变换。

背景感知相关过滤器使用HOG特性来表示对象，能很好地捕获边缘或梯度结构。但是当目标外观发生变化时，跟踪性能不够理想。因此，加入二维颜色属性特征，提高跟踪性能。

2.2 降维的颜色属性特征

高维的颜色属性导致计算效率降低，不利于在无人机等领域的应用。为了解决这一问题，采用降维技术，在保留有用信息的同时，将颜色属性特征降为二维。通过最小化代价函数，为当前帧p找到一个合适的降维映射方式：

2.3 多特征的融合

SSMT使用一种简单而有效的融合HOG特征和CN特征的跟踪策略。给定图像帧I(t)，通过测量响应的峰值强度和权重，处理后的响应图可由式（5）获得：

2.4 模型更新策略

在跟踪过程中，为了防止跟踪过程产生漂移，一个频率适中模型更新能够带来理想的跟踪结果。通过峰值可靠性得分来判断目标是否发生遮挡等情况。假设最后得到的跟踪响应图为P，判断条件如下：

通过判断当前帧的最大响应值与历史平均值之间的比例是否大于给定的阈值，s1是对峰值的检测，s2是可靠性的判断。

3 次峰抑制

为了适应无人机轻量化的要求，采用手工特征。SSMT算法利用HOG特征和CN特征各自的优点，提高跟踪性能。多特征的融合增强了算法的表达能力，但融合后的响应不可避免地含有噪声。这种噪声将产生多峰响应，次峰可能会逐渐增大，最终导致模型漂移。在多特征融合后加入次峰响应抑制，防止次峰“生长”为主峰。公式如下：

其中，P表示峰值响应池上的每个采样响应。对于像素在目标范围内但距离中心较远的区域，背景或前景都可能存在模糊特征。使用 f(g(xt);ω)剪裁特征响应图，将远离峰值响应的像素设为零，相当于丢弃目标边界处的响应。g(xt)表示边界响应裁剪后的特征，该特征减少目标响应的方差，减小边界效应。

对于局部遮挡或背景噪声目标，f(xt;ω)不一定是一个高斯分布，也可能是离散的。通过最小化目标函数，可以强制响应映射 f(xt;ω)到近似高斯先验。首先，在响应图每一行中查找最大响应，并为行中的所有像素分配最大响应值，将响应集中到水平映射中。然后，用同样的方式在每一列中查找最大响应，并为列中的所有像素分配最大响应值。响应的值可以计算为：

x̂pq=max(xp1,xp2,…,xpn)+max(x1q,x2q,…,xmq)（11）其中，x̂pq表示 p行和q列所在位置的原始响应值。对水平和垂直池化映射进行求和，以获得经过校正的响应映射。该响应映射将较大的响应值聚合到目标几何中心。经过多次学习迭代后，目标响应近似为二维高斯分布，与稳健目标跟踪的高斯先验分布吻合。

通过反复实验发现，裁剪9%～11.5%高度/宽度的响应映射，可以达到最佳的效果。最终确定裁剪10%，丢弃4%的前景信息和12%的背景信息。

4 SSMT跟踪算法

如图1，跟踪算法的框架分为三个部分。第一部分能提取HOG特征和二维的CN特征，并进行融合。第二部分对融合后的响应加入次峰抑制，去除多特征融合的噪声。首先，对响应进行剪裁，减少模糊响应，减少目标响应方差；然后，在每一行和每一列中查找最大响应，在水平和垂直方向进行最大池化并求和，将多个次峰聚合为一个中心主峰。第三部分根据峰值可靠性得分判断模型是否漂移，采用自适应更新模型策略，增强算法的精度和鲁棒性。算法步骤如下。

图1 SSMT跟踪流程图

算法 多特征融合的次峰抑制无人机目标跟踪（SSMT）

输出：跟踪序列的最大响应位置P。

（1）循环移动，裁剪中间区域作为正样本和真实负样本，提取HOG特征。

（2）使用公式（3）寻找一个映射矩阵，获得二维的CN特征。

（3）对HOG特征和二维CN特征进行融合。

（4）对融合后的响应使用公式（9）和公式（10）进行次峰抑制，将多个次峰聚合为一个中心主峰，即目标响应P。

（5）通过峰值可靠性得分判断模型是否漂移，自适应更新模型。

返回：视频系列的目标位置。

5 实验结果与分析

一些跟踪算法在OTB-2013[13]、OTB-2015[14]、VOT2016[15]、TC128[16]和ALOV300++[17]等数据集上进行测试。这些数据集包括很少的空中序列，没有严格评估跟踪器在机载场景中的精度和鲁棒性[18]。为验证所提跟踪算法SSMT的有效性，在UAV123[18]和VisDrone2019[19]两个无人机公开数据集上进行实验。所有实验都运行在CPU的计算机上。

5.1 UAV123数据集实验分析

UAV123数据集是专业级无人机捕获的123个全注释高清视频，是仅次于ALOV300++的第二大目标跟踪数据集。UAV123数据集包含常见的视觉跟踪挑战，突出无人机运动对摄像机视角变化的影响，纵横比相对于初始帧的变化明显较大。

在UAV123数据集上与ECO-HC[6]、ARCF[20]、AMCF[12]、BACF[21]、OMFL[9]、MCCT-H[22]、SAMF[23]、SRDCF[24]八 个先进跟踪算法进行对比。整体性能比较结果如图2所示，跟踪器SSMT一次通过的精度和成功率都取得很好的结果，分别为70.5%、50.4%。所选的对比算法中，主要是基于相关滤波方法改进的跟踪算法，它们各自都具有代表性。与这些方法进行比较更能验证SSMT算法的有效性。SSMT跟踪器利用HOG特征和CN特征各自的优点，并对两个特征进行融合。加入次峰抑制，有效地解决多特征融合后的噪声问题。为了减少运算开支，使用二维的CN特征，跟踪速度达到31帧/s，满足无人机的轻量化运算和实时性的要求。

为了进一步分析SSMT跟踪算法在UAV123数据集中的表现，与八个先进跟踪算法在各个属性上进行对比。图3显示SSMT跟踪算法在快速运动、摄像机抖动、视角变化、偏离视线四个属性上都取得较高的性能。这也验证了加入次峰响应抑制机制，能够很好地抑制次峰的生长，增强算法的鲁棒性。表1列出SSMT跟踪算法在另外七个属性上的比较结果，加粗为最佳，加粗下划线为第二好结果。表1显示在相似对象（SO）和纵横比变化（ARC）两个属性，取得较高的性能。在部分遮挡（POC）、光照变化（IV）、尺度变化（SV）和背景干扰（BC）属性上性能也仅次于其他跟踪算法。在低分辨率（LR）属性上表现不佳。下一步，将着重研究新的采样策略，进一步提高跟踪性能。

表1 在UAV123数据集的AUC比较结果

5.2 VisDrone2019数据集实验分析

图2 在UAV123数据集上的精度和成功率

图3 在UAV123上FM等属性的精度和成功率

VisDrone2019是朱鹏飞等人拍摄和标注的数据集，包含263个视频剪辑和10 209个图像。定义10个感兴趣的对象类别，注释来自这些类别的250万个对象实例的边界框，包括对象边界框、对象类别、遮挡、截断率等。实验挑选其中较有挑战性的35个视频序列进行测试。

在 VisDrone2019 数据集上与 ECO-HC[6]、ARCF[20]、AMCF[12]、BACF[21]、OMFL[9]、MCCT-H[22]和 Staple[25]七个先进跟踪算法进行对比。整体性能比较结果如图4所示，跟踪器SSMT在一次通过的精度和成功率都取得很好的结果，分别为81.9%、60.2%。

图4 在VisDrone2019数据集上的精度和成功率

为了进一步分析SSMT跟踪算法在VisDrone2019数据集中的表现，与七个先进跟踪算法在其他各个属性上进行对比。图5显示SSMT跟踪算法在快速运动、摄像机抖动、视角变化、偏离视线四个属性上都取得较高的精度和成功率。表2列出SSMT跟踪算法在另外七个属性上的比较结果，加粗为最佳，加粗下划线为第二好结果。表2显示在尺度变化（SV）、纵横比变化（ARC）、局部遮挡（POC）三个属性上取得较高的性能。在背景干扰（BC）和相似目标（SO）属性上的精度仅次于MCCT-H跟踪算法，但成功率高于其他算法。在光照变化（IV）属性上的表现仅次于ARCF跟踪算法，在低分辨率（LR）属性上表现不佳。

图5 在VisDrone2019上FM等属性的精度和成功率

表2 在VisDrone2019数据集上的AUC比较结果

5.3 UAV123数据集上定性比较结果

为了直观展示可视化跟踪结果，分别在UAV123数据 集 上 与 ECO-HC[6]、MCCT-H[22]、AMCF[12]、OMFL[9]、SRDCF[24]、ARCF[20]六个先进跟踪算法进行定性评估比较。如图6所示，从上到下依次是person9_1、person12_2、wakeboard5_1、car3_s和group1_4视频序列，SSMF跟踪算法都表现出较好的性能，没有出现跟踪失败的情况。这也验证了多特征融合的次峰抑制的有效性，在无人机快速运动、摄像机抖动、视角变化、偏离视线等跟踪挑战中依然表现出良好的跟踪性能。

6 结束语

本文提出了多特征融合的次峰抑制无人机目标跟踪算法SSMT。使用次峰响应抑制，有效解决了无人机快速运动、视角变化等挑战场景下多特征融合的噪声问题，提高跟踪精度和鲁棒性。然而，在低分辨率情况下，SSMT性能表现不是最好。因此，下一步将探索新的采样策略，减少有用信息的丢失，进一步提高跟踪精度和鲁棒性。

图6 在UAV123数据集上的定性比较结果