基于ORB特征点匹配的相关滤波器车辆跟踪算法

严晓波 王林 杨盛毅 张乾

摘要 为了解决KCF核相关滤波器跟踪算法在无人机航拍视频中车辆漂移、遮挡及尺度变化不能继续跟踪的问题，本文提出跟踪过程中将预测位置、检测位置分别与学习模型计算相似度和重叠率，与两者组成权重来更新学习模型以解决形变问题;二是使用检测器对车辆图像与学习模型进行ORB特征点匹配，当车辆被遮挡后重新出现时能继续跟踪。实验结果表明，本文提出跟踪算法在车辆遮挡、姿态变化和位移过大时，均能有效跟踪目标车辆，且具有良好的鲁棒性。

【关键词】KCF算法 相关滤波 车辆跟踪 车辆检测 特征匹配 模式識别

科技进步推动了交通运输行业的变革，随着国内汽车数量逐年上升，交通拥堵、交通事故以及非法车辆逃逸等问题给交通管理部门带来巨大的压力。无人机技术的出现及广泛应用，为交通管理部门提供了一种灵活机动且实时性高的执法工具，为解决监控摄像机未能覆盖的道路死角、长时间跟踪指定车辆等问题提供了一种新的解决途径。因此，本文主要研究无人机对运动车辆的视觉检测与跟踪问题。

检测与跟踪方法由于外在环境的影响（如光照变化、阴雨天气、外物遮挡等因素）使得一种算法难以适用于所有场景。近年来，出现了许多新颖的目标跟踪算法，主要分为四类：基于点的跟踪、基于核的跟踪、基于轮廓的跟踪以及深度学习跟踪算法。其中，基于点的跟踪方面，2010年Zdenek Kalal等[2]人提出了较有影响力的TLD算法，该算法由跟踪、学习、检测及综合4个模块构成。而相关滤波器是跟踪算法中最为基础的部分，最早将相关滤波用于目标跟踪的MOSSE算法，通过图像的灰度特征进行卷积滤波，提出峰值旁瓣比（PSR），用来判断目标是否被遮挡或者跟踪失败。2012年Henriques提出CSK跟踪算法，在MOSSE的基础上引入循环矩阵和核的概念，针对传统算法中稀疏采样造成样本冗余问题提出了解决方案。2014年又提出KCF跟踪算法，将图像多通道的HOG特征与岭回归、傅里叶变换、循环矩阵以及多种高斯核函数等技术融合。Martin Danelljan等[6]提出CN算法，先将RGB色彩控制转化到CN空间（11通道），分别对每个通道进行傅里叶变换，再通过PCA将11维降到2维。DSST算法[7]提出使用33种不同尺度相关滤波器，通过相关滤波器找到相关值最大的点对应的图像作为目标，跟踪效果精度较高，但计算时间相对较长。Yang Li和Jianke Zhu [8]提出SAMF算法CN特征和HOG特征串联，加入7种尺度估计，取最大值的点对应的图像即是位置最佳目标位置。从VOT2016标准数据库竞赛中可以看出排名靠前的基本是深度学习跟踪算法，虽然解决了相关滤波算法存在的问题，提高了精度，但却是以损失速度为代价的，尚不能在实际嵌入式场景中应用。

综上所述，本文在KCF跟踪算法的基础上，使用检测、预测与模型的相似度和重叠率，修正当前帧的位置框，实现对移动车辆的有效检测与跟踪。最后，使用实际无人机拍摄视频，将改进算法与KCF算法进行对比，验证所提出算法的有效性。

1 传统KCF跟踪方法分析

KCF跟踪器是将真实目标区域通过傅里叶变化进行循环移位操作，在目标周围构造不同的分类器训练样本，通过核函数来计算候选区域与目标的相似程度，选取相似度最高的区域作为预测下一帧的目标位置。同时，循环矩阵在傅里叶空间可对角化的性质将矩阵的运算转化为向量的点乘，降低运算量提高运算速度，使算法满足实时性要求。

1.1 训练样本的产生

2 改进的跟踪算法

KCF算法理论上属于一种密度集抽样检测，利用循环位移产生大量训练样本，同时利用离散傅里叶变换将复杂的卷积计算转化为简单的频域相乘，提升了算法整个跟踪过程的性能。但是KCF算法依赖循环矩阵，对于尺度变换的车辆跟踪效果并不理想，初始化的矩阵不能够根据实际车辆位置自适应改变大小，难以处理相邻两帧车辆位移过大的问题。这些问题都会产生分类器模型的误差累计，最终导致跟踪车辆漂移。为此，本文引入车辆检测器方法，将检测到的车辆位置和KCF预测的车辆位置分别与学习模型作ORB特征[9]匹配，以及计算位置框的重叠率来修正当前车辆位置框，如图l所示。

2.1 特征点匹配

为满足车辆跟踪实时性的要求，本文采用ORB特征点作为匹配对象，因为ORB特征结合了FAST[10]和BRIEF[11]的速度优点且作了相应改进，采用二进制对256bit描述子τ（P;x，y）进行存储且用汉明距离完成特征匹配，所以本文采用ORB算法对学习模型、预测位置以及检测位置的图片块进行特征提取。

2.2 学习模型更新算法

其中T为特征匹配的数量阈值，经验值为50，n为跟踪漂移后检测到的车辆数量。当B=O时停止更新学习模型，其中第一种情形是检测位置具有高可信度则更新模型，如果不满足第一种情形进入第二种情形，跟踪器的具有良好的跟踪效果更新模型，第三种情形是在跟踪器发生漂移后，当检测器检测到与学习模型具有匹配关系，且具有高可信度时继续跟踪，否则停止更新学习模型。

3 实验与分析

本实验硬件环境：CPU Intel Core i7-7700HQ，主频2.8GHz， 内存16GB，VisualStudio作为程序开发平台，实验数据为驾校科目二练车的两段航拍视频（Driving Schooll.avi和Driving Scho012.avi）以及VOT2016数据库中无人机航拍车辆跟踪遮挡的视频（tcCarchasing_cel.avi）。

3.1 系统界面

为了增强程序的人机交互体验，采用MFC编写窗口界面。系统将视频第一帧检测的车辆位置直接初始化跟踪器，根据选择的车辆跟踪模式进行单辆车跟踪或多辆车同时跟踪。

3.2 改进算法实验

从图2可以看出，在视频2第125帧时，车辆为发生较大的尺度变化，两个跟踪框没有太大区别;视频2第1330帧时，因拍摄距离和角度变化，传统KCF算法跟踪框不能随着目标车辆发生改变，改进的跟踪方法正常框住目标车辆;在视频2第2161帧时，传统KCF跟踪算法发生漂移，而改进的跟踪算法依旧能较好的对车辆进行跟踪。

如圖3所示，现在VOT2016数据库视频中遮挡情形的跟踪对比，在140帧数时车辆被桥梁遮挡，而改进的方法在173帧时正确跟踪到目标车辆，传统KCF未能跟踪正确，通过对比可以看出我们提出的改进方法在处理车辆发生遮挡情况下取得了良好的跟踪效果。

4 结论

本文在处理航拍视频中车辆发生的姿态变化时，针对传统KCF跟踪算法进行了相应地改进。首先将检测位置和预测位置分别与学习模型进行ORB特征点匹配，计算相应位置的重叠率，给出学习模型的更新机制并修正跟踪位置。最后，实验结果表明，所提出的算法在车辆姿态发生各类变化时具有较好的跟踪效果。

参考文献

[1]胡见莲，无人机技术应用新方向及向往[J].中国设备工程，2017 （02）：139-140.

[2] Kalal Z，Mikolajczyk K，Matas J.Tracking-Learning-Detection.[J]. IEEE Transactions onPattern Analysis & MachineIntelligence， 2012， 34 （07）： 1409.

[3] Bolme D S，Beveridge J R，Draper BA， et al. Visual object trackingusing adaptive correlation filters[J].2010，119 （05）： 2544-2550.

[4]Rui C，Martins P，Batista J.Exploitingthe circulant structure of tracking-by-detection with kernels [C].European Conference on ComputerVision. Springer， Berlin， Heidelberg，2012： 702-715.

[5] Henriques J F， Rui C， Martins P， etal. High-Speed Tracking withKernelized Correlation Filters [J].IEEE Transactions on PatternAnalysis & Machine Intelligence，2015，37（03）：583-596.

[6]Danelljan M，Khan F S，Felsberg M，etal. Adaptive Color Attributes forReal-Time Visual Tracking [C]. IEEEConference on Computer Vision andPattern Recognition. IEEE ComputerSociety，2014：1090-1097.

[7]Danelljan M，Khan F S，Felsberg M，etal. Adaptive Color Attributes forReal-Time Visual Tracking [C]. IEEEConference on Computer Vision andPat tern Recognition. IEEE ComputerSociety， 2014：1090-1097.

[8]Danelljan M，Hager G，Khan F S，et al.Accurate Scale Estimation for RobustVisual Tracking [C]. British MachineVision Conference. 2014： 65. 1-65. 11.

[9] Rublee E， Rabaud V， Konolige K， etal. ORB： An efficient alternative toSIFT or SURF [C]. IEEE InternationalConference on Computer Vision.IEEE， 2012： 2564-2571.

[lO]Li H，Manjunath B S，Mitra SK. A contour-based approach tomultisensor image registration[J].IEEE Transactions on ImageProcessing A Publication ofthe IEEE Signal ProcessingSociety，1995，4 （03）： 320-34.

[11] Calonder M， Lepetit V， Strecha C， etal. BRIEF： binary robust independentelementary features [C] . EuropeanConference on Computer Vision.Springer-Verlag， 2010： 778-792.

[12] Lowe D G. Object Recognition fromLocal Scale-Invariant Features [M].Object recognition from local scale-invariant features. IEEE， 1999： 115 0-1157 vol. 2.

[13]Tuytelaars T.SURF：Speeded Up RobustFeatures. [J].Computer Vision & Image Unders tanding， 2006， 110 （03） ： 404-417.