基于多特征结合的长时跟踪算法设计

曾君怀，宋亚男，徐荣华，黎安民

（广东工业大学，广东 广州 510006）

1 算法总体框架设计

图1中跟踪算法先通过You Only Look Once （YOLO）目标检测模块获得检测框，然后检测框信息作为两个分支的输入，一个分支进行基于运动特征的跟踪，另一个分支进行基于外观特征的跟踪。两个分支最终获得的数据分别用trks1和trks2表示，trks（1/2）数据格式包含视频中跟踪目标ID和位置信息，最后将以上两类信息通过验证模块进行筛选利用。基于外观特征的跟踪是在每一帧视频中对跟踪目标进行全局搜索，当目标消失再重现时，算法是能够重新检测出目标的，符合长时跟踪的需求。

图1 长时跟踪算法框架

1.1 基于运动特征跟踪模块

基于运动特征跟踪模块借鉴了SORT 跟踪算法原理，包含卡尔曼滤波（Kalman）和匈牙利算法两部分。卡尔曼滤波进行运动估计，针对当前帧得到的某一目标跟踪框位置与大小预估下一帧该目标预测框的信息，匈牙利算法则进行数据关联。SORT跟踪算法在某一帧的实现可由图2表示。

图2 SORT跟踪算法在第i帧的实现

图2表示ID为1，2的两个目标在第i帧跟踪的实现过程。实线表示第i帧的预测框，该预测框是由i-1帧图像中同一目标跟踪框通过Kalman滤波预测出来的；虚线框表示检测框，该检测框内目标身份未知，是由YOLO算法得到的。接着运用匈牙利算法，通过判断Intersection Over Union（IOU）大小进行预测框和检测框之间的两两匹配，从而使检测框获得目标身份，完成当前帧的跟踪。

1.2 基于外观特征跟踪模块

由图3可知，该模块主要是利用训练好的卷积神经网络模型进行特征提取，然后利用相似性度量函数比较跟踪模板特征与检测框内目标特征之间的相似性，以此判断检测框内目标与模板是否属于同一对象。

图3 基于外观特征目标匹配原理

1.3 验证模块

如图4所示，验证模块分情况利用运动特征或外观特征得到的结果进行跟踪，主要分为3种情况。

图4 验证模块

前两种情况是当某一目标ID只存在运动特征得到的跟踪结果或者只存在外观特征得到的跟踪结果时则直接输出该结果。这两种情况形成互补，相对于只运用外观特征的跟踪算法，跟踪变得更加流畅。

第三种情况是基于运动特征得到的结果和基于外观特征得到的结果，都存在某一目标ID但是位置信息不一致。这时本文采取的方法是，需要先判断是否连续5帧出现不一致，若是，则删除错误的跟踪框并采用trks2中的信息进行跟踪；若否，使用trks1中的信息。

图5是第三种情况发生时的一个情景序列图，每两幅图像之间隔着数帧。两个目标交错运行时，基于运动特征的跟踪在多帧之后发生跟错现象，而基于外观特征却能正常跟踪。这里出现了上述的连续5帧trks1和trks2不一致情况，这时需要矫正这个错误，则需删除错误的trks1中的跟踪框并用外观特征进行重新识别跟踪，即利用trks2中的信息。而对于上述未达到连续5帧的情况，本文认为该情况产生的原因是目标在被遮挡情况下，基于外观特征进行跟踪时容易出现部分帧跟错的现象，如图5（a），（b）中的第二幅图所示，图5（a）利用运动特征在部分遮挡情况下能继续对目标进行跟踪，而图5（b）利用外观特征在同样情况下已经跟踪失败，若周围存在相似行人，则会出现跟错现象。针对这种因遮挡产生部分帧跟错的现象，本文采用方式就是在不满足连续5帧trks1和trks2信息不一致情况下，运用trks1信息进行跟踪，即运用运动信息，这样在遮挡短期时间内跟踪会显得比较流畅。

图5 第三种情况情景序列

2 实验

2.1 数据集

实验从长时跟踪数据集VOT 2019_LT 和洛桑联邦理工学院提供的多摄像头行人视频数据集中筛选出3个具有挑战性的视频，如表1所示，其中前两个视频属于VOT2019_LT数据集，第三个属于多摄像头行人视频数据集。实验中将本文设计的算法与GlobalTrack ，SPLT 两种跟踪算法进行实验对比。以上两种算法都属于2019年提出的长时跟踪算法。论文中两种算法都在公开数据集下与其他跟踪算法进行了对比实验，都取得较好的成绩。

表1 视频序列及相关说明

2.2 评估指标

主要从速度和精度两方面对算法做评估，因此实验选用了Frames Per Second（FPS）和Accuracy两种指标，FPS评估算法速度的好坏，数值越大，代表速度越快，跟踪算法对于实时性要求较高。Accuracy衡量的是跟踪算法的准确度，它计算每一帧跟踪框与人工标注框（ground truth）之间的IOU，然后获取视频所有帧IOU的平均值就是Accuracy。

2.3 实验结果

从表2可以看出，在Skiing和Rollerman两个视频中跟踪准确率方面取得了相似成绩，而在EPFL_laboratory视频中，本文算法准确率方面处于明显优势；在速度方面，本文算法相比其他两种算法也取得较好的效果。

表2 实验结果

3 结语

通过实验比较，本文多特征结合的长时跟踪算法在处理复杂背景、频繁被遮挡这一因素挑战下，算法优势较为明显，速度方面也比较接近跟踪算法实时性要求（实时性要求30FPS）。