目标视频跟踪方法

文/王冉

目标跟踪用于连续的视频序列，根据已有目标的位置，在后续帧中计算出最佳匹配位置，获得目标的位置、大小等信息，将每帧获得的关键点连接起来，形成目标的运动轨迹。视频跟踪依赖于目标检测，必须先定位目标位置，才能进行目标跟踪。多数情况下目标跟踪的第一帧由人工指定，也有通过目标检测进行全自动跟踪。在多年的目标跟踪的研究中，技术已经取得了较大的进步，但是由于目标物所处的环境因素等多种情况会影响跟踪的准确性。如何解决在各种环境下都能保持良好的鲁棒性，精准快速实时地处理码率高的视频序列也是当下亟需解决的问题。对于视频跟踪的干扰有以下来源：

（1）复杂背景干扰：被跟踪的目标往往出现在复杂的环境中，从而目标物容易受到不同背景的干扰。例如背景与目标物的颜色，很容易造成跟踪器误判，丢失真正的目标。或者图像中出现与目标相似的物体，跟踪器极有可能偏离真正想要跟踪的目标

（2）目标的外观变化：视频的拍摄往往不能控制的很好，视频序列的每一帧都会出现光照亮度变化，目标的形变和拍摄角度的改变，拍摄过程中突然失焦导致目标物边缘模糊。想要保证视频跟踪的鲁棒性，就必须考虑到所有会出现的问题，合理的解决这些问题。

（3）目标遮挡问题：目标物体在被跟踪的过程中，很容易被外界的干扰物造成部分遮挡或者全部遮挡。目标被部分遮挡时，目标的部分特征与先前获取的信息不能完全匹配，只有局部信息可以用来继续跟踪，很容易造成不精确。目标被全部遮挡时，目标特征会暂时性的消失，跟踪器能否快速的发现先前跟踪的目标也是一个难题。根据目标的特征，可以将视频跟踪分为三类：基于区域的跟踪算法；基于轮廓的跟踪算法；基于已有的视频跟踪滤波算法如卡尔曼滤波器，粒子滤波器等，本文不再进行介绍。本文主要概述新近提出的基于深度学习的目标跟踪方法与多任务粒子滤波法。

1 基于深度学习的跟踪算法

深度学习是人工智能发展的又一个方向，许多之前机器学习领域的问题与难点逐步得到了解决，训练效率与学习准确率都得到了质的提升。深度学习中的卷积神经网络和对抗神经网络已经广泛应用于图像处理和图像预测，在视频处理领域，深度学习也将大展拳脚。

深度学习的算法在图像识别分类任务中取得了突破性的进展和广泛的应用。将深度学习引入视频频跟踪，为研究开辟了新的途径。深度学习拥有多层的深层结构，可以从大量数据中主动学习目标特征，避免了传统方法人工提取特征，大大减少人工长时间工作的疲劳。传统方法在视频追踪中，通过生成矩阵，循环采样逼近采样方案。传统的视觉跟踪算法难以很好地解决复杂背景中的跟踪问题，如光线变化、目标尺寸和姿态变化或目标被遮挡等。深度学习满足了提高性能的要求，然而，基于深度学习的视觉跟踪算法并不像分类、识别和检测那样容易成功。在跟踪时，只对初始帧进行目标标注，在后续的视频序列中根据学到的特征进行目标定位，但是仍然会因为在后续帧中目标的变形、场景变化、遮挡等因素容易产生跟踪偏移，导致目标丢失。即使如此，有关学者依然相继提出了基于深度学习的视觉跟踪算。接下来介绍两种基于深度学习的跟踪算法：

GOTURN（Generic Object Tracking Using Regression Networks），即基于深度回归网络做目标跟踪。GOTURN的优势在于跟踪未出现过的目标，对特定类别样例的跟踪效果更好，能够实现100FPS的高速度的帧率，不需要对目标进行分类，而是对物体的边缘进行回归，获得更高的帧率。

算法的主要步骤是：以前一帧的目标区域为中心扩展，扩展的原因是为了接受一些背景信息，并描绘出来。也就是说：在第t-1帧，追踪器预测的边缘位置为c=(cx, cy)，宽和高分别为w,h，追踪框的大小为k1w, k1h, k1决定接受多少背景信息。

对于当前帧第t帧，基于上一帧的位置，找到待搜寻目标的区域，网络的目的就是要回归目标在当前搜寻域中位置。这里设置搜寻域的中心坐标为c'=(c'x, c'y )=c，和前一帧框出来的区域是一样的，搜寻域的大小为k2w, k2h，w,h，是第t-1帧边缘的大小，在其论文中设置k1=k2=2，对于快速移动的目标，k1=k2就需要增大了。在当前帧和前一帧分别描绘出区域后，送入网络进行特征提取，这些提取的特征级联并输入全连接层，全连接层的作用是为了比较前一帧审定的目标物的特征和当前帧的特征，以找到目标物的位置。全连接层学习到的是一个复杂的特征比较函数，输出目标的相对运动。随后全连接层的输出被连接到一个4节点的层，表示边缘框两个角的坐标，输出目标物的位置。

2 多任务相关粒子滤波器（MCPF）

（1）多任务相关粒子滤波器利用特征之间的相互依赖性，联合推导相关滤波器，使学习滤波器相互补充、增强，得到一致的响应。

（2）通过部分表示来处理局部遮挡，并通过空间约束来处理局部间的关系，以保持对象结构，共同学习相关滤波器。

（3）通过提取不同大小尺度的粒子用于目标状态估计，通过采样方案有效地处理大规模变化。

（4）它通过多任务关联滤波器将采样的粒子引导到目标状态分布的模式，并且使用比传统粒子滤波器更少的粒子来有效地覆盖目标状态，从而产生鲁棒的跟踪性能和低的计算成本。

多任务相关粒子滤波器基于贝叶斯序列重要性抽样算法，该算法使用有限组加权样本递归地逼近后验分布，以估计状态变量的后验分布。设st、yt分别表示时间t上的对象的状态变量及其观测值。后验密度函数p=(st|y1:t-1)可以在两个时刻递归地获得，即预测和更新。在时间t-1预测阶段使用概率系统过渡模型p(st|st-1)来预测给定所有可用观测值y1:t-1={y1,y2,…,yt-1}的后验分布，并通过递归计算得到：

其中p=(st-1|y1:t-1)已知时间t-1，p(st|st-1)是预测的准确性。当观测值yt已知，状态由下面这个公式预测：

在多任务相关粒子滤波器中，假设连续帧之间是一个仿射运动模型。因此，状态变量st由六个参数（2D线性变换和2D平移）组成。由于二维线性变换的粒子实在多个维度上绘制的，因此该模型可以处理尺度变化。对前一个目标状态周围的粒子进行采样，以预测目标在时间t处的状态st，从中我们裁剪当前图像中的对应区域yt，并将其归一化到相同大小。用对角高斯分布仿射运动模型对状态转移函数p(st|st-1)进行建模。观测模型p(yt|st)反映了与状态st对应的观测图像区域yt之间的相似性。

多任务相关粒子滤波器包括五个主要步骤。

（1）利用过渡模型p(st|st-1)绘制粒子，并对其进行重新采样。

（2）将多任务相关滤波器应用于每个粒子，使其趋向于目标状态分布的模式。

（3）使用多任务相关滤波器的响应更新权重。

（4）使用计算粒子的加权平均值。

3 总结

根据目标形态和目标所处的不同背景环境选择最优算法或者融合，以达到高效精准的追踪。如何处理好目标物被遮挡、光线环境变化、目标形态变化也是视频跟踪算法必须面临和结解决的问题。现在常用于直接生产的视频跟踪算法还是以传统方法为主，对于传统方法的研究、改善的工作仍然在继续。基于深度学习的视频跟踪已经超过了传统方法的效率，但想要更加稳定仍需要研究人员再度完善。