基于通道可靠性的时空正则项目标跟踪算法

孙梦宇 王 鹏 安 庆 闫芬婷

(西安工业大学电子信息工程学院 陕西 西安710021)

0 引 言

视觉目标跟踪是计算机视觉领域中颇具挑战性的一项课题，其主要目的是估计目标在整个视频序列中位置及尺度信息。随着现代化的发展，视觉目标跟踪有着广泛的应用范围，如人机交互[1]、视频监控[2]、机器人技术[3]、医疗诊断技术[4]等。但目标在运动过程中可能会存在光照变化、形体变化、遮挡等问题，给实现精确的目标跟踪带来了较大的挑战。

近年来，相关滤波算法由于其精度高与运算速率快的特点成为了目标跟踪领域的热门研究方向。2010年，Bolme等[5]提出了最小化平方误差滤波器(Minimum Output Sum of Squared Error filter, MOSSE)，首次将相关运算引入至视觉目标跟踪领域，并展现了其强大的速度优势；2014年，Li等[6]提出了多特征尺度自适应滤波器(Scale Adaptive Multiple Feature, SAMF)，首次将梯度直方图(Histogram of Oriented Gradient, HOG)和颜色属性(Color Name, CN)两种特征融合，并根据尺度池提取多尺度样本，同时求解了目标位置与尺度估计；2015年，Danelljan等[7]提出了空间正则项相关滤波器(Spatially regularized Discriminative Correlation Filter,SRDCF)，在模型训练时加入空间正则项以解决边界效应问题，提高了算法的跟踪精度；2017年，Galoogahi等[8]提出了背景感知的相关滤波算法(Background-Aware Correlation Filter, BACF)，在较大的图像块中学习滤波器，并使用二值矩阵将滤波器裁减至目标大小，解决了边界效应，提升了算法的跟踪准确率；2018年，Li等[9]提出了时空正则项的相关滤波算法(Spatial-Temporal Regularized Correlation Filer, STRCF)，在SRDCF的基础上加入了时间正则项，保持了模型在时间上的连续性，进一步提升了算法的跟踪成功率。

由于STRCF仅利用了本帧样本对模型进行训练，如目标被大面积遮挡时样本会被污染，使得模型漂移，无法准确跟踪目标，并且STRCF采用多尺度样本对目标的位置及尺度同时进行估计，不能保证位置与尺度求解同时达到最优。为解决上述问题，本文采用通道可靠性对不同特征通道的响应图进行评估，提高模型对目标的表达能力，从而进一步利用时间正则项提高目标完全遮挡后重新跟踪的成功率；单独训练离散尺度滤波器，在目标估计位置处提取多尺度样本对尺度滤波器进行训练，提高跟踪精度。

1 基于时空正则项的相关滤波算法

假设在当前帧图像的目标处提取的样本为ft，y为理想的目标响应函数，即标签函数，则滤波器h的求解模型为：

(1)

由于式(1)没有闭合解，因此采用交替方向乘子法进行求解，令h=g，并引入拉格朗日算子s将式(1)改写为：

(2)

式中:γ为惩罚系数。将其分解为三个子问题进行迭代求解：

(3)

式中:*i表示第i次迭代。将式(3)进行快速傅里叶变换(FFT)转换至频域，由于三个子问题均具有闭合解，因此可以直接进行有效的求解。

(4)

将全部特征通道的响应图进行累加：

(5)

通过寻找响应图L中的最大值位置将其作为目标估计位置。

2 算法设计

2.1 算法流程

本文基于STRCF提出基于通道可靠性的时空正则项相关滤波算法(CRSTRCF)。通过考虑干扰目标的影响，加入通道可靠性权重，降低干扰目标特征所在特征通道的权重，使得目标特征更为突出，提高跟踪精度，并训练尺度滤波器进行目标精确的尺度估计。

算法流程如下：

(1)提取HOG与CN两种特征，通过式(3)求解滤波器；

(2)利用式(4)计算各通道响应图，并计算次主峰与主峰比(The Ratio between the Second and First Main Peak, RSFMP)[10]；

(3)将RSFMP与各通道的响应图相乘并进行累加，以此求解目标估计位置；

(4)通过训练尺度滤波器实现目标的尺度估计。

2.2 加入通道可靠性系数的位置滤波

STRCF中采用了HOG与CN两种特征，共42维特征通道，但并不是所有通道中的特征均能够准确反映目标。以CN为例，10维的颜色属性可视化结果如图1所示。

图1 原始图像与颜色属性可视化结果

可以看出，颜色属性中很多颜色并没有真实地反映目标，包含了过多的背景信息或其余目标，在计算响应图时若将全部特征通道等权重相加则会对目标定位精度带来影响。因此本文通过对不同通道的响应图进行可靠性测试，计算通道可靠性系数，并作为各个特征通道响应图的权重与其对应的响应图相乘，以此降低干扰目标特征所在的特征通道的响应值，提高跟踪精度。

由于不同可靠性评价指标对不同模型评价效果有差异，因此本文选取3个可靠性评价指数对STRCF进行评价，分别是响应最大值、峰值旁瓣值和次主峰与主峰比，通过在OTB50中选取了20个视频序列进行测试，测试结果如图2所示。

(a)精度曲线

图2中：CRSTRCF1为三种指标相乘作为可靠性系数；CRSTRCF2为峰值旁瓣值作为可靠性系数；CRSTRCF3为次主峰与主峰比作为可靠性系数；CRSTRCF4为响应最大值作为可靠性系数。可以看出，次主峰与主峰比更能准确评估STRCF的模型，并且将不同指标相乘的方式并未能提高算法跟踪性能。因此本文将次主峰与主峰比作为可靠性系数，其计算公式如下：

(6)

式中:Lpeak1表示主峰峰值；Lpeak2表示次峰峰值。RSFMP反映了主目标在响应图中的突出性。

在计算各通道的RSFMP后进行归一化处理：

(7)

将wd作为各个特征通道的权重，分别与其对应特征通道的响应图相乘，得到可靠性响应图：

Sd=wd·Ld

(8)

式中：Sd为d通道的可靠性响应图。将全部通道的可靠性响应图累加得到最终的响应图：

(9)

寻找响应最大值位置，将其作为目标估计位置。

以Girl2序列为例，本文对比加入可靠性系数的响应图与未加入可靠性系数的响应图可视化结果图，如图3-图5所示。

(a)未加入可靠性系数

(a)未加入可靠性系数

(a)STRCF

图3中，第2帧目标未受遮挡、背景干扰等影响，可以看出两者相差不大，但未加入可靠性系数的响应图最大值为0.174 4，而加入了可靠性系数的响应图最大值为0.175 5，响应图最大值增大，可见加入可靠性使得跟踪目标在响应图中更加突出。

在跟踪目标发生遮挡后，本文算法可以重新跟踪目标。可以看出加入可靠性系数后，跟踪目标在响应图中更加突出，通过时间正则项的作用，保持模型在时间上的连续性，使得本文算法能够在目标短时完全遮挡后重新跟踪目标，而STRCF无法重新跟踪。

2.3 尺度滤波器设计

本文采用单独训练尺度滤波器对跟踪目标进行尺度估计。设H为尺度滤波器，在目标估计位置处提取不同尺度的图像块，并提取HOG特征作为样本fscale，滤波器求解如下：

(10)

式中:Y为尺度滤波样本标签函数。

尺度估计方式与位置滤波相同，计算不同尺度对应的尺度响应值，响应值中最大值对应的尺度即为目标估计尺度，响应图计算如下：

(11)

(12)

式中:ρ为尺度滤波学习参数；D表示尺度数目，本文设置D=33。参数更新方式同样采用考虑历史帧参数的方式，以此增强尺度滤波器的鲁棒性。

3 实验与分析

本文算法在Window 10 操作系统、Intel(R)Core(TM)CPU i7-8700 CPU @ 3.2 GHz电脑上采用MATLAB 2018a软件进行仿真实验。为了更好地展示本文算法的性能，选择了SAMF、SRDCF、STRCF 3个算法进行对比实验，本文在OTB100的数据集进行测试，为进一步分析算法在遮挡及旋转时的性能在数据集中选择了5个带有遮挡及旋转属性的视频序列进行定性、定量分析，所选视频序列如表1所示。

表1 视频序列属性表

3.1 定性分析

4种算法在5个视频序列下的运行结果如图6所示。

(a)Basketball序列

在Basketball序列中，所有算法均可跟踪目标，但在17帧时，目标出现了大面积的遮挡，仅有CRSTRCF与SRDCF能够准确估计目标位置；在27帧遮挡物离去后SAMF并没有能够实现目标的准确定位；在94帧，目标转身时STRCF算法跟踪尺度估计错误，且在后续视频中未能够恢复；在677帧，SRDCF位置及尺度估计偏差。

在DragonBaby序列中，在48帧时目标出现了遮挡且伴随着旋转，仅有CRSTRCF以及SRDCF能够成功跟踪目标，但CRSTRCF尺度估计更为准确；61帧目标位移较大且有旋转时，依然仅有CRSTRCF以及SRDCF能够成功跟踪目标；在87帧目标快速移动且位移较大，SRDCF跟踪失败，且未在后续视频序列中重新跟踪目标。

在Football序列中，目标发生较小的旋转时所有算法均能跟踪目标，在340帧时目标周围出现相似物体，SAMF跟踪失败；在362帧时目标被相似物体遮挡后重新出现，但仅有CRSTRCF与SRDCF跟踪成功。

在Kitesurf序列中，在34帧时由于目标出现了旋转与小幅度遮挡，SRDCF跟踪出现了偏差；在40帧目标头部在被大幅度遮挡后，仅有CRSTRCF能够重新跟踪目标，且其余算法在后续视频序列中未能够重新跟踪目标。

在Panda序列中，在174帧时目标发生形变与小幅度旋转，SRDCF跟踪失败；在434帧目标旋转幅度较大，SAMF跟踪出现偏差，且在后续视频中跟踪失败，未能重新跟踪目标；在642帧时目标旋转较多次数后STRCF仅能够跟踪目标前半部分身体，在后续序列中目标再次旋转时跟踪失败，而CRSTRCF能够在整个视频序列中跟踪目标。

CRSTRCF由于加入了通道可靠性系数，使得跟踪的目标在响应图中更为突出，提高了跟踪结果的准确性；通过时间正则项保持了模型在时间上的连续性，使得模型在目标出现大面积遮挡后能够重新跟踪目标；通过单独训练尺度滤波器，解决了目标估计位置与估计尺度无法同时最优的问题，在目标发生旋转时能够估计目标尺度且准确跟踪目标。

3.2 定量分析

本文在OTB100数据集上进行测试，结果如图7所示。

(a)精度曲线

曲线值越高表示算法性能越好，可以看到本文算法在成功率曲线与精度曲线中均是最好的。

为对比算法在遮挡及旋转时的表现，本文选取了中心位置误差以及重叠率两个指标评价4种算法在所选取的5个视频序列中的跟踪结果。

(1)中心位置误差[11]。其计算公式如下：

(13)

式中:O表示由算法计算的目标中心位置；Ot为数据集人工标定的目标实际中心位置。中心位置误差单位为像素，表示两个中心点之间像素点的个数,中心位置误差越小表示算法越好。计算结果如图8所示。

(a)Basketball序列

可以看出，CRSTRCF的中心位置误差变化较为平稳，且误差最低，在目标发生遮挡或旋转时误差变化较小。为作进一步对比，本文计算不同序列下的4种算法的平均中心位置误差，如表2所示。

表2 平均中心位置误差对比表

可以看出，CRSTRCF在5个测试视频序列下的平均中心位置误差均是最小的，较STRCF平均提升了21.74个像素。由于CRSTRCF加入了通道可靠性作为各通道响应图的权重，更加突出了跟踪目标，降低了遮挡物等影响，且通过时间正则项，使得本帧模型与上一帧模型尽可能一致，能够在被遮挡物大面积遮挡或短时完全遮挡后及时重新跟踪目标。

(2)重叠率[11]。其计算公式如下：

(14)

(a)Basketball序列

可以看出，CRSTRCF的重叠率曲线在大部分时刻均高于其余算法，为作进一步对比，本文计算不同序列下的4种算法的平均重叠率，如表3所示。

表3 平均重叠率对比表

可以看出，CRSTRCF的平均重叠率在5个测试视频序列下均为最高的，仅在Football序列与STRCF平均重叠率相近，提高了1%，这是因为Football序列目标均是小幅度旋转，遮挡时间较短且为部分遮挡，仅在最后几帧目标被相似物体遮挡后STRCF模型漂移跟踪错误，因此提升较小。在5个测试视频序列下平均重叠率提高22.8%。CRSTRCF通过单独训练尺度滤波器进行尺度估计，避免了同时做位置求解与尺度估计无法同时满足最优的问题，且在通道可靠性与时间正则项的作用下提高目标定位精度，提供更为准确的多尺度目标模板，进一步提高尺度估计精度。

4 结 语

为提高STRCF的跟踪精度及成功率，本文提出基于通道可靠性的时空正则项相关滤波目标跟踪算法(CRSTRCF)。通过时空正则项保持本帧模型与上一帧模型尽可能相似，在一定程度上解决目标遮挡问题；在计算各特征通道响应图时，RSFMP作为通道可靠性，与各通道响应图相乘，在最终响应图中更加突出跟踪目标，提升目标跟踪精度，进一步解决目标遮挡问题；训练尺度滤波进行尺度估计，提高跟踪成功率。实验结果表明，本文算法在目标发生部分遮挡、多次大幅度旋转时定位精度较高，在目标短时完全遮挡重新出现后能够重新跟踪目标。