复杂场景中相关滤波跟踪算法的优化

李福进，刘慧慧，任红格，史 涛

（华北理工大学电气工程学院，河北 唐山 063210）

1 引言

目标跟踪技术已经成为计算机视觉领域的一个引人注目的研究课题。它在机器人、智能视频监控、视觉导航等领域有着广泛的应用。学者们对建立跟踪的数据集及评估基准［1-2］、提高定位精度［3］进行了大量研究，促进了该领域的重大发展。

相关滤波（CF）跟踪方法［4］因其高帧率和在数据集上优越的表现在最近几年中应用广泛，取得了显著的研究进展。为提高跟踪精确度，文献［5］将核空间和方向梯度直方图（HOG）集成到CF跟踪器中，简称为KCF。尺度变化可能会在训练样本中引入局部纹理或背景信息干扰跟踪，因此也有学者改进跟踪器的尺度自适应能力。文献［6］提出的尺度自适应方案（SAMF）应用广泛。文献［7］将定位与尺度估计分别进行预测，为尺度估计引入了新思路。核互相关器（KCC）［8］是非线性的相关器，它能够在保障了合理的计算成本情况下，预测任意仿射变换，为CF提供了统一解。此外，文献［9］将CF用于长期跟踪，对可信度低的目标位置进行重检测，显著提高了跟踪性能。也有学者在CF方法的采样策略［10］、特征提取方式［11-12］和提高样本质量［13］等方面做出改进，进一步提高了其应对强烈的外观变化和背景杂乱等复杂视频跟踪场景中的性能。

尽管相关滤波理论已有了很大的发展，但仍有很多问题需要解决。传统的CF在估计尺度时，需要反复计算不同尺度下的平移滤波器，导致计算量相应增加。提取的特征表征力不足同样影响着跟踪性能。此外，由于跟踪过程中小误差的积累，可能会造成更新阶段模型被损坏的问题。

针对上述问题，建立了一个跟踪框架可以分别学习平移相关滤波器和尺度相关器。该框架同时考虑到HOG与颜色直方图的互补特性，结合了多个特征来更精确地预测目标位置。再应用KCC在简化计算的同时对尺度变化进行有效的预测。此外，采用阈值来判断是否更新模型，减轻了模型漂移。实验表明，提出的跟踪算法在基准数据集（OTB-2015）上表现良好，成功率和精度分数分别为68.4%，78.1%。

2 跟踪算法设计

为了在复杂视频场景中更有效地估计目标位置及尺度变换，提高跟踪效果，本算法采用结合颜色直方图和HOG特征的跟踪框架来精确地预测目标的位置。然后，使用核尺度相关器（KSC）来预测尺度变换，避免在不同尺度上进行大量的重复计算。同时为了防止模型漂移，将采用一种保守的方式更新模型。

2.1 位置预测

考虑到在运动模糊和光照时，HOG特征可以高效地跟踪目标，同时颜色直方图应对目标的形变能实现很好地跟踪性能。因此，为了获得更好的跟踪效果，本节在CF基础上结合上述特征来预测目标的位置。

2.1.1 训练阶段

在每帧中，提取一个带有感兴趣对象的m通道特征图像块xo∈ℝn。对应于目标的期望输出g∈ℝn是一个二维高斯向量图。通过最小化目标函数得到模板：

式中：λtmpl—正则化参数；T∈ℝn×nm—特征图像块所对应的循环矩阵；模板取f∈ℝnm。得到最优模板为：

滤波器模板在频域中被高效学习：

式中：xoj—每个特征维j，l∈{1 …m}对应的特征图像块；—xoj的共轭—xoj的傅里叶变换。式（3）中分母的每一小块可表示为：

其中，由于所有块均是对角的，则这个系统可以看成n个独立的ℝm×m维小系统。因此可以在每个特征像素p∈{1 …n}上求解从而使计算简单化。

算法采用自适应地方式估计平移位置［9］。应用最可信的目标响应来训练模型参数，即为保证跟踪性能、防止模型漂移，算法采用了阈值ς，当max≥ς时，选择更新模型参数。此处模板可以简写为则当前帧f的模型参数在线更新如下：

式中：ηtmpl—模板的学习率。

另一方面，该算法同时采用特定形式的特征ϕ[v]=ek[v]，其中ei是在i处值为1，其他处值为0的向量。则在每个特征像素上的目标函数为［12］：

式中：ℳ ⊂ℤ2—目标区域；ℰ ⊂ℤ2—背景区域；h—直方图权重向量，hTϕ[v]=hk[v]；ϕ：ℋ →ℝM—M通道特征图。对于每个特征维j=1，...，M的目标函数为：

式中：Nj(C)=|{v∈C：k[v]=j}—特征图像区域内的像素数。

若ρj(C)=Nj(C)/ |C|，则第f帧的最小化目标函数为：

直方图模型参数更新方式与模板更新相同，采用阈值判断后，再使用学习率ηhist对(ℳ)和(ℰ)进行在线更新。

2.1.2 检测阶段

检测阶段时，在新帧中，从前一帧的预测区域中提取一个特征图像块z，作为测试样本。因此，可以应用滤波器来获得模板响应分数为：

直方图响应为：

最终，采用融合因子γ将上述两特征的响应图进行线性融合得到分数函数为：

因此最大响应位置即为预测的目标位置。

2.2 尺度预测

核尺度相关器（KSC）［8］可以用单次FFT来估计尺度变化，减少了传统尺度预测的计算量。因此，本跟踪算法在新帧中搜索目标位置时，先利用融合了多种特征的样本来训练平移CF，进行精确定位，再运用引入HOG特征的KSC进行尺度估计。

训练的目的是学习一个核尺度相关器f∈ℝm，使损失函数取得最小值：

给出信号z∈ℝn，由于尺度空间的非周期性结构，在跟踪过程中存在边界效应，向核向量补零可以减轻此不利影响，即：

其中，κx(z)，f∈ℝ2m，补零是可选择的。训练后的核尺度相关器为：

采用与位置估计相同的方式更新尺度模型参数，核尺度相关响应可以表示为：

2.3 算法执行

通过学习平移滤波器得到新帧中的位置信息。然后在预测的目标位置用KSC估计目标尺度。从最大尺度相关得分得到与前一帧相比的尺度变化。跟踪方法的流程图，如图1所示。

图1 提出的跟踪算法流程图Fig.1 A Brief Outline of Proposed Tracking Algorithm

3 实验

在本节中，将提出的算法在在线跟踪基准（OTB-2015）上进行了评估。在Matlab R2014a 中进行仿真，实验环境为Intel（R）Core（TM）i5-4200U CPU@1.60 GHz 2.3 GHz。

模型参数设置，如表1所示。

表1 实验参数设置Tab.1 The Parameters Setting in Our Experiments

将所提出的跟踪算法与其他三种优秀的跟踪器（KCF［5］、SAMF［6］、KCC［8］）进行比较。提出的方法在阈值为20像素情况下的距离精度（DP）和在重叠阈值为0.5 的情况下的重叠成功率（OS）相较于其他方法性能表现良好。跟踪算法在100个序列中的精度图，如图2所示。成功率图，如图3所示。所提出的算法提供了相当不错的跟踪效果，OS 得分为68.4%，DP 得分为78.1%。该方法较KCC 和SAMF 分别提高了2.6%的准确率和1%的成功率。基准数据集用11种属性描述了跟踪问题中的不同挑战。为清晰起见，11 个属性下的重叠成功率平均得分，如表2 所示。距离精度平均得分，如表3 所示。在平均精度方面，所提算法在大多属性中表现优异，仅在视野外、形变、低分辨率、遮挡情况下性能较其他算法有所降低。该算法在保持良好精度的同时还表现出了较高的成功率，尤其是尺度变化（OS 59.8%）、快速运动（OS 66.0%）、背景杂波（OS 77.9%）、运动模糊（OS 69.4%）、光照变化（OS 72.2%）、视线外（OS 58.7%）和平面内旋转（OS 68.6%）。在低分辨率、平面外旋转和遮挡的情况下，跟踪器的成功率仅次于SAMF。

图2 100个序列中的精度图Fig.2 Precision Plots over All the 100 Sequences

图3 100个序列中的成功率图Fig.3 Success Plots over All the 100 Sequences

表2 不同跟踪挑战下的平均成功率Tab.2 Average Success Rate in Different Tracking Challenges

表3 不同跟踪挑战下的平均精度Tab.3 Average Precision in Different Tracking Challenges

4 结论

为提高跟踪精度、减小传统尺度估计的计算复杂度，提出了一种在OTB-2015数据集上具有良好的跟踪效果的目标跟踪方法。为提高定位精度，采用颜色直方图和相关滤波模板相结合的方法确定目标位置。同时，采用核尺度相关器进行尺度估计，大大减少了不同尺度下的重复计算。此外，采用一种保守的更新策略来减轻模型损坏的问题。大量实验表明，该算法在CPU上实现了实时跟踪的同时具有较高的跟踪精度。