快速尺度支持相关滤波跟踪

张 博，江沸菠，刘 刚，刘红平

(1.长沙师范学院 信息科学与工程学院，湖南 长沙 410100；2.湖南师范大学 信息科学与工程学院，湖南 长沙 410081；3.中南大学 物理与电子学院，湖南 长沙 410083)

1 引 言

在自动变化的视频序列中跟踪特定目标，是许多以计算机视觉为主题的研究所面临的基础问题，例如视觉分析、自动驾驶和位姿估计。跟踪的核心问题是如何在光照、形变、出视野、遮挡、干扰物以及背景杂乱导致目标外观出现较大变化的情况下准确且有效地检测和定位目标[1-2]。

目前，在目标跟踪领域中判别式跟踪算法是使用最为广泛的一类跟踪算法，它将跟踪问题视为一个分类问题，通过训练分类器来区分目标和背景。对于判别式分类器算法而言，其中的一种效果比较好的是相关滤波器(CFs)算法[3-5]，由于其同时具备速度快、成功率高、精确度好等性能，所以在视觉跟踪取得显著成效。Bolme等人提出了最小均方误差输出平方和(MOSSE)滤波器[5]，通过快速傅里叶变换把时域内的计算转换到频域内，大大提高了滤波器参数计算效率，使跟踪器能够快速运行。Henriques等人提出了核相关滤波器(KCF)，用脊回归器[3-4]替换了最小均方误差输出平方和滤波器，通过循环移位策略来解决训练样本过少的问题，同时使用核函数方法使得其能在非线性条件下进行滤波器训练。但是，前面的方法，不考虑目标的尺度变化问题，为了解决这方面问题，Danelljan等人[6]提出了精确尺度估计的鲁棒跟踪器(DSST)，将尺度估计方法融入到相关滤波跟踪算法中，提升了算法应对目标大尺度变化场景下跟踪的能力。Li等人[7]提出了特征融合的尺度自适应核相关滤波器，将直方图特征与颜色特征结合加强特征表征能力，与此同时使用尺度池策略进行尺度估计，提高了算法的准确性。受到图像卷积神经网络(CNN)的突出表现的启发，Ma等人[8]提出将相关滤波器嵌入卷积神经网络的视觉跟踪算法，通过使用CNN来构建特征金字塔，同时，使用相关滤波器在神经网络的不同层中执行以完成跟踪。

大量研究表明，判别式视觉目标跟踪技术要取得进一步发展的核心是提出更有效的分类器模型和采样方法来提升算法的跟踪性能，所以国内外许多专家对判别性分类器模型进行了广泛的研究，并且已经获得了比较优良的结果。一种比较具有代表性的判别性分类器模型是基于支持向量机(SVM)[9-12]建立的模型，由于SVM具备处理高维数据的优势，使得基于SVM的跟踪算法在准确度和效率上取得了显著效果。通常基于SVM的跟踪方法被分为两个模块：第一个是用于生成一组正样本和负样本的采样器，第二个是用于使用训练样本更新分类器的学习器。由于其模型构造上相对复杂，其算法计算效率上略显不足，所以大多数基于SVM的跟踪器[10-12]并不能实时运行。

上述算法在实际应用中都取得了不错的效果，但在严重遮挡、出视野、形变、背景杂乱等复杂场景下，它们很难在兼顾速度和精度的情况下完成跟踪。针对传统相关滤波算法的不足，本文提出了快速尺度支持相关滤波跟踪算法，通过使用循环数据作为训练输入重新构造SVM模型，将跟踪问题视为支持相关滤波器的学习问题，通过交替迭代方法获得最佳滤波器参数，很大程度上降低了算法复杂度。同时，使用对数极坐标尺度估计方法对目标的尺度变化进行估算，有效实现了目标尺度的自适应。最后使用标准数据集测试了本文所提快速尺度支持相关滤波跟踪算法的性能。

2 核相关滤波算法

核相关滤波跟踪算法通过将跟踪问题视为一个在线分类问题，通过岭回归模型训练相关滤波器来实现目标跟踪：

，

(1)

其中：λ是正则化参数，f是相关滤波器参数，y′是期望输出响应，v是训练误差,X是训练样本。

因为训练样本是通过对基础样本进行循环移位来得到，所以不仅使得训练样本增加，而且样本也具有了循环数据结构，使得优化求解过程中便于使用离散傅立叶变换(DFT)来加快计算速度，大大提升了算法效率。通过系列求解得到(1)式的封闭形式解为：

，

(2)

(3)

其中：x表示当前输入图像特征，Kxx=K(x,x)是核相关函数，⊗表示元素点积操作。最后找到最大响应得分位置以实现目标跟踪。

3 本文算法

针对传统的判别式目标跟踪算法复杂度依然较高，以及在遮挡、出视野、剧烈形变、背景杂乱等情况下跟踪易失败问题，本课题组提出了快速尺度支持相关滤波跟踪算法。首先，通过迭代学习支持相关滤波器参数降低了算法复杂度；然后使用对数极坐标尺度自适应策略，解决了剧烈尺度变化情况下的目标跟踪问题；最后，使用了模板自适应更新方法，克服了遮挡情况下的模板漂移问题。

3.1 样本标签分类

将跟踪器用于目标跟踪之前，对跟踪器进行训练至关重要，训练的好坏直接影响到跟踪器的性能，因此使用合理的训练样本训练跟踪器很重要，这就要求采用恰当的方法对正负样本进行分类。本文算法通过以下重叠函数对样本类标签定义：

q(p*,pi)=ηexp(-θ‖pi-p*‖κ)

，

(4)

其中：p*表示感兴趣目标x*的中心位置，pi表示移位样本图像xi的位置。η是归一化常数，θ和κ分别是尺度和形状参数。

在训练过程中，当样本的重叠函数值q(p*,pi)低于重叠阈值下限时，定义为负样本，其标签值为-1，高于重叠阈值上限，定义为正样本，其标签值为1，否则不标记，将其丢弃。具体分类公式如下：

，

(5)

根据上述目标标签定义方式便实现了目标期望响应值定义。

3.2 SVM模型重构

在目标跟踪任务中是通过对SVM进行重构，获取支持相关滤波器模型，然后再用(6)式中二分类函数实现目标跟踪。

，

(6)

其中：滤波器参数f和偏差b通过SVM重构模型获得，其SVM模型公式如下：

，

(7)

其中：ξ=[ξ1,ξ2,...ξi...ξn2]是松弛变量向量，R为常量。

，

(8)

其中：∘表示对应元素相乘，1表示一维向量。

3.3 核化支持相关滤波

(9)

同时，为了使滤波器参数能在非线性条件下进行学习，将核化策略引入重构的支持向量机模型中，则有fTx=∑K(x′,xi)f′，这里K(x′,xi)为核相关函数，f′为当前滤波器参数，x为输入样本图像。将其代入式(9)则可转化为式(10)：

对于公式(10)，当已知{f,b}时，子问题e具有闭合形式解，当e已知时，子问题{f,b}具有闭合形式解。 因此，上述模型问题可以通过交替迭代优化算法进行迭代求解，获得最佳支持相关滤波器参数

，

(11)

3.4 极坐标下尺度自适应

由于对数极坐标变换可以将目标图像的尺度和旋转变化转换为对数极坐标下的平移运动，因此在目标检测领域常将其与相位相关算法进行组合以进行图像配准从而实现目标检测。在本文算法中将其与支持相关滤波算法框架结合应用到目标跟踪领域以使跟踪算法实现良好的尺度自适应能力。

在目标跟踪的时候，通过对目标模板进行对数极坐标变换，将目标的尺度和旋转变化转换为对数坐标下的位移信号，并利用支持相关滤波算法检测到该信号，通过逆向计算即可获得该帧目标尺度。具体对数极坐标变换公式如下：

，

(12)

其中：(xi,yi)为笛卡尔坐标系下的当前目标图像像素坐标,(x0,y0)则为该坐标系下的目标图像中心像素坐标,(ϑ,ψ)为对应像素坐标通过相应转换得到的极坐标。

一般尺度变化率可表示为变化后尺寸与原尺寸比值，此时尺度大小在常规笛卡尔坐标下进行表时，具体如下：

，

(13)

通过对式(13)进行对数变换可得：

，

(14)

此时，ln(c+Δc)为尺度变化后的极坐标位置，lnc为尺度变化前的极坐标位置，令Δx为极坐标下的位置偏移，则Δx=ln(c+Δc)-lnc,则将其代入(14)式可得：

s=eΔx

，

(15)

其中s为尺度变化率，当目标变大时其值大于1，变小时其值小于1，Δx为极坐标下图像位移偏移量。

3.5 模板更新

为了应对目标遮挡环境的挑战，模板自适应更新是必不可少。本文算法采用文献[13]中PSR判别目标是否遮挡以决定是否更新模板，以实现模板判别性更新，从而降低模板和滤波器参数在遮挡情况下的错误更新率。这里模板更新权重系数为定义为：

，

(16)

其中，τt为模板自适应更新权重，ζ表示目标是否发生遮挡阈值，高于该阈值更新模板，低于该阈值模板不更新。

具体更新模板采用线性插值的方法进行更新：

，

(17)

，

(18)

3.6 本文算法流程

本文跟踪算法的跟踪流程如下：

(1)输入：于第一帧位置初始化目标位置P1及目标的尺度因子s1以及类标签y1。

(2)使用快速尺度支持相关滤波跟踪尺度自适应算法中滤波器参数计算模块，即公式(11)计算滤波参数，并使用公式(3)得到目标响应得分图，通过找到最大响应得分位置获得目标位置。

(3)使用极坐标下尺度自适应策略即公式(15)以获得当前帧目标尺度因子si。

(5)如果未到最后一帧，跳转到步骤2；如果已经到最后一帧，则跟踪结束。

输出：跟踪目标位置Pi。

4 实验结果与分析

4.1 实验参数与环境

本文算法测试所用电脑配置为Intel i5 2.5 GHz处理器，4 G内存。所用实验参数设置如下：过拟合参数R和形状参数β分别为104和2。公式(5)中的阈值上下限(σl,σu)分别为(0.5,0.7)。尺存参数θ设置为50/mn，其对应的每个目标对象的大小m×n。为了较好分析本文算法，使用OTB100标准数据库中的数据集对本文所提快速支持相关滤波算法进行测试，其数据集涵盖了遮挡，形变，尺度变化，快速运动等众多属性,详见表1。并将所提算法与CSK[3]、KCF[4]、DSST[6]、TLD[14]、CT[15、TGPR[16]、L1APG[17]等跟踪算法进行对比，以验证算法有效性。

4.2 定量分析算法性能

为了分析本文所提算法在各种具有挑战性场景中的性能，在实验中详细记录了各种算法在Walking、Doll、Jogging1、David3、Trellis、Basketball、Bolt、Dog1、Coke、CarScale等跟踪视频序列下的跟踪精确度和成功率，以及总体跟踪效果。

表1为10组跟踪序列的属性、分辨率和序列长度。表2和表3分别为9种算法在不同属性视频序列上的精确度和重叠率。通过实验结果可知本课题组所提快速尺度支持相关滤波跟踪算法(FSSCF)的精确度和成功率在各个跟踪序列中都比较高，而且所提算法优于其它跟踪算法。图1为该算法与其余算法在所有测试序列上的总体精确度和成功率曲线图，可知所提算法总体精确度为0.964，较传统KCF算法提升10.1%，成功率为0.892，较传统KCF算法提升31.6%，证明了本文提算法能较好处理许多传统相关滤波跟踪算法不能克服的复杂场景下的目标跟踪挑战。

表1 10组测试视频序列Tab.1 Ten sets of test video sequence

图1 总体中心位置误差曲线(a)和平均跟踪误差(b)Fig.1 Curves of center location error(a) and average tracking error(b)

4.3 定性分析算法性能

为了分析本文所提算法在各种具有挑战性场景中的性能，本文在图2中展示了9种算法在不同视频序列上的实际跟踪效果。不同属性视频序列上的算法性能分析如下。

4.3.1 尺度变化情况下

在图2(a)、(b)、(c)所示的Walking、CarScale、Dog1跟踪序列要实现目标跟踪所面临的主要挑战是严重的尺度变化问题。如Walking跟踪序列中由于目标在行走过程中离摄像头远近程度不同，出现了较大尺度变化。在第279，315，366帧中，CT、TLD、CSK、TGPR等大多数算法都出现了目标中心点与实际跟踪框中心点偏离过大问题，其跟踪精确度不够好，只有本文所提快速尺度支持相关滤波算法(FSSCF)和DSST算法能够实现精确目标跟踪，这是由于FSSCF算法和DSST算法都采用了较强的尺度自适应策略以适应大尺度变化场景下的目标跟踪。而在CarScale、Dog1视频序列中目标跟踪面临着更为剧烈的尺度变化问题，在CarScale中的第162，189帧以及Dog1中的672，904，974帧中，只有具备极坐标尺度自适应的FSSCF算法能体现良好的尺度自适应性，实现精确的目标跟踪。图5(d)所提的Trellis目标跟踪序列所要面临的主要挑战是光照变化和尺度变化问题，这时容易导致所建立的目标模型学习失败，在后续帧中不能跟上目标。在其第207，402，447帧中，由于场景中存在复杂光照和尺度变化，大多数跟踪器在跟踪时易失败，而FSSCF由于具备较好的分类器模型及模型更新策略，使其能够跟上目标。

4.3.2 遮挡情况下

在图2(e)、(f)所示的Jogging-1、Doll序列中均发生目标部分遮挡现象，如Jogging-1跟踪序列中的第74，156帧，除本课题组提出的FSSCF算法以外，其余算法均不能对该目标进行精确跟踪。在面对遮挡问题时，传统的相关滤波跟踪算法由于其分类器判别能力不够强以及缺乏相应模板更新策略导致其在发生遮挡时跟踪精确度不高。而FSSCF算法由于使用了快速尺度支持相关滤波分类器和模板更新策略使得其在应对遮挡环境时具备较好性能，在如图2(g)、(h)所示的Coke、Daviad3序列中均出现目标被严重遮挡现象，在Coke序列第34，191，255帧中，树叶对可乐瓶产生了严重遮挡，以及Daviad3序列第56，78，96帧中树木对行人产生了严重遮挡，当发生严重遮挡时，所更新的模板不再具备代表性而出现漂移现象。而FSSCF算法却能够准确进行跟踪，这充分说明了该算法所提出的分类器及模板更新策略的有效性。

图2 算法实际效果对比图Fig.2 Comparison algorithm actual effect

AttributesFSSCFKCFTGPRCTCSKTLDDSSTL1APGJogging10.9740.2350.2250.2310.2280.9740.2310.228Walking1.0001.0001.0001.0001.0000.9641.0001.000Bolt1.0000.9890.0260.0110.0340.3061.0000.017Doll0.9860.9670.9710.6840.5790.9830.9930.974David31.0001.0001.0000.4130.6590.1110.5990.460Trellis1.0001.0000.9810.3870.8100.5291.0000.176Dog11.0001.0001.0000.9501.0001.0001.0001.000CarScale0.7820.8060.8060.7180.6510.8530.7580.647Coke0.8930.8380.9420.1130.8730.6840.9180.265Basketball1.0000.9230.9930.2991.0000.0280.8060.306

表3 成功率(SR)Tab.3 Success rate(SR)

4.3.3 剧烈形变情况下

图2(i)、(j)所示的Bolt、Basketball两个序列中目标均出现大尺度形变，这时跟踪器比较容易出现分类错误问题导致跟踪失败。比如，在Bolt序列中田径运动员在奔跑过程中出现了大尺度形变，KCF、DSST、TGPR及本课题组所提算法由于其采用的分类器判别能力较强，所以均能良好跟踪目标。而实时压缩跟踪(CT)算法由于采用简单的朴素贝叶斯分类器，其分类器模型分类能力较弱，所以跟踪效果非常不理想。Basketball序列中目标出现严重形变，由于在投篮等系列动作中引入了平面内旋转，平面外旋转等阻碍导致目标形变非常严重，而FSSCF算法由于其具有较好的自适应尺度估计策略，所以能很好地跟踪形变量大的目标，因此在Basketball序列中第56，284，360帧时只有FSSCF算法能够精确跟踪目标。

4.4 算法时间复杂度分析

为了较好地分析算法的性能，从实验角度测试了算法的时间复杂度。分别将KCF、DSST、FSSCF这3种算法在10个非常具有挑战性的数据集下测试，记录其运行平均跟踪速度，即每秒跟踪帧数(FPS)。通过如表4的实验数据分析可知，FSSCF算法其实时速度比DSST算法好很多，这是由于DSST采用尺度池策略估计目标的尺度变化，每帧使用了33次尺度估计，而FSSCF算法将尺度估计转换为极坐标下平移变换，只用了一次就估计出目标了尺度变化，所以其算法时间复杂度较DSST低很多。KCF算法由于不带尺度估计，所以较FSSCF算法速度快，但其跟踪精确度较FSSCF算法差很多，而且FSSCF算法虽然没有KCF快，但其速度足够满足实时跟踪需求。

表4 算法效率(AE)Tab.4 Algorithm efficiency (AE)

5 结 论

为了解决遮挡、出视野、形变、背景杂乱等情况下得目标跟踪问题，提出快速尺度支持相关滤波跟踪算法。该算法使用重构SVM获得支持相关滤波器模型的方法降低了分类器模型复杂度；为了获得最佳滤波器参数，该算法使用交替迭代优化策略解决了支持相关滤波器参数学习问题；同时，它采用了对数极坐标下的尺度自适应方法，有效提高了算法在剧烈尺度变化场景下的跟踪精度。最后，通过模板更新解决了在严重遮挡下目标容易跟踪丢的问题。实验测试结果表明本课题组提出的快速支持相关滤波跟踪算法能有效解决遮挡、出视野、形变、背景杂乱等富有挑战场景下的目标跟踪问题，具备较高的精确度与成功率。