基于时间区域稀疏相关滤波的分层特征融合追踪算法

卫福源,赵建伟

(中国计量大学 理学院,浙江 杭州 310018)

目标追踪是计算机视觉领域的研究热点之一,在视频监控、人机交互、无人驾驶、军事成像等领域具有广泛的应用[1]。目标追踪的任务是在给定视频序列初始帧的目标大小与位置的情况下,预测后续帧中该目标的大小与位置。由于追踪过程中常出现局部遮挡、目标快速运动、背景干扰和运动模糊等因素的影响,因而设计一种有效的追踪算法仍是一项挑战性的任务。

近年来,基于相关滤波的追踪算法鉴于其快速的计算效率而得到广泛的关注[2-3]。这类追踪算法是依据“相似的信号具有相似的响应图”的原理建立优化模型。2010年,Bolme等[4]首先将上述原理引入到目标追踪领域,通过提取灰度特征作为训练样本,基于均方误差外观模型,提出了最小平方误差(Minimum output sum of squared error, MOSSE)追踪算法。后续，人们在他的基础上,根据特征采样方式不同和改进外观优化模型,提出了许多基于相关滤波的目标追踪算法。为了充分利用图片的特征信息并增加训练样本的数量,Henriques等[5]通过循环位移操作来提取方向梯度直方图特征(Histogram of oriented gradient, HOG)作为训练样本,并且在外观模型上引入了相关滤波正则项,提出了核相关滤波(Kernelized correlation filter,KCF)追踪算法。同时,Danelljan等[6]在外观优化模型上增加了正则项,并且考虑尺度估计,提出了判别尺度空间追踪算法(Discriminative scale space tracker, DSST)。为了缓解不必要的边界效应影响追踪器的性能,Danelljan等[7]在DSST的基础上,引入了空间权值矩阵,提出了基于空间正则化相关滤波(Spatial regularized discriminant correlation filter, SRDCF)追踪算法。Peng等[8]利用HOG和色名的特征融合作为训练样本,在SRDCF的外观模型中引入区域稀疏正则项,提出了区域稀疏约束相关滤波(Region Sparse Constraint Filter,RSCF)追踪算法,利用稀疏滤波器自适应地忽略分散注意力的特征。

深度网络有着强大的特征学习能力,广泛应用于模式识别、图像恢复、图像检测等领域中。尤其在目标追踪领域,利用深度网络提取特征提取,能够提高追踪算法的性能。如Li等[9]利用HOG特征、色名和卷积神经网络(Convolution neural network, CNN)特征的融合作为训练样本,并在SRDCF追踪算法的外观模型中引入了时间正则项,通过时间正则项学习前后帧相关滤波之间的联系,提出了基于时空正则化相关滤波(Spatial temporal regularized correlation filter, STRCF)追踪算法。Pu等[10]利用CNN特征作为训练样本,并用CNN特征构造空间可靠矩阵,对时间正则外观模型中的滤波进行约束调整,提出(Spatial reliable constrainted and temporal regularized correlation filter, SRCTRCF)追踪算法。Ma等[11]利用深度网络不同的卷积层提取不同层次的深度特征作为训练样本,并用KCF外观模型学习相应的滤波器,然后用加权的方法对不同的滤波器进行融合,提出(Hierarchical convolutional features, HCF)追踪算法。

通过上述文献分析,HCF追踪算法充分利用深度网络不同卷积层的特征提取能力，来提高算法的追踪性能;但是，该算法使用的训练滤波的外观模型为简单的KCF模型,且响应图的融合系数是固定的取值方法。另外,STRCF和RSCF追踪算法使用了HOG、色名或CNN特征的直接融合,没有利用分层特征;并且STRCF追踪算法考虑了前后滤波器之间的关系,但是没有考虑提取特征以及目标区域滤波器的稀疏性;而RSCF追踪算法只考虑了目标区域滤波器的稀疏性,但没有考虑前后帧滤波器的关系。

鉴于此,本文将在HCF追踪算法的基础上,利用深度网络的不同卷积层提取不同尺度的特征。但不同于HCF方法用KCF学习相关滤波,本文将结合RSCF和STRCF追踪算法的优势,在外观模型中引入二进制掩码正则项和时间正则项,提出时间正则区域稀疏相关滤波(Temporal and region sparse constraint filter,TRSCF)外观模型。并且,不同于HCF方法用固定的系数进行相应图进行加权处理,本文将利用峰值旁瓣比(Peak Side-Lobe Ratio,PSR)[12]的值对不同的响应图进行自适应融合,提出了基于时间区域稀疏滤波的分层特征融合追踪算法(Hierarchical feature fusion tracker based on temporal and region sparse constraint filter, HFFT-TRSCF)。因此,本文所提算法充分利用不同尺度的卷积特征,提高模式的区别度;通过目标区域的稀疏性选取有效信息进行学习,抑制了背景信息异常干扰,从而避免因响应图的突然更改而导致的目标丢失问题;通过时间正则项建立相邻两帧滤波器之间的联系,充分捕捉前后帧滤波器的变化,有效地解决因目标遮挡、快速移动等因素引起的滤波器退化问题;基于PSR值对不同的响应图进行自适应融合,提高追踪算法的追踪性能。

1 本文所提方法

考虑到HCF的追踪算法使用的外观模型为简单的KCF模型,且响应图的融合不是自适应的;而STRCF和RSCF追踪算法没有利用分层特征,且STRCF没有考虑目标区域的稀疏性,而RSCF追踪算法没有考虑前后帧滤波器之前的关系。本文将结合分层特征、目标区域稀疏性、时间正则化和权值自适应性,提出基于时间区域稀疏滤波的分层特征融合追踪算法。其流程图见图1。

图1 本文所提追踪算法的流程图Figure1 Flowchart of our proposed tracking method

设It为第t帧图像,其目标位置信息已知。为了预测下一帧目标位置,我们需要学习第t帧图像的相关滤波ht。在建立外观优化模型进行相关滤波训练之前,我们需要采集训练样本。

1.1 提出的时间正则区域稀疏外观模型

(1)

式(1)中第三项是稀疏约束正则项,可以抑制背景边界的干扰;第四项是时间正则项,可以利用相邻两帧滤波器之间的关系,缓解因目标快速移动导致的漂移问题。

1.2 外观模型的求解

接下来,我们对所提的时间区域稀疏相关滤波外观模型(1)进行求解。由于‖·‖1范数是非光滑的,因而本文利用交替方向乘子法(Alternating direction of multiplier method, ADMM[14])对该优化模型进行求解。

(2)

因为式(2)中的优化模型是双凸的,所以可以通过最小化获得局部最优解。优化模型(2)的增广拉格朗日函数为

(3)

(4)

接下来,我们分别给出上述子问题的具体求解。

(5)

其中符号∧表示傅里叶变换。

对式(5)进行求导,可得A问题的解为

(6)

(7)

式(7)是带1-范的正则化问题,因此可以通过软阈值算子求解,得到解的形式:

(8)

Θs(x,λ)=sign(x)max(|x|-λ,0)。

(9)

3)子问题C的求解。拉格朗日乘数的更新公式为

(10)

惩罚参数μ的更新公式为

μ(k+1)=min(μmax,βμ)。

(11)

(12)

1.3 响应图的自适应融合

(13)

(14)

最终,融合的响应图yt+1可以由下述线性组合方式计算,即

问卷调查结果显示，159例患者服用阿司匹林的时间为1～15年。随着阿司匹林用药时间的延长，牙周健康和患轻度牙周炎的比例逐渐减少；当用药时间≥10年，所有患者均患有中、重度牙周炎，趋势卡方检验结果显示，差异有统计学意义(χ2=80.663, P<0.05)(表2)。

(15)

上述融合响应图的峰值最终可以确定第t+1帧目标的位置。

2 实验分析

为了验证本文所提方法的有效性,本节首先通过消融实验说明本文方法的有效性;其次,在OTB50[15],OTB100[16],DTB70[17]和VOT2016[18]等数据集上进行本文方法与KCF[5]、DSST[6]、SRDCF[7]、RSCF[8]、STRCF[9]、SRCTRCF[10]、HCF[11]、尺度自适应多特征(Scale Adaptive Multi-Features, SAMF[19])、BACF[20]等9种相关追踪算法的比较实验,以说明本文所提追踪算法的良好性能。

2.1 实验参数设置

实验中对本文所提追踪算法作如下参数设置:初始惩罚系数μ=1,迭代步长为5,μmax=32,尺度的个数是5,步长为1.01,λ1=0.01,λ2=0.71,λ3=0.1,β=10,ADMM循环次数为3。

所有实验都是在MATLABR2018b上进行,其电脑配置为Intel® Core(TM) i5-9500 CPU @3.00GHz。

2.2 消融实验

为了说明基于时间区域稀疏滤波的分层特征融合追踪算法合理性,本小节将通过消融实验进行说明。表1展示了在OTB100[16]数据集上的消融实验,其中以HCF追踪算法作为基础模型;HCF+FC表示的是在HCF模型基础上加上本文所提的融合方法;HCF+TR表示的是在HCF的外观模型中添加时间正则项;HCF+RS表示的是在HCF的外观模型中添加区域稀疏正则项;HCF+RS+TR表示的是在HCF的外观模型中添加时间正则项和区域稀疏正则项;而本文的方法可以看成是在HCF+RS+TR的基础上使用自适应融合方法。

表1 本文所提追踪算法在OTB100集上的消融实验

从表1可以看出,本文所提的自适应响应图融合方法能够提高追踪算法的追踪性能。同时,外观模型中时间正则项和区域稀疏正则项分别对追踪算法的精确值和成功率都有不同程度的提升。特别地,当本文方法同时利用时间正则项、区域稀疏正则项和自适应响应图融合方法时,本文的方法比HCF方法分别在精确度和成功率上有2.3%、1.7%的性能提升。本消融实验说明本文所提方法是有意义的。

2.3 定量分析

表2给出了本文方法和其它KCF[5]、DSST[6]、SRDCF[7]、RSCF[8]、STRCF[9]、SRCTRCF[10]、HCF[11]、SAMF[19]、BACF[20]9种相关滤波追踪算法分别在OTB50[15],OTB100[16],DTB70[17]和VOT2016[18]四个数据集上结果比较,按照追踪性能的高低,将性能好的追踪算法排在表格的右侧。同时,图2给出了表2中10个追踪算法在四个数据集上相应的成功率图和精确度图。

表2 本文所提追踪算法与其它9种追踪算法在四个数据集上的成功率和精确度的比较Table 2 Comparison of success rate and precision for our proposed tracker and other 9 trackers on four databases

图2 10个追踪器在4个数据集上的成功率图和精确度图Figure 2 Success rate and accuracy of 10 trackers on four datasets

从表2和图2可知,本文所提追踪算法在OTB50,OTB100,DTB70和VOT2016四个数据集上的成功率和精确度都达到最好的效果。特别地,它比相关的RSCF、STRCF、SRCTRCF和HCF追踪算法的追踪性能都高。例如,在OTB50数据集上,本文所提的追踪算法在成功率方面达到0.661,高于第二名RSCF追踪算法0.007,高于HCF追踪算法0.024。同时,在精确度方面,本文方法达到0.816,高于第二名RSCF追踪算法0.01,高于HCF追踪算法0.03。这是因为本文所提追踪算法充分利用不同尺度卷积特征提高模式的区别度;通过目标区域的稀疏性选取有效信息进行学习,抑制了背景响应图的异常信息干扰,从而避免因响应图的突然更改而导致的目标丢失问题;通过时间正则项建立相邻两帧滤波器之间的联系,充分捕捉前后帧滤波器的变化,有效地解决因目标遮挡、快速移动等因素引起的滤波器退化问题;基于PSR值对不同的响应图进行自适应融合,提高追踪算法的跟踪性能。

2.4 定性分析

数据集OTB50、OTB100、DTB70和VOT2016中的视频序列通常包含以下11种属性:低分辨率(Low Resolution, LR)、平面内旋转(In-Plane Rotation, IPR)、平面外旋转(Out-of-Plane Rotation, OPR)、尺度变化(Scale Variation, SV)、遮挡(Occlusion, OCC)、变形(Deformation, DEF)、背景干扰(Background Clutter, BC)、光照变化(Illumination Variation, IV)、运动模糊(Motion Blur, MB)、快速运动(Fast Motion, FM)和超出视野(Out View, OV)[21]。本小节将展示本文所提的追踪算法与RSCF、STRCF和SRCTRCF等追踪算法在背景干扰、快速运动、目标遮挡三个属性方面的追踪性能比较。

1)背景干扰

图3展示了本文所提追踪算法与RSCF、STRCF和SRCTRCF等追踪算法在OTB50数据集中具有“背景干扰”属性的视频序列上的追踪结果。

图3 本文追踪器(红色框)、RSCF(绿色框)、STRCF(蓝色框)和SRCTRCF(黑色框)在OTB50数据集中的Soccer序列上的追踪比较Figure 3 Comparison of our proposed tracker (red box)、RSCF (green box)、STRCF (blue box) and SRCTRCF (black box) on the Soccer video of OTB50 dataset

从图3可知,在“Soccer”视频序列中,有很多场景出现了相似背景的干扰(例如第309帧、第325帧和第350帧)。两位运动员身穿相似的运动服、头戴相似的头盔,这些背景干扰容易导致追踪目标发生漂移。从追踪结果可以看出,RSCF、STRCF和SRCTRCF等追踪算法都发生了漂移,只有本文所提追踪算法(红色框)仍然可以十分准确地定位目标。究其原因,本文所提追踪算法一方面利用不同尺度卷积特征提高模式的区别度,另一方面通过目标区域的稀疏性选取有效信息进行学习,抑制了背景响应图的异常信息干扰,从而避免因响应图的突然更改而导致的目标丢失问题;同时,基于PSR值对不同的响应图进行自适应融合,提高追踪算法的追踪性能。

2)快速移动

图4展示了本文所提追踪算法与RSCF、STRCF和SRCTRCF等追踪算法在OTB100数据集中具有“快速移动”属性的视频序列上的追踪结果。

图4 本文追踪器(红色框)、RSCF(绿色框)、STRCF(蓝色框)和SRCTRCF(黑色框)在OTB100数据集中的MotorRolling序列上的追踪比较Figure 4 Comparison of our proposed tracker (red box)、RSCF tracker (green box)、STRCF tracker (blue box) and SRCTRCF tracker (black box) on the MotorRolling video of OTB100 dataset

从图4可知,“MotorRolling”视频序列中的目标骑着摩托车快速移动,这容易引起追踪器因目标动作快速移动而产生漂移现象。从追踪结果可以看出,RSCF、STRCF和SRCTRCF等追踪算法都发生了漂移,只有本文所提追踪算法(红色框)仍然可以十分准确地定位目标(见第36帧)。究其原因,本文所提追踪算法一方面利用不同尺度卷积特征提高模式的区别度,另一方面通过时间正则项建立相邻两帧滤波器之间的联系,充分捕捉前后帧滤波器的变化,从而有效地解决因目标快速移动引起的滤波器退化问题;同时,基于PSR值对不同的响应图进行自适应融合,提高了追踪算法的追踪性能。

3)目标遮挡

图5展示了本文所提追踪算法与RSCF、STRCF和SRCTRCF等追踪算法在DTB70数据集中具有“目标遮挡”属性的视频序列上的追踪结果。

图5 本文追踪器(红色框)、RSCF(绿色框)、STRCF(蓝色框)和SRCTRCF(黑色框)在DTB70数据集中的Horse1上的追踪比较Figure 5 Comparison of our proposed tracker (red box)、RSCF tracker (green box)、 STRCF tracker (blue box) and SRCTRCF tracker (black box) on the Horse1 video of DTB70 dataset

从图5可知,“Hourse1”视频序列中目标马匹与其它动物跑过树干,其中树干对目标马匹进行了遮挡,这容易导致追踪漂移。从追踪结果可知,RSCF、STRCF和SRCTRCF等追踪算法都发生了漂移,只有本文所提追踪算法(红色框)仍然可以十分准确地定位目标(见第105帧)。究其原因,本文所提追踪算法一方面利用不同尺度卷积特征提高模式的区别度,另一方面通过时间正则项充分利用上一帧滤波器的信息,从而补偿了因目标遮挡导致信息缺失而产生的目标漂移;同时,基于PSR值对不同的响应图进行自适应融合,提高了追踪算法的追踪性能。

3 结 论

针对目标追踪过程中出现的目标遮挡、快速移动和背景干扰等问题引起的追踪性能下降的问题,本文在经典的分层卷积特征HCF追踪算法的基础上,结合RSCF和STRCF追踪算法的优势,在外观模型中引入二进制掩码正则项和时间正则项,提出时间正则区域稀疏相关滤波外观模型,并利用峰值旁瓣比的值对不同的响应图进行自适应融合,提出了基于时间区域稀疏滤波的分层特征融合追踪算法。该算法充分利用不同尺度卷积特征提高模式的区别度;通过目标区域的稀疏性选取有效信息进行学习,抑制了背景响应图的异常信息干扰,从而避免因响应图的突然更改而导致的目标丢失问题;通过时间正则项建立相邻两帧滤波器之间的联系,充分捕捉前后帧滤波器的变化,有效地解决因目标遮挡、快速移动等因素引起的滤波器退化问题;基于PSR值对不同的响应图进行自适应融合,提高了追踪算法的追踪性能。标准数据库上的实验表明,本文所提算法在目标遮挡、快速移动、背景干扰等情况下,具有比其它相关追踪算法更好的追踪性能。