视频监控领域基于自适应学习因子与积分通道特征的核相关目标跟踪算法

(中国民航机场建设集团公司 西南分公司,成都 610201)

0 引言

目标跟踪是计算机视觉领域的重要组成部分，已经广泛应用于视频监控，智能交通，制导等诸多应用中。尽管近年来对目标跟踪应用进行了大量的研究，取得了重大的进展。然而，由于跟踪过程中目标会遭受诸如遮挡、光照、形变等干扰的影响，将会导致跟踪失败或跟踪漂移，因此目标跟踪任然是一个具有挑战性的课题[1-10]。

现有的目标跟踪算法大致上可分为判别模型、生成模型以及二者的混合模型。基于生成模型的跟踪算法是通过搜索与目标模板最相似的区域来跟踪目标，但生成模型并没有将背景信息考虑其中，损失了非常有用的背景信息[7-10]。判别模型把跟踪看作分类问题，通过训练分类器来区分背景和目标，同时动态地更新分类器参数以适应目标外观变化[11-18]。尽管近年来图像跟踪领域提出了许多卓有成效的跟踪算法，大大的改善了跟踪的视觉效果与性能，然而目标跟踪在实际应用中任然存在较多的挑战性问题。

为了增强目标外观模型的可区分性，国内外研究人员提出了多种基于多特征集成跟踪算法，该类算法主要利用多特征的互补特性辅助解决单一特征无法完全表征目标的所有形态的问题[10]。 最近，基于在线外观模型的跟踪算法[11-12]使用了Haar-like 特征[11]，该特征可以通过二分类器将目标与背景分离，使用[10]中描述的积分图像技巧可以有效地计算出目标区域的Haar-like 特征；积分通道特征[13]主要使用不同通道的积分图像提取的目标区域特征。也就是说，利用输入图像颜色，梯度，Gabor直方图等信息的线性或非线性变换来计算图像通道。上文提到的Haar-like 特征可以描述为高阶积分通道特征。这些特征在描述目标方面具有独特性和有效性。文献[19]采用积分通道特征对目标区域特征提取，使用在线多实例学习(MIL)来逐步地对疑似目标的外观模型进行训练，实验结果表明积分通道特征具有丰富多样的特征信息与高效的计算效率，通过将不同通道的特征整合起来，可以克服单一通道特征对目标区域描述不足的缺陷。

为了实现干扰条件下对目标的稳定跟踪，本文以核相关跟踪模型为基础框架，利用鲁棒有效的集成通道特征提取目标的多特征信息，提出了一种基于集成通道特征的核相关目标跟踪算法，该算法不仅具有KCF算法跟踪的实时性，还具有目标多特征的互补性，能够在干扰条件下对目标稳定跟踪。实验结果表明，本文提出的算法的跟踪性能优于现有的算法，且在多个基准测试视频上的跟踪指标也高于现有其他算法。

1 相关工作

为了清楚地描述本文提出的算法，本节将简要地讨论与本文算法密切相关的跟踪算法，有兴趣的读者可以参考相关文献获取详细信息。

1.1 基于核相关滤波的目标跟踪

基于核相关的跟踪算法(KCF)主要利用目标周围区域的循环矩阵采集正负样本，利用脊回归训练目标分类器，并成功的利用循环矩阵在傅里叶空间可对角化的性质将矩阵的运算转化为向量的Hadamad积，即元素的点乘，大大降低了运算量，提高了运算速度，使算法满足实时性要求[17]。

KCF算法的关键核心是利用脊回归优化算法训练出泛化能力较强的分类器，通过找出样本xi与回归目标yi之间的均方误差最小的函数f(z)=wTz。因此，线性回归的目标函数可以表示为:

(1)

其中:λ是其正则参数，用以调节分类器的泛化性能，w是对应的权值系数。每个元素对应一个样本的标签，可由高斯函数产生，其中心值等于1，其循环移位后的衰减值表示0。 于是令其导数为0，可求得脊回归的解析解为:

W=(XTX+λI)-1XTy

(2)

由于X是目标样本xi对应的循环矩阵，则可以在DFT空间对角化表示为如下公式：

(3)

其中:F就是DFT矩阵。将等式(3)带入等式(2)，可以求解出如下等式：

(4)

其中:*表示向量对应的复共轭，且☉表逐点相乘。经过以上分析可以得出，利用核技巧，该等式可以转换成非线性的情况，如下所示：

(5)

常用到的核函数可以产生循环矩阵，双空间系数α可通过以下公式获取：

(6)

kxx称之为核相关，可由以下等式计算：

kxx=κ(x,pi-1x)

(7)

核相关目标跟踪算法不论是在跟踪效果还是跟踪速度上都具有不错的表现，学术界和工业界也在陆续把这个算法应用在实际场景当中以，并提出了很多改进的算法。

1.2 集成通道特征

Dollar等人[13]提出的积分通道特征的基本思想是对输入的原始图像进行线性或非线性图像变换，如局部求和、直方图、haar-like 特征以及其相应的变体特征都可以通过积分图高效鲁棒的计算出来。积分通道特征具有丰富多样的特征信息与高效的计算效率，通过将不同通道的特征整合起来，可以克服单一通道特征对目标区域描述不足的缺陷。积分通道特征主要使用不同通道的积分图像提取的目标区域特征。正如文献[13]所述，积分图可以非常鲁棒地计算出多尺度的矩形特征，且计算复杂度与图像区域的大小无关。积分图上任意一点(x,y)的值是指从灰度图像的左上角与当前所围成的矩形区域内所有像素点灰度值之和。

积分通道特征是一种对目标进行快速特提取的方法，通过聚合多类型通道特征得到的一种特征，融合形成的新特征性能远高于其他特征。积分通道特征从不同的角度集成多种特征信息，能够有效的描述目标的外观模型，并且具有准确的性很高的空间定位性。给定一副输入图像I,其所对应的通道特征可定义为图像的某种线性或非线性变换的输出响应：

lm=P(I)

(8)

其中：P表示某种计算函数，Im则表示输出响应，即通道特征。若Im=I表示该通道特征即为图像本身。为了充分表达图像中色彩和边缘等具有较高判别性质的特征，本文选取了6种类型的通道特征，分别为灰度特征、颜色空间特征(Color Name)、归一化的梯度幅度、DoG纹理特征、 HOG 特征和 Gabor特征，然后使用平均池化技术实现特征的聚合，即邻域内特征点平均作为新的特征点。

2 基于积分通道特征的核相关目标跟踪

核相关跟踪算法(KCF)是一个判别式跟踪，利用循环矩阵获取样本去训练一个判别分类器，通过快速傅里叶变化对算法进行加速计算，提高算法的跟踪效率。由于KCF算法将单通道灰度特征换成了多通道Hog特征，通过核函数对多通道的Hog特征进行了融合，使得训练所得的分类器对待检测目标的泛化能力更强，但该算法对具有尺度变化，快速运动，刚性形变等视频的跟踪效果不佳。归其原因，主要还是多通道的Hog特征对目标的描述能力不足，因此本文提出了一种基于积分通道特征的核相关目标跟踪。利用积分通道特征丰富多样的特征信息与高效的计算效率，通过将不同通道的特征整合起来，可以克服单一通道特征对目标区域描述不足的缺陷。同时，为了增强模型更新的泛化的能力，提出了一种自适应的学习因子的更新模型。接下来，本章将详细描述本文提出的算法与跟踪策略。

2.1 多通道特征推导

通过前面章节中的描述可以看出基于相关的目标跟踪问题都能转换成代价函数中损失项与正则项之间的折中。假设多通道特征x可以表述为x=[x1,x2,…,xm]，其中m表示通道特征的总数。给定训练输入样本xi以及对应的输出gi,其代价函数可以简写为：

(9)

其中:Loss(xi,gi)是损失项，Reg(xi,yi)是防止优化出现过拟合的正则项，h是滤波参数，n是训练样本数量，λ则是代价函数的正则参数。一般情况下，常见的相关滤波最小化如下代价函数：

(10)

(11)

为了最小化目标函数，函数θ对H求导，并令其等于0，因此上式的解析解可以表述为：

(12)

k(x,y)=[φ(x),φ(y)]

(13)

本文采用高斯核可以将线性变换转换非线性情况，其形式如下：

(14)

因此，由等式(7)可以推导到多通道特征形式，其表达式如下所示：

(15)

其中:i表示第i个特征通道则表示各通道特征数据分别点乘求和。因此，对等式12进行核变换，相关参数Hk的非线性变换形似如下:

(16)

(17)

(18)

因此，频率域的相关平面输出可以表示为：

(19)

基于文献[17]核相关跟踪的推导，对等式(19)进行高斯核转换，其表达式如下:

(20)

以上分析可以看出，本文利用特征的良好互补性，如HOG强调目标区域的梯度信息，而颜色空间空间特征则强调目标的颜色信息。总之，同一区域的多通道特征共同起作用，提升跟踪算法的稳定性。虽然本文提出的基于积分通道特征的核相关跟踪算法的思想比较简单，但在多特征的共同作用下能够提升算法的抗干扰能力。

2.2 自适应学习因子

本文提出的跟踪算法不采用任何遮挡检测、记忆重捕等约束或启发式条件，仅仅通过模型的泛化能力跟踪目标，模型的更新可由如下公式表示。

ht=(1-η)ht-1+ηht

yt=(1-η)yt-1+ηyt

(21)

其中:t和η分别表示帧数和学习因子，η选取范围为(0,1)。学习因子允许模型参数随着场景的变化而变化。通常情况下，学习因子的取值范围在[0.01,0.15]，大量的仿真实验表明学习因子设置为0.025是最优经验值。

在众多基于学习的检测跟踪算法中，模型参数的更新都是通过线性插值的方式进行，利用学习因子调节模型的泛化能力，如式(21)所示。然而，固定学习因子的方式比较机械，不能完全适应复杂背景与显著的外观变化，一旦有微小的误差积累就会引起跟踪目标的漂移。因此，本文提出了一种自适应学习因子的更新策略。

在学习因子选择过程中，如果学习因子η的值选择过小，这会导致模型更新较慢，难以适应目标外观的变化，跟踪过程会出现漂移的情况，长期跟踪会导致跟踪失败。因此，较低的学习因子限制了跟踪算法的泛化能力，无法适应目标快速的形态变化。但是如果选择较大的学习因子会使得目标模型更新过快，很容易引入背景等干扰信息到模型中，使得模型对目标的适应性较差，导致跟踪过程中出现跟踪点的跳跃。现有基于学习的模型跟踪算法通常使用固定的学习率来更新模型参数，但随着大量的仿真实验发现，学习因子应该随着跟踪目标区域的状态进行调整，自适应的学习因子才能获得泛化能力较强的跟踪模型。因此，本文提出了一种基于目标形态变化的自适应学习因子选取策略。相比于传统固定学习因子的方法，该方法能获得更好的跟踪效果。学习因子的选取与目标形态、外观和姿态等参数正相关。分析发现，目标形态的变化很多时候与目标的运动速度相关。目标移动速度越大，目标所处的环境也变化越大，也就导致目标的形态、外观也有很大的变化。大量的仿真实验发现学习因子与目标速度有关，目标速度可以通过计算单前帧中目标位置(xt，yt)与上一帧位置(xt-1，yt-1)之间的像素差异获取。因此，通过深入研究学习因子与目标速度的关系，本文提出如下函数关系表征学习因子：

(21)

图1 自适应学习因子

3 实验结果及其分析

为了验证本文提出的基积分通道特征的核相关算法的有效性，本文选择跟踪精度(OR)和跟踪重叠度(CLE)两个指标进行定性定量分析，并与现有算法进行比较。实验硬件仿真平台采用MATLAB(R2010a)，并在CP U为Core i3处理器:主频 2.94 GHz，内存8 G，操作系统：WINDOWS 7上运行。

3.1 参数设定

为了比较提出算法的性能，目前最优算法被采用作为对比算法KCF[17]和STC[24]，CN[22]。为了算法公平比较,本文采用的对比算法都使用作者提供的源代码，参数及其初始化值选取其默认值。同时，所有跟踪算法的跟踪目标初始位置保持一致。

3.2 定性定量对比

为了量化性能比较，我们采用重叠率准则(OR)和跟踪中心误差(CLE)两种评价准则。重叠率准主要假设每一帧的跟踪结果是RT，其相应的跟踪基准为RG，因此重叠率定义为Sc=area(RT∩RG)/area(RT∪RG)；跟踪中心误差定义为跟踪器获取的目标中心与基准中心的欧氏距离。一个完美性能跟踪算法的跟踪中心误差应该是接近于0，重叠率(OR)应该完全一致。表1展现了所有算法在测试基准视频序列上的平均OR和CLE跟踪性能，其中深黑和斜体表示所有算法中最好的结果。可以看出，本文提出的跟踪算法性能在Animal、Girl、Surfing、Deer、Walking1和 Face视频序列上的效果优于其他算法，而在Sylvester和Occlusion1视频序列上的效果与其他算法类似。

为了验证在遮挡、光照等干扰因素影响下跟踪性能的精度，本文利用10组视频序列进行遮挡对比试验， 部分试验结果如图2 所示，其跟踪框颜色的意义如图所示。在Dear序列中，第 23帧以前目标没有被遮挡，KCF算法、本文算法等四种算法都能很好地进行跟踪，其跟踪指标基本一致，但是当目标运动时出现了遮挡，背景干扰后，STC跟踪算法出现了跟踪漂移，CN算法则丢失了目标，而本文提出的算法则稳定跟踪目标。充分说明了本文提出的基于积分通道特征的核相关跟踪算法对干扰因素的适应性能力。

3.3 性能分析

理论分析已经提到CSK只是简单的使用了灰度特征，对目标的外观描述能力显然不足，因此CN跟踪算法在CSK的基础上联合颜色特征和灰度特征来描述目标，使得对目标的外观描述更加精确和鲁棒。KCF算法则从原来的单通道灰度特征换成了多通道Hog特征，通过核函数对多通道的Hog特征进行了融合，使得训练所得的分类器对待检测目标的泛化能力更强，但该算法对具有尺度变化，快速运动，刚性形变等视频的跟踪效果不佳。STC跟踪算法是一个简单快速而且鲁棒的算法，它利用稠密的空时场景模型来进行跟踪。

虽然STC算法、FCT算法表现出不错的跟踪效果，尤其是在跟踪指标上的精度较好，主要是由于作者调参优化的结果，而本文提出的算法，充分利用了多通道特征的互补特性，对可跟踪区域的跟踪能力具有明显的跟踪优势。这充分说明了本文提出的算法能够处理复杂背景与显著的外观变化，大大提升了目标跟踪的性能与稳定性。

图2 不同视频的跟踪结果定性分析

视频指标平均OR平均CLECNKCFSTCOurCNKCFSTCOurDeer0．6550．5970．6020．6618．28．618．86．5Girl0．6150．9220．5390．8617．76．015．14．4Animal0．7250．8080．3910．83311．72．210．81．6Cup0．4570．5430．5040．69725．321．422．79．3Sylvester0．7570．8000．3980．8015．13．73．74．6Walking10．6820．6870．1090．6945．04．94．74．6Occlusion10．7790．9010．5900．89017．04．73．45．1Singer10．6070．8220．6870．7715．34．73．37．1Face0．5160．6630．3520．53713．61．72．43．2Woman0．6510．7010．6190．82619．320．266．92．4

4 结论

本文针对复杂场景下基于单一特征的目标跟踪算法适应性不强的问题，提出一种基于积分通道特征的核相关目标跟踪算法，该算法利用积分通道特征丰富多样的特征信息与高效的计算效率，将不同通道的特征整合到核相关模型中。由于多通道特征具有互补特性，可以克服单一通道特征对目标区域描述不足的缺陷，提升算法的抗干扰能力。同时，本文也提出了一种基于目标运动速度的自适应学习因子策略，增强了模型的泛化能力。大量的定性定量实验表明本文所提的算法的跟踪性能超过传统的KCF算法，对复杂的跟踪场景具有更强的鲁棒性与抗干扰能力。

[1] 郑 浩, 董明利, 潘志康. 基于背景加权的尺度方向自适应均值漂移算法[J].计算机工程与应用, 2016, 52(22):192-197.

[2] 徐少飞,刘政怡,桂 斌. 基于循环核矩阵的自适应目标跟踪算法[J].计算机工程与应用, 2016, 52(20):177-181.

[3] 吴 盈,刘 哲,等. 基于随机局部均值Hash特征的在线学习目标跟踪[J].计算机工程与应用, 2016, 52(14):21-27.

[4] 曹义亲,周小辞,黄晓生,等. 基于压缩感知的互补特征加权目标跟踪算法[J].计算机工程与应用, 2016, 52(19):110-116.

[5] 汤春明,卢永伟. 基于改进的稀疏重构算法的行人异常行为分析[J]. 计算机工程与应用, 2017, 53(8):98-104.

[6] Matthews I, Ishikawa T, Baker S. The template update problem[J]. IEEE Trans. Pattern Anal. Mach. Intell. 2004,26(6):810-815.

[7] Balan A O, Black M J. An adaptive appear-ance model approach for model-based articulated object tracking[J]. In Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on, June 2006(1):758-765.

[8] Bolme D S, Beveridge J R, Draper B A, et al. Visual object tracking using adaptive correlation filters[J]. In Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on, June 2010:2544-2550.

[9] Briechle K, Hanebeck U D. Template Matching Using Fast Normalized Cross Correlation[J]. In Aerospace/Defense Sensing, Simulation, and Controls, 2001:95-102.

[10] Comaniciu D, Ramesh V, Meer P. Real-Time Tracking of Non-Rigid Objects Using Mean Shift[J]. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition, 2000(2):142-149.

[11] Wu Y, Lim J, Yang M H. Online object tracking: A benchmark[C]. In CVPR, 2013.

[12] Zhang K, Zhang L, Yang M H. Real-time compressive tracking[C]. In ECCV, 2012.

[13] Dollar P, Tu Z, Perona P, et al. Integral Channel Features[C]. BMVC, 2009.

[14] Ross D A, Lim J, Lin R S, et al. Incremental learning for robust visual tracking[C]. Int. J. Comput.2008,77 (1-3):125-141.

[15] Zhong W, Lu H, Yang M H. Robust object tracking via sparse collaborative appearance model[J]. IEEE Trans. Image Process. 2014,23(5):2356-2368.

[16] Kalal, Mikolajczyk, Matas. Tracking Learning Detection[C]. Pattern Analysis and Machine Intelligence, 2011.

[17] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2014,99:1-1.

[18] Tang Z H, Wang S Z, et al. Bayesian Framework with Non-local and Low-rank Constraint for Image Reconstruction, in Journal of Physics: Conference Series[C].CCISP2017,787(1).

[19] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]. In: Advances in Neural Information Processing Systems, 2012, 1097-1105.

[20] 苏巧平，刘 原,等.基于稀疏表达的多示例学习目标追踪算法[J], 计算机工程, 2013, 39(3):213-217.

[21] Hilke Kieritz, Stefan Becker, et al. Online multi-person tracking using Integral Channel Features[A]. In 13th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS)[C]. 2016, 122-130.

[22] Danelljan M, Khan F S, et al. Adaptive Color Attributes for Real-Time Visual Tracking[J]. In Computer Vision & Pattern Recognition, 2014:1090-1097.

[23] Henriques J F, Rui C. Exploiting the Circulant Structure of Tracking-by-Detection with Kernels[A]. In European Conference on Computer Vision[C]. 2012,7575(1):702-715.

[24] Zhang K H, Zhang L, Yang M H,et al. Fast Trackingvia Spatio-Temporal Context Learning[C]. In Computer Science,2013.