基于多特征融合与背景目标双加权的行人跟踪

卜言生 贺俊吉

(上海海事大学物流工程学院 上海 201306)

0 引 言

随着计算机和视频采集设备的普及，目标行人跟踪在公共安全监控、停车场、超市、百货公司等常见生活场景中得到了广泛的应用[1]。均值漂移(Mean Shift)算法是一种最优的寻求概率密度极大值的梯度上升算法[2]，由于理论成熟、方法简单、快速收敛[3]等优点，是视频跟踪领域重要的研究内容。Comaniciu等[4-5]最先将均值漂移算法运用于简单的目标跟踪，结果的实时性较好。

传统Mean Shift算法忽略背景信息，跟踪过程易受背景扰动。顾鑫等[6]将局部背景信息引入目标表观，提出局部背景加权方法；初红霞等[7]通过空间直方图削弱了背景特征；田浩等[8]考虑了目标的背景因素，利用交叉的颜色直方图代替传统直方图。上述改进方法在一定程度上抑制了背景因素的干扰，提高了目标模型的表观能力，但是计算复杂度却也随之增加。Ning等[9]提出校正背景加权直方图的跟踪方法，对行人进行背景加权直方图计算，然而算法复杂度减少的同时也削弱了目标模型的表观能力；刘欢敏等[10]提出的背景加权算法虽考虑了背景，忽略了目标本身的特征，导致目标描述能力一般。为了权衡算法复杂度和目标表观的鲁棒性，实现目标行人的有效跟踪，本文提出了一种背景目标双加权的目标模型，降低目标中背景像素的权值，同时增强与背景像素相异像素的权值，突出目标行人信息。

跟踪过程中若出现与目标颜色分布相似的障碍物，基于单一颜色特征的跟踪算法性能将大大降低。戴渊明等[11]虽融合了颜色与纹理特征，但是两类特征的权重固定，无法根据跟踪环境的改变实现特征的自适应融合；权义萍等[12]在车辆跟踪中，将卡尔曼粒子滤波与传统的Mean Shift算法融合，一定程度上改善了算法在抗遮挡方面的性能，但该算法同样存在忽略背景因素、模型特征单一等问题；宓为建[13]采用方向梯度直方图这一纹理特征对人体轮廓进行描述，很好地区分了目标和与目标颜色分布相似的障碍物，目标表观模型的鲁棒性得以提升，然而方向梯度直方图的复杂度较高;李晗等[14]利用复杂度较低的LBP纹理特征融合颜色特征大大提升了算法的准确性，然而由于未考虑背景因素，所以算法的鲁棒性欠缺；丁业兵[15]采用目标的惯量矩特征，对光照和尺度变化的鲁棒性较强，但是对于解决复杂背景及遮挡情况，性能较差；闫河等[16]使用SUSAN角点特征和HSV颜色特征进行目标描述，目标描述能力有较大提升，但是由于忽略背景因素且在后续帧中无模型的更新策略，因此算法具有一定的局限性；为克服光照变化和目标遮挡，卫保国等[17]提出了一种改进的局部敏感直方图，但是由于未考虑纹理特征，该算法易受其他行人干扰；丁晓凤等[18]通过创建和维护多样性模板进行目标跟踪，虽有效解决目标突变情况的跟踪问题，但是算法的复杂度较高，跟踪的实时性欠缺。

权衡上述算法的优缺点，本文用LBP纹理特征融合双加权的颜色特征进行目标行人表观，并由S型函数对两种特征进行自适应特征权重分配[19]。为进一步提高目标模型鲁棒性，本文基于每个特征分量的变化情况，对目标模型分量进行选择性更新，从而提高模型在后续跟踪过程中的表观能力。

1 多特征目标模型的建立

1.1 背景目标双加权的颜色特征

图1 背景加权区域的选择及参数说明

(1)

式中：b*为{buc}uc=1,2,…，m中非零最小值。

将目标中心(即p0=(x0,y0))的权重设为1，距离中心越远，其权重值越小，边缘处的权值趋向0，其中目标区域所有像素集合为{pi}i=1,2，…，n。目标加权权重值wi为：

(2)

h=(hx,hy)为非参估计中的带宽，带宽参数值等于矩形跟踪框尺寸的一半。因此，基于颜色特征的目标初始化模型为：

(3)

(4)

式中：bc(pi)是在像素点pi处颜色特征值；δ是狄拉克函数，δ[bc(pi)-uc]判断像素点pi处的特征值是否属于第uc个特征区间；k(x)为核剖面函数；wuc为背景加权系数；wi为目标加权系数；Cc为归一化常量系数。

(5)

第二帧及后续帧中，双加权颜色特征模型的建立(即目标候选区域的双加权颜色模型)与初始化双加权颜色模型的建立相同：

(6)

pc,uc(y)=

(7)

(8)

(9)

第二帧及后续帧中的纹理特征模型(即目标候选区域的纹理模型)与初始化纹理特征模型的建立方法相同：

(10)

(11)

1.3 特征的自适应融合

设ρc与ρL分别为颜色特征目标模型qc、纹理特征模型qL与颜色特征候选区域pc、纹理特征候选区域pL的Bhattacharyya相关系数，定义如下：

(12)

(13)

定义融合特征的Bhattacharyya相关系数为：

ρ(y)=αρc(y)+βρL(y)

(14)

(15)

其中：

(16)

(17)

(18)

通过S型函数实现α和β的自适应调整,t时刻的颜色特征与纹理特征的权重指数分别为αt和βt:

(19)

βt=1-αt

(20)

式中：参数b为S型函数的斜率,根据跟踪目标的差异，可以根据特征的性质取不同值，本文b取值为0.5。

2 目标定位与颜色模型的选择性更新

2.1 目标定位

均值漂移算法中的目标定位实质就是求取融合特征的Bhattacharyya相关系数ρ1(y)最大值的过程。将上文的颜色特征权重αt和纹理特征权重βt代入式(15)得：

(21)

以式(21)为目标函数进行均值漂移迭代，得漂移后的坐标位置为y：

(22)

式中：g(x)=-k′(x)，wi为融合权重值。

(23)

2.2 颜色模型的选择性更新

对于背景和光照的变化，LBP纹理特征的鲁棒性较高，而颜色特征的鲁棒性则较弱，因此只需对颜色特征模型进行更新。

对于复杂度较低的整体性模型更新策略而言，由于采用逐渐不准确的结果去更新整体模型，从而导致误差逐步累积，最终使跟踪结果进一步恶化，造成目标的丢失。为了克服整体性更新策略的缺点，采用特征更新选择函数[21]，用于跟踪过程中目标模型分量的选择性更新。特征更新选择函数定义如下：

(24)

ρc(y)值较小时，模型不予更新；当ρc(y)满足设定阈值时，特征更新选择函数衡量每个特征分量的贡献度，选择贡献度较小的特征分量更新。设更新的特征分量个数为r:

(25)

式中：P是选择更新模型分量的比例系数；τ是Bhattacharyya系数阈值。本文中P=0.5、τ=0.7。

基于上述讨论，模型的选择性更新策略具体如下：

(26)

式中：μ为模型更新因子，本文取值0.6。从式(26)可以看出选择性模型更新策略对目标模型的每一个特征分量综合考虑Bhattacharyya系数和匹配度函数，从而进行目标颜色模型的选择性更新。

3 算法流程

基于传统的Mean Shift算法，本文算法流程如下：

Step1初始化模型qc、qL的建立，同时设置特征权重指数α=β=0.5；

Step2求取候选区域模型pc(y0)、pL(y0)，分别计算颜色特征与纹理特征的Bhattacharyya相关系数ρc(y0)、ρL(y0)，以及融合特征的Bhattacharyya相关系数ρ(y0)；

Step3计算颜色特征权值wi,c、纹理特征权值wi,L，以及融合特征权值wi；

Step4利用Meanshift算法，计算新的候选目标中心y；

Step5计算新位置融合特征的Bhattacharyya相关系数ρ(y)，若ρ(y)<ρ(y0)，令y=(y+y0)/2，计算ρ(y)；

Step6若‖y-y0‖<ε，停止迭代，令y0=y作为当前帧的目标中心位置，否则令y0=y并返回Step2;

Step7若当前帧为最后一帧，结束跟踪，否则计算当前帧的特征权重指数α、β，并将进行选择性特征模型更新，返回Step2。

4 实验结果与性能评价

4.1 跟踪结果的评价标准

为了定量分析本文算法的跟踪性能，采用中心位置误差(Center Location Error,CLE)、重叠率(Overlap Score,OS)以及成功率(Success Rate,SR)三种标准作为性能评价准则。

中心位置误差(CLE)的定义如下：

(27)

式中：(xi,yi)为第i帧视频通过跟踪算法获得的目标中心位置；(xi_gt,yi_gt)为第i帧视频通过手动标记所获得的目标中心位置。

重叠率(OS)的定义如下：

(28)

成功率(SR)的计算公式如下：

(29)

通过重叠率来统计算法成功跟踪到的帧数sn，当OS>0.6时，sn加1；N表示视频总帧数。

4.2 跟踪结果分析

为验证本文算法的跟踪性能，实验采用的测试视频来自VOT(Visual Object Tracking)数据库。跟踪实验采用的仿真平台为MATLAB 2018。

4.2.1实验1

本实验为背景与障碍物干扰实验，采用的测试数据为监控角度下的Crossing序列，跟踪目标为过马路的行人。由于初始时刻行人的衣着颜色与背景较为相似，因此初始化模型的准确性极大程度影响了算法的跟踪性能。本实验同时选取文献[10]与文献[11]的跟踪算法作为对照实验，并对跟踪结果进行定量分析。

图2为文献[10]、文献[11]与本文算法的部分序列跟踪结果。文献[10]算法由于只采用单一的颜色特征进行目标描述，因此在受到颜色相似障碍物(汽车)影响后，跟踪结果出现偏差，如图2(a)所示；而文献[11]算法使用颜色纹理双特征进行模型表观，因此其鲁棒性优于单一特征，跟踪结果如图2(b)所示；图2(c)为本文算法的跟踪结果。

图2 实验1跟踪结果

跟踪结果的中心位置误差曲线和重叠率曲线分别如图3和图4所示。从图3可以看出，文献[10]与文献[11]的跟踪误差在大部分的视频帧中均大于本文算法。从图4可以看出，本文算法的重叠率在整个视频帧中波动较小，而文献[11]虽采用多特征进行模型描述，但是由于特征权重固定不变且未考虑目标的背景因素和模型更新，因此跟踪结果的重叠率在光照变化或者在有相似颜色障碍物干扰情况下会出现较大的波动。

图3 实验1中心位置误差曲线

图4 实验1重叠率曲线

实验1跟踪结果的平均中心位置误差、平均重叠率、成功率如表1所示。可以看出，本文算法在实验1测试集上的平均CLE、平均OS、SR都优于文献[10]和文献[11]的算法，本文算法跟踪结果的平均重叠率较文献[10]提高了6%，成功率较文献[10]提高了近8%。

表1 基于实验1的算法性能比较

4.2.2实验2

本实验采用David序列作为测试数据，跟踪的难点在于背景干扰、人体姿态改变和短时遮挡。本实验采用文献[10]与文献[11]的跟踪算法作为对比算法，根据跟踪结果定量比较分析本文算法的跟踪性能。

图5为文献[10]、文献[11]与本文算法的部分序列跟踪结果。文献[10]中单一的背景加权算法在一定程度上提高了模型描述的准确性，跟踪性能优于文献[11],但是由于文献[10]与文献[11]均无模型的选择性更新，因此在出现遮挡情况后，均发生目标丢失现象。而本文算法综合考虑了目标行人的背景因素与目标本身的颜色分布，采用背景目标双加权算法，削弱目标颜色模型中与背景相似的颜色特征值权重，同时增加与背景相异的颜色特征值权重，提升模型的鲁棒性，并在目标行人发生遮挡后，对目标颜色模型进行选择性更新，因此在整个跟踪过程中，未发生目标丢失现象，跟踪结果较为理想。

图5 实验2跟踪结果

跟踪结果的中心位置误差曲线和重叠率曲线分别如图6、图7所示。从图6可以看出，本文算法的误差整体波动较小，且几乎都小于10个像素，远远小于文献[10]与文献[11]的跟踪误差。文献[10]与文献[11]的误差曲线在行人发生遮挡后发生剧烈上升，且无法收敛到低误差。图7的重叠率曲线直观地反映了三种算法跟踪精度的差异，本文算法在整个跟踪过程中，重叠率基本大于70%，而文献[10]和文献[11]的跟踪算法则随着跟踪误差的积累，导致最后重叠率为0。

图6 实验2中心位置误差曲线

图7 实验2重叠率曲线

实验2的平均CLE、平均OS、SR如表2所示。可以看出，本文算法在三项指标上均优于对比算法。

表2 基于实验2的算法性能比较

4.2.3实验3

本实验选用监控角度下的Subway序列图像，目标行人受到两次不同程度的遮挡。实验选用文献[12]的算法作为对比算法，根据跟踪结果定量分析本文算法在抗短时遮挡方面的性能。

部分序列跟踪结果如图8所示。从第15帧开始，目标行人发生了部分遮挡，文献[12]仅依据目标的运动特征跟踪，缺少对运动目标本身的刻画，因此出现了约10个像素的误差。本文算法基于对目标的准确描述以及颜色模型分量的选择性更新，从而能够较为准确地对目标行人进行跟踪，在两次不同程度的遮挡之后，均未发生较大的跟踪误差。

(a)文献[12]算法

跟踪结果经过量化后，得到中心位置误差曲线图、重叠率曲线图、Bhattacharyya相关系数图分别如图9-图11所示。从图中可以较为直观地看出本文算法在跟踪精度上的优异性。从图9可以看出，在20帧附近，由于目标行人发生了遮挡现象，文献[12]算法的中心位置误差陡然上升；从图10可以看出在整个跟踪过程中，本文的跟踪算法重叠率保持平稳，维持在80%左右，而文献[12]跟踪结果的重叠率则波动较大，最后降至40%；从图11可以看出此时文献[12]跟踪结果的Bhattacharyya系数减少到70%左右。

图9 实验3中心位置误差曲线

图10 实验3重叠率曲线

图11 实验3Bhattacharyya相关系数

基于CLE、OS数据可得平均CLE、平均OS、SR数据，对比结果如表3所示。可以看出，整个视频序列中，本文算法的性能略优于文献[12],这表明本文算法在目标发生短暂遮挡情况下，模型描述的准确性有所提高，具有一定的鲁棒性。

表3 基于实验3的算法性能比较

5 结 语

本文针对传统的Mean Shift算法特征选取单一，易受背景因素影响，在跟踪过程中没有模型更新策略等问题，提出了背景目标双加权以及颜色特征纹理特征自适应融合算法，同时在跟踪过程中进行颜色特征模型分量的选择性更新，提高了模型描述的准确性，增强了算法的鲁棒性。实验结果表明，在多个场景中的目标行人跟踪过程中，本文算法性能均优于对比算法，当目标与背景颜色分布相似以及短时完全遮挡的情况下，体现出了一定的鲁棒性和准确性。