连续同色调背景下运动目标自适应跟踪

陈从平 黄 正 聂 葳 石小涛

1(三峡大学机械与动力学院 湖北 宜昌 443002)2(三峡库区生态环境教育部工程研究中心 湖北 宜昌 443002)



连续同色调背景下运动目标自适应跟踪

陈从平1黄 正1聂 葳1石小涛2

1(三峡大学机械与动力学院 湖北 宜昌 443002)2(三峡库区生态环境教育部工程研究中心 湖北 宜昌 443002)

针对传统的Meanshift算法在连续的同色调背景干扰下无法准确、持续跟踪目标的问题，提出一种基于Kalman-optical flow(KOF)的改进Meanshift目标跟踪算法。首先，通过基于色调空间的光流检测对Meanshift窗口区域内的特征点进行建模，获得其图像坐标；然后，利用Kalman滤波的速度预估排除背景特征点，得到基于目标模型特征点的空间约束条件；最后，将得到的空间约束条件结合传统Meanshift算法中的色调约束条件，构建新的反投影直方图，并将新的反投影图作为Meanshift的概率密度图进行迭代，从而完成目标跟踪。实验表明，在连续的同色调背景区域的干扰下，该算法仍可以准确、持续地跟踪目标。

Meanshift 目标跟踪 光流 Kalman滤波 同色调区域

0 引 言

基于视频的运动目标检测与跟踪已在许多领域得到了应用，如导弹制导、机器人导航、制造领域中视觉定位与引导、智能交通及公共安全领域的目标追踪等。近年来，随着计算机技术和通信技术的发展，对目标跟踪的实时性、准确性要求也日益提高。目前，典型的目标跟踪算法有光流法[1]、帧差法[2]、粒子滤波[3]、Kalman滤波[4]及Meanshift等[5]。其中，光流法与帧差法是基于物体的运动信息进行跟踪的，它们能同时跟踪所有前景目标，但无法实现目标选择性跟踪(只能跟踪全部的前景物体而无法针对具体目标),且两种算法都极易受到背景变动的干扰；粒子滤波则需要足够的粒子数目以保证算法的鲁棒性，这极大地增加了跟踪过程中的计算量；Kalman滤波需要结合观测值得到最优更新，需要与其他算法联合使用，因此在自适应跟踪过程中通常作为辅助算法。Meanshift算法作为一种基于密度梯度的无参数估计跟踪算法[6]，以其计算速度快、实时性好等特点得到了广泛的研究与应用。

传统的Meanshift算法是通过目标模型的色调特征(颜色约束)实现对目标跟踪，而当其应用于如水下鱼类轨迹追踪、智能交通目标追踪等目标与背景具有同色调信息的领域时，若不增加其他特征约束，就容易造成目标丢失。为了解决这个问题，文献[7-9]首先通过帧差法确定运动的目标区域以排除背景色调的干扰，然后利用Meanshift进行跟踪。该算法对于固定场景中的运动目标具有很好的跟踪效果，但当背景发生较大改变或跟踪目标相对静止时，依然会产生跟踪目标丢失的现象。文献[10-12]提出了一种对目标特征进行分块跟踪的方法，通过对跟踪目标各特征区域进行建模并加权的方式得到目标模型，能够有效地排除背景信息的干扰。但这种方法的分块模式较为死板，且难以跟踪处于连续的同色调背景区域中的目标或形态发生较大改变的目标。

本文针对在目标跟踪过程中，由于连续帧间同色调背景的干扰所导致追踪目标丢失这一问题，提出了一种结合KOF的改进Meanshift跟踪算法。首先通过基于色调空间的光流法获得Meanshift搜索窗口区域的特征点信息；然后再根据Kalman滤波中的速度预估值剔除背景特征点信息，构建仅考虑目标特征点的空间约束条件。最后将求得的空间约束结合传统Meanshift算法中的颜色约束，得到改进的反投影直方图，并将改进的反投影直方图作为Meanshift的概率密度图进行迭代，从而完成目标跟踪。

1 Meanshift算法原理

跟踪目标确定时，Meanshift算法通过提取目标模型在HSV颜色空间的H分量来建立直方图模型，并据直方图模型计算后续各帧的概率密度图—反投影直方图，Meanshift算法即收敛于反投影直方图的概率密度极大值点。其定位原理及过程如下[13，14]：

(1)

(2)

(3)

上述公式中，δ为KroneckerDelta函数，g为核函数，h为核函数带宽，ξ为设定阈值。

由式(1)-式(3)可知，Meanshift算法通过计算目标模型的色调信息{qu}以进行跟踪。然而，当背景区域与跟踪目标的色调信息相似时，仅靠色调约束无法准确、持续地跟踪目标。为了解决这个问题，就需要对跟踪目标添加其他的约束条件。考虑到跟踪目标模型中可能存在的形态变化以及背景变化的干扰，本文使用对这两种干扰不敏感的目标模型特征点信息作为新的约束条件，并通过能够准确匹配相邻帧中相对应点的光流法进行特征点求解。

2 基于KOF的改进Meanshift算法

2.1 基于色调空间的光流求解

当Meanshift算法中选定初始窗口后，即可通过光流检测得到Meanshift搜索窗口内的特征点。若特征点的色调值在相邻帧之间无变化，则总可以找到一个偏移量(u,v)使:

Ht(x,y)=Ht+1(x+u,y+v)

(4)

其中，Ht、Ht+1分别为当前帧及下一帧的色调值。事实上，色调值在高饱和度且光强较为适中的图像中能保持不变。为满足这一前提，本算法中只考虑饱和度S>65且光照强度50

将式(4)泰勒展开并忽略高阶项，有:

(5)

当色调不变时，式(5)可简化为:

(6)

在连续的视频帧中，可认为目标模型中特征点与其邻域点的偏移量一致，具有空间一致性。此时，若已知邻域点集的色调值(Hx1,Hx2,…,Hxn)，则可据式(6)求得(u,v)，继而得到下一帧中特征点的坐标为：

(7)

为了提高改进算法的实时性，本文只对Meanshift搜索窗口区域内的特征点进行检测。此时检测到的特征点中包含了会造成干扰的部分背景区域特征点，且由于跟踪目标的运动，当前帧的跟踪目标可能不完全处于上一帧的Meanshift搜索窗口区域内。这样会导致前后两帧的一部分特征点匹配失败，降低整个改进算法的鲁棒性。为了防止以上两种情况的发生，本文拟通过增加Kalman滤波来进行改进。

2.2 Kalman滤波

Kalman滤波[15]包括预测与更新两个步骤，其预测状态方程及预测协方差方程分别为:

(8)

(9)

式中，Kk为增益矩阵，Zk为输入的观测向量，H为观测模型，R为误差矩阵。

在利用Kalman滤波得到当前帧目标模型质心的预估状态向量(xk,yk,vx,vy)后，就可以通过设定阈值的方法提高Meanshift搜索窗口的跟踪精度，排除与预估速度不一致的背景特征点；并且适度扩大检测特征点的窗口，以防止前后帧中部分特征点匹配失败。

2.3 改进的Meanshift算法

设第k帧目标模型质心横、纵方向的Kalman预估坐标及速度值分别为xk、yk、vkx、vky，为了防止改进算法跟丢目标，其Meanshift跟踪窗口坐标应满足:

(10)

检测特征点的窗口的大小应满足:

Bx=Lx-abs(2vkx)By=Ly-abs(2vky)Bwidth=Lwidth+abs(2vkx)Bheight=Lheight+abs(2vky)

(11)

追踪目标的特征点应满足:

abs(2vkx)>p[k,i,x]-p[k-1,i,x]>vkx/2abs(2vky)>p[k,i,y]-p[k-1,i,y]>vky/2

(12)

上述公式中，(Mx,My)为第k帧中Meanshift迭代窗口左上角坐标，(Bx,By)、Bwidth、Bheight分别为第k帧中检测窗口左上角的坐标以及窗口的宽度、高度，(Lx,Ly)、Lwidth、Lheight分别为第k-1帧中Meanshift迭代窗口左上角坐标以及窗口的宽度、高度。p[k,i,x]与p[k,i,y]分别表示第k帧中第i个目标特征点的横、纵坐标值。

通过式(10)-式(12)即可排除背景干扰点，得到只基于目标模型特征点的约束条件。再将目标模型特征点进行二值化、膨胀处理后，结合跟踪目标的色调约束就可以构建新的反投影直方图，完成Meanshift追踪过程。基于KOF的改进Meanshift算法的流程如图1所示。

图1 基于KOF的改进Meanshift算法流程图

3 实验结果与分析

3.1 非连续同色调背景下的跟踪实验

本文通过VS2010+OpenCV 2.0平台所编写的C++代码，对两个测试视频进行了实验，其中测试视频1中的跟踪目标为自行车，背景信息固定且包含与跟踪目标具有相似色调信息的单列车辆。实验中使用三种跟踪算法对目标进行追踪，其中图2为运用传统的Meanshift算法进行跟踪的效果图，图3为运用Meanshift-Kalman滤波算法进行跟踪的效果图，图4为运用本文中基于KOF的改进Meanshift算法进行跟踪的效果图。

图2 基于传统Meanshift算法的跟踪效果

图3 基于Meanshift-Kalman滤波算法的跟踪效果

图4 基于KOF的改进Meanshift算法的跟踪效果

反投影图中区域的高亮程度代表着其与目标模型色调信息相匹配的程度。因此，从图2、图3的反投影图可以看出，在第55帧确定跟踪目标时，背景图像中的停靠车辆与跟踪目标具有相似的色调信息，故而在第65帧中当跟踪目标靠近停靠车辆时，基于色调信息的传统Meanshift算法无法准确区分目标模型和背景区域，进而丢失跟踪目标；而基于Meanshift-Kalman滤波的跟踪算法在第65帧中并没有丢失跟踪目标。这是由于Kalman滤波的预测效果抵消了Meanshift算法的部分跟踪误差，且造成干扰的背景区域并非连续的同色调干扰背景，因此在之后的跟踪过程中算法并未受到相似色调背景的影响，故而能够精确地跟踪目标模型。从图4中的反投影图可以看出，本文算法较好地屏蔽了背景区域的干扰，因此在整个追踪过程中都保持了较高的跟踪精度。

3.2 连续同色调背景下的跟踪实验

测试视频2中的跟踪目标为行人，背景为与跟踪目标有相似色调信息的连续排列的车辆且背景为非固定背景。其中图5为运用传统的Meanshift算法进行跟踪的效果图，图6为运用Meanshift-Kalman滤波算法进行跟踪的效果图，图7为运用本文中基于KOF的改进Meanshift算法进行跟踪的效果图。

图5 基于传统Meanshift算法的跟踪效果

图6 基于Meanshift-Kalman滤波算法的跟踪效果

图7 基于KOF的改进Meanshift算法的跟踪效果

从图5-图7的反投影图可以看出，在第150帧中，由于跟踪目标与当前背景区域有较大的色调差异，两者在反投影图中的高亮程度相差很大，因此三种算法都可以精确地跟踪到运动目标。但从图5、图6的反投影图还可以看出，从第317帧开始，跟踪窗口内的背景区域和跟踪目标具有相似的色调信息，此时再使用只基于色调信息的传统Meanshift算法就无法准确地区分目标模型和背景区域，最终将导致追踪目标丢失；而基于Meanshift-Kalman滤波的跟踪算法通过Kalman滤波的预测增益抵消了部分Meanshift算法的跟踪误差，故而能够在第317帧中较好地追踪目标模型。但是，与3.1节实验中的非连续性背景干扰所不同的是，在第317帧之后的跟踪过程中，跟踪目标始终处于连续的同色调背景干扰中，因此在接下来的每一帧中Meanshift算法都无法准确地跟踪目标，这会使该算法的累积误差越来越大，直至第493帧完全丢失目标。而从图7的反投影图中可以看出，本文使用的基于KOF的改进Meanshift算法能够很好地消除连续同色调背景区域的干扰，定位跟踪目标区域，使算法能够准确、持续地跟踪目标。

为衡量以上算法跟踪效果，对实验视频2进行了定位精度分析，定义定位误差为:

(13)

其中，(xi,yi)为第i帧中跟踪窗口的中心坐标，(xic,yic)为第i帧中目标模型实际质心坐标，Li为两者的像素距离。据式(13)对整个跟踪过程进行比较，结果如图8所示。可以看出，在背景干扰不大的区域(前200帧)，三种算法都有较好的跟踪精度；然而在第220～270帧之间，传统Meanshift算法以及基于Kalman滤波的算法的跟踪精度略高于本文算法。这是由于改进算法中的特征点约束可能会造成部分目标信息的丢失，使跟踪窗口产生部分偏移所致。而在之后连续的同色调背景干扰区域，本文的改进算法的跟踪精度明显高于其他两种算法。

图8 不同算法定位误差比较

4 结 语

Meanshift算法能够快速、实时地跟踪目标，然而当跟踪目标处于连续同色调背景区域时，就会由于无法确定跟踪目标的信息而造成跟踪失败。本文结合KOF算法，首先根据光流法对色调空间的特征点进行检测，再根据Kalman速度预估甄选出目标模型的特征点信息，最后将特征点信息结合传统Meanshift算法中的色调信息构建新的反投影图，再进行目标跟踪。实验结果表明，结合KOF的改进Meanshift算法能够准确、持续地跟踪目标，有效地解决了连续同色调背景区域对目标跟踪造成的干扰问题。

[1] Bao L C，Yang Q X，Jin H L. Fast Edge-Preserving PatchMatch for Large Displacement Optical Flow[C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society，2014：3534-3541.

[2] Jun Qiang，Jun Chen，Jun Wang. An Interfield and Intrafield Weighted Interpolative Deinterlacing Algorithm Based on Low-Angle Detection and Multiangle Extraction[J]. Mathematical Problems in Engineering，2014(15)：1-8.

[3] Sun X，Yao H X. A refined particle filter based on determined level set model for robust contour tracking[J]. Machine Vision and Applications, 2014，25(7)：1727-1736.

[4] Hoshiya M，Saito E. Structural Identification by Extended Kalman Filter[J]. Journal of Engineering Mechanics，1984,110(12)：1757-1770.

[5] 胡威. 一种新的Meanshift快速运动目标鲁棒跟踪方法[J].计算机应用与软件，2014，31(1)：140-143.

[6] Song Y，Li S, Zhang J，et al. Scale Adaptive Tracking Using Mean Shift and Efficient Feature Matching[C]// 2014 22nd International Conference on Pattern Recognition (ICPR). IEEE Computer Society，2014：2233-2238.

[7] 邬大鹏，程卫平，于盛林. 基于帧间差分和运动估计的Camshift目标跟踪算法[J].光电工程，2010，37(1)：55-60.

[8] 崔文超，洪新华，吴正平. 一种运动背景下目标快速定位方法[J].三峡大学学报：自然科学版，2007，29(2)：163-166.

[9] 张春林，李小坚. 基于帧间差分和背景差分结合的Camshift目标跟踪算法[J].工业控制计算机，2014，27(6)：118-120.

[10] 董慧芬，董保磊，丁小芳,等. 基于相关区域分层的改进Meanshift目标跟踪算法[J].计算机应用，2014，34(S2)：286-290.

[11] 袁霄，王丽萍. 基于Meanshift算法的运动人体跟踪[J].计算机工程与科学，2008，30(4)：46-49.

[12] 王田，刘伟宁，韩广良,等. 基于改进Meanshift的目标跟踪算法[J].液晶与显示，2012，27(3)：396-400.

[13] Vojir T，Noskova J，Matas J. Robust scale-adaptive mean-shift for tracking[J]. Pattern Recognition Letters，2014，49：250-258.

[14] Sliti O，Hamam H，Benzarti F，et al. A More Robust Mean Shift Tracker Using Joint Monogenic Signal Analysis and Color Histogram[C]// 2014 22nd International Conference on Pattern Recognition (ICPR).IEEE Computer Society，2014：2453-2458.

[15] Bourmaud G，Mégret R, Giremus A，et al. Global motion estimation from relative measurements using iterated extended Kalman filter on matrix LIE groups[C]// Image Processing (ICIP)，2014 IEEE International Conference on.IEEE，2014：3362-3366.

ADAPTIVE MOVING TARGET TRACKING UNDER INCESSANT SAME HUE BACKGROUND

Chen Congping1Huang Zheng1Nie Wei1Shi Xiaotao2

1(CollegeofMechanicalandPowerEngineering,ChinaThreeGorgesUniversity,Yichang443002,Hubei,China)2(EngineeringResearchCenterofEco-environmentinThreeGorgesReservoirRegion,MinistryofEducation,Yichang443002,Hubei,China)

Aiming at the problem that traditional Meanshift algorithm cannot track the target accurately and constantly under the interference of incessant same hue background, we proposed an improved Meanshift target tracking algorithm which is based on Kalman-optical flow (KOF). First, it models the feature points within the area of Meanshift window by hue space-based optical flow detection algorithm, and gets the coordinates of their images. Secondly, it uses the speed prediction of Kalman filter to exclude background feature points and obtains the space constraint condition which is based on the target model feature points. Finally, it combines the derived space constraint condition with the hue constraint condition of traditional Meanshift algorithm to construct new back projection histogram, and uses the new back projection graph as the probability density map of Meanshift for iteration, so as to complete the target tracking. Experimental results demonstrated that under the interference of incessant same hue background area this algorithm could still track targets accurately and constantly.

Meanshift Target tracking Optical flow Kalman filter Same hue area

2015-07-30。国家自然科学基金项目(51475266)；三峡库区生态环境教育部工程研究中心开放基金项目(KF2015-11)；湖北省三峡大学培优基金项目(2015PY022)。陈从平，副教授，主研领域：机器视觉，自动化工程，流体动力学。黄正，硕士。聂葳，硕士。石小涛，副教授。

TP3

A

10.3969/j.issn.1000-386x.2016.11.033