融合时空多特征表示的运动人体目标跟踪算法

李晓峰，邢金明

1.黑龙江外国语学院 信息工程系，黑龙江 哈尔滨 150025

2.东北师范大学 体育学院，吉林 长春 130024

运动人体目标跟踪技术不仅可以获取到运动人体目标的个数[1]，还可以获取到运动人体目标的实时位置[2]。利用运动人体目标跟踪技术追踪目标的具体位置，为图像捕捉、反恐侦察等方面提供了重要支撑，运动人体目标跟踪技术具有较高的实用价值[3]，提升目标跟踪效果也成为近几年来相关领域的重点研究课题，目前已有国内外学者研究该课题并取得了一定成果。

文献[4]提出基于高斯混合模型的目标跟踪算法。采用自适应高斯混合模型实现目标定位，引入加权似然值调整图像的尺度及角度，实现目标精准定位。文献[5]提出基于图像序列的人体运动目标成像跟踪方法，引入粒子滤波算法，通过增加采样粒子改进算法，提高人体运动目标采样的种类，提高人体运动跟踪性能。文献[6]提出基于多层卷积特征的目标跟踪算法，提取运动图像的多层卷积特征，保证信息全面性，采用多层特征计算运动图像相关性，将响应中的目标位置与定位目标融合，提升算法的跟踪精度。文献[7]提出目标数目与角度联合跟踪算法。将主成分序列估计的思想引入改进非对称联合对角化(asymmetric joint diagonalization,AJD)算法中，得到迭代评估特征值。使用改进的信息理论完成目标跟踪。文献[8]提出基于相干处理间隔(coherent processing interval,CPI）的图像目标跟踪算法。为机动目标的逆合成孔径雷达(inverse synthetic aperture radar，ISAR）成像选择最佳CPI，使用扩展的卡尔曼滤波器(extended Kalman filter,EKF)估算目标的方向，采用最小二乘法找到不同时间间隔内运动的最佳拟合线，并在成像间隔内测量3 个旋转角的线性度，实现目标跟踪。文献[9]提出基于动态监控视频的运动目标实时跟踪算法，根据运动目标对光流的影响来筛选特征点，采用光流法估计运动目标的整体运动。最后，根据全局运动估计结果修改粒子滤波器的运动方程，同时选择颜色直方图作为目标的特征模型，从而对运动目标进行跟踪。

上述方法具有一定的有效性，但在跟踪准确度及耗时方面还有待提升，为此提出融合时空多特征表示的运动人体目标跟踪算法。根据运动人体目标位置提取跟踪的需求，借鉴目标跟踪算法，利用迭代思想在运动人体目标搜索区域提取目标位置，从而减少运动人体目标图像的形状和大小变化对目标位置提取的影响，提升目标跟踪准确性；融合待检测像素点、像素点矢量及最大似然估计值3 大特征，利用运动人体目标检测门限检测运动人体目标像素点，然后设计运动人体目标检测方法确定运动人体目标存在区域，最后通过运动人体目标跟踪算法的流程，实现运动人体目标的跟踪。本文的主要研究工作：1）通过迭代在运动人体目标搜索区域提取目标位置，完成运动人体目标位置的提取；2）采用融合时空多特征表示方法提取运动人体目标特征，融合待检测像素点、像素点矢量及最大似然估计值3 大特征；3）利用运动目标权值确定目标跟踪的位置坐标，增强运动人体目标的跟踪效果。

1 运动人体目标跟踪算法设计

1.1 运动人体目标位置提取

在运动人体目标跟踪之前，需要先提取运动人体目标位置，以增强运动人体目标的跟踪效果[10−11]。利用2 个运动人体目标位置的时间关系[12−13]，确定运动人体目标的初始运动速度，通过运动人体目标区域的质心位置，计算了运动人体目标的搜索窗大小，完成运动人体目标位置的提取。

对前2 帧运动人体目标进行反向投影，得到一张颜色概率分布图，然后在第1 帧运动人体目标图像中标注目标位置，并在位置区域内建立颜色概率分布图，再以运动人体目标位置为搜索中心，搜索第2 帧运动人体目标位置[14−15]，利用2 个位置的获取时间关系，确定运动人体目标初始运动速度为

式中：vx、vy分别为水平方向和竖直方向上的初始运动速度；x1、x2分别为水平方向上的运动起始点及终点；y1、y2分别为竖直方向上的运动起始点及终点；T表示获取2 帧运动人体目标的时间间隔。

确定运动人体目标的初始运动速度之后，从第3 帧运动人体目标开始，在波门范围内，将波门中心作为搜索中心，利用人体目标的一阶矩来确定质心位置。考虑到对运动人体目标不敏感的突出优点，目标的一阶矩用来确定运动人体目标的位置，运动人体目标在x轴和y轴的一阶矩定义为

式中：M10、M01表示运动人体目标不同位置处像素概率值；xi、yi分别表示人体运动的水平方向位移和竖直方向位移；i表示位移位置点序号；n表示最大位移位置点；pI(x,y)表示运动人体目标在(x,y)处的像素概率值。

根据式(1)可以得到运动人体目标区域的质心位置为

式中：M00为运动人体目标起始点的像素概率值。每完成一次迭代计算，就确定了一个运动人体目标质心位置，然后将搜索中心移至质心位置，并利用式(2)重新计算运动人体目标的搜索窗s的大小：

式中 γ表示运动人体目标搜索窗的控制参数。通过式(2)计算人体目标的搜索窗，提取运动人体目标位置。

1.2 融合时空多特征表示的运动人体目标检测

完成运动人体目标位置的提取后，检测提取的目标位置信息以增强跟踪效果。融合时空多特征表示即融合待检测像素点、像素点矢量及最大似然估计值3 大运动人体目标特征[16−17]，将多特征表示引入运动人体目标的联合概率密度函数，监测目标图像像素点，确定运动人体目标存在区域，提升跟踪准确性，并设计融合时空多特征表示的运动人体目标的检测步骤。

假设输入运动人体目标中，待检测像素点的概率密度函数p(xi)为

式中 β2表示运动人体目标图像的噪声功率。假设每一个运动人体目标图像像素点之间的干扰是相互独立的，采用N个样本数据来估计，像素点矢量表示为，那么矢量概率密度函数为

引入最大似然函数求解噪声功率 β2的最大似然估计值为

式中 α为运动人体目标检测门限乘积因子。

基于运动人体目标的联合概率密度函数[18]，设计融合时空多特征表示的运动人体目标的检测步骤为：

1)在待检测运动人体目标图像像素点的周围设置保护单元的大小，计算出运动人体目标图像像素点的个数N，同时设置运动人体目标期望的虚警概率；

2)计算运动人体目标检测门限乘积因子

3)对所有输入的运动人体目标图像数据进行平方律检波[19]；

4)对于某一个待检测的运动人体目标图像像素点xi，根据周围参考运动人体目标图像像素点的像素值，得到运动人体目标干扰功率的估计[20]；

5)利用式(3)计算出待检测运动人体目标图像像素点的门限值；

6)利用门限值检测运动人体目标图像像素点；

7)待检测运动人体目标图像像素点移动到下一个，返回步骤4)，直到达到门限值，从而确定运动人体目标存在区域。

以上在待检测像素点的概率密度函数的基础上，引入了运动人体目标的联合概率密度函数，通过运动人体目标检测门限，得到了融合时空多特征表示的运动人体目标的检测步骤，完成了运动人体目标的检测[21]；接下来通过运动人体目标图像跟踪算法设计，来实现运动人体目标图像的跟踪。

1.3 运动人体目标跟踪算法实现

设计运动人体目标跟踪算法，可以实现运动人体目标图像的跟踪，从而增强运动人体目标的跟踪效果。算法描述如下。

输入运动人体目标位置、像素以及运动速度等相关信息。

输出运动图像跟踪结果。

运动人体目标跟踪算法步骤如下：

1)初始化

运动人体目标i在图像跟踪的初始帧中，提取出运动人体目标灰度模板f(a,b)，及运动人体目标的初始运动参数。

取目标数N，每一个目标代表一种运动人体目标的运动状态，运动人体目标的初始权值 ωi取1，那么具有N个运动状态的图像参数，i∈1,2,···,N。

2)重采样

初始权值大的运动人体目标会衍生出更多的目标，然而初始权值小的运动人体目标对应的目标较少，将后代运动人体目标的权值设置为1。

3)状态转移

利用运动人体目标的检测结果来实现状态转移，对运动人体目标Ni有：

式中：A1、A2分别为水平方向的目标检测初始像素值和终止像素值；B1、B2分别为竖直方向的目标检测初始像素值和终止像素值；w表示状态转移次数。

4)系统观测

对每一个运动人体目标状态转移后，用对应的新坐标来计算中位数绝对偏差(median absolute deviation,MAD)，定义运动人体目标的概率密度函数为

式中：σ表示概率密度值；MAD 表示运动人体目标位置数据集中位数绝对偏差。每一个运动人体目标的权值为

运动人体目标图像跟踪位置坐标可以表示为

5)令t=t+1，返回步骤2)。

根据运动人体目标跟踪算法的步骤，得到了运动人体目标跟踪算法流程，如图1 所示。

图1 运动人体目标跟踪算法流程

综上所述，利用2 个运动人体目标位置的获取时间关系，确定运动人体目标的初始运动速度，通过运动人体目标区域的质心位置，计算了运动人体目标的搜索窗大小，完成运动人体目标位置的提取；通过运动人体目标检测门限，得到了融合时空多特征表示的运动人体目标的检测步骤，完成了运动人体目标的检测；最后通过运动人体目标跟踪算法设计，实现了运动人体目标图像跟踪。

2 实验结果与分析

设置仿真实验验证所提算法的有效性，为确保运动人体目标跟踪效果实验的真实性和准确性，采用文献[4−6]的方法做为实验对比。

2.1 实验环境及实验数据集

选用Matlab 仿真软件作为实验平台，在Pascal Voc 数据集中选择运动人体目标图像作为实验对象。在实验前设置相应的实验参数，如表1 所示。

表1 实验参数设置

2.2 实验方法及步骤

1)利用中值滤波法滤除提取到的运动人体目标图像的噪声，基于融合时空多特征表示检测运动人体目标图像，确定运动人体目标图像中不同的连通域；

2)利用图像质心法对运动人体目标图像每一个连通域进行凝聚处理，输出每一帧运动人体目标图像的位置信息；

3)记录开始提取运动人体目标的时刻，直到完成运动人体目标图像的跟踪；

4)分别采用文献[4−6]跟踪算法以及所提跟踪算法进行运动人体目标图像的跟踪实验，得到目标跟踪效果对比图，记录运动人体目标图像跟踪结束时的时刻，计算整个跟踪过程的耗时，以及4 种跟踪算法的耗时对比情况。

2.3 评价指标

1)目标跟踪准确率：即对运动人体目标位置的检测准确性，检测位置越接近运动人体目标自身位置，表明该方法的目标跟踪准确率较高。

2)目标跟踪效率：统一跟踪目标的个数，在此情况下，目标跟踪耗时越短，表明该方法的跟踪效率较好。

3)目标跟踪查全率：在相同的目标个数下展开多次跟踪测试，每次跟踪到的目标个数越多，表明所提方法的跟踪查全率越好。

2.4 实验结果

利用上述的实验方法和步骤，在数据库中选择一张马拉松运动图像，得到不同跟踪算法的目标跟踪效果对比结果，如图2 所示。

图2 不同跟踪算法的目标跟踪效果对比

分析图2 可知，文献[4]方法能够准确跟踪较大的运动目标，但对较小的运动目标的跟踪结果不准确；文献[5]检测到了马拉松图像中包含的摩托车骑行者，检测准确率较差；文献[6]能检测到较为明显的运动目标，但存在一些错误的检测结果；而所提方法对马拉松运动目标的识别率较高，准确跟踪到大部分运动目标，目标跟踪准确率较高。

以图2 中目标跟踪效果为依据，绘制目标跟踪准确率对比图，如图3 所示。

图3 目标跟踪准确率对比

分析图3 可以看出，随着测试时间的增加，不同算法的跟踪准确率均出现一定的上升，本文算法的目标跟踪准确率最高达到92%左右，其次是文献[6]算法，最高准确率达到75%左右，文献[4−5]的跟踪准确率相对较低，最高不超过55%。通过数据分析可看出，本文算法能够以高准确率完成目标跟踪，具有明显的优势。

设置跟踪目标为100 个，采用不同跟踪算法得到跟踪耗时情况如表2 所示。

表2 跟踪耗时对比统计 s

从表2 结果可以看出，随着运动人体目标数量的增加，跟踪耗时也越来越长，采用文献[4]跟踪算法跟踪运动人体目标的平均跟踪耗时为0.66 s；采用文献[5]跟踪算法跟踪运动人体目标的平均跟踪耗时为0.67 s；采用文献[6]跟踪算法跟踪运动人体目标的平均跟踪耗时为0.70 s；而采用所提的运动人体目标跟踪算法在跟踪运动人体目标图像时，随着运动人体目标数量的增加，跟踪耗时虽然也有增长的趋势，但是整体增长幅度较小，平均跟踪耗时为0.40 s。因此可以得出所提出运动人体目标跟踪算法的跟踪耗时较短，目标跟踪效率较高。

在上述设置下，采用不同跟踪算法得到目标跟踪查全率情况如图4 所示。

图4 不同跟踪算法的目标跟踪查全率对比

由图4 可知，在7 次人体运动目标跟踪检测实验中，文献[4]算法对目标跟踪的查全率平均值为55%，文献[5]算法对目标跟踪的查全率平均值为71%，文献[6]算法对目标跟踪的查全率平均值为66%，而所提算法对目标跟踪的查全率平均值为93%。所提算法融合了待检测像素点、像素点矢量及最大似然估计值3 大特征，将多特征表示引入运动人体目标的联合概率密度函数，因而能够全面确定运动人体目标的存在区域，提供目标跟踪查全率。

3 结论

1)首先提出融合时空多特征表示的运动人体目标跟踪算法。利用运动人体目标位置的获取时间关系确定运动人体目标的初始运动速度，通过运动人体目标区域的质心位置，计算了运动人体目标的搜索窗大小，完成运动人体目标位置的提取。

2)其次通过运动人体目标检测门限，得到了融合待检测像素点、像素点矢量及最大似然估计值3 大特征的运动人体目标的检测步骤，完成了运动人体目标的检测。

3)最后通过运动人体目标跟踪算法设计，实现了运动人体目标的跟踪。实验结果显示，提出的运动人体目标跟踪算法可以缩短跟踪耗时，对运动目标的跟踪准确率较好，跟踪查全率较高，跟踪效果得到了很大的提升。

4)未来的研究中，将以提升模糊运动人体目标图像跟踪准确性为研究目标，进一步改进融合时空多特征表示的运动人体目标跟踪算法。