基于颜色块重检的自适应抗遮挡目标跟踪算法

2022-09-06 11:09陈富健谢维信

计算机工程与应用 2022年17期

陈富健，谢维信

深圳大学ATR国防科技重点实验室，广东深圳 518060

在目标跟踪过程中，目标往往因被物体遮挡造成丢失，导致跟踪器无法继续精准跟踪目标。为解决这一难题，提高跟踪器在遮挡条件下的跟踪鲁棒性和跟踪精度，需为跟踪器设计不同的抗遮挡机制。Kalal等[1]首先提出将目标检测模块和目标跟踪模块相互结合的机制，达到在目标丢失时跟踪器能够依赖目标检测模块找回目标的目的。但由于该算法使用特征点跟踪的模式，跟踪精度较低。为提高跟踪精度，Ma等[2]在相关滤波器的基础上，提出一种相关滤波算法和随机蕨分类器结合的跟踪算法LCT，有效提高了目标跟踪的精度。Ma等[3]进一步改进目标检测器，提出了LCT+跟踪器，利用支持向量机替换随机蕨分类器，但目标检测的范围依然有局限性。Zhao等[4]改进了LCT跟踪器，利用生成的候选框来判断候选框内的边缘与目标边缘的相似性检测目标，实现了目标的全局检测。Hu等[5]在LCT的基础上，利用深度学习的方法YOLOv3[6]替换其检测器，改进了跟踪器的性能。Wang 等[7]利用改进的平均峰值相关能量判别标准初始化YOLOv3检测器和跟踪器。Li等[8]也在相关滤波器的基础上提出了一种分块的目标跟踪方法，该方法将目标切割成多块进行分别处理，能够有效处理遮挡的情况，但忽视了目标完整的全局信息，造成跟踪的精度不高。为解决这一问题，王任华等[9]提出了一种全局与局部分块联合的方法，同时考虑全局模型和分块信息进行跟踪。Dai 等[10]设计了一个元更新器，结合几何线索、判别线索和外观线索判断在长期跟踪过程中是否需要更新跟踪器以提高跟踪器的长期跟踪能力。

为解决该算法存在目标检测范围具有局限性的问题，在LCT+基准算法的基础上，提出了基于颜色块重检的自适应抗遮挡目标跟踪算法。首先提取初始帧目标的颜色块信息，当目标发生跟丢时，利用该颜色块信息进行目标重检测。提出的目标检测方法能对全局图像范围进行目标的重检测，扩大了目标检测的范围，有效定位丢失的目标，提高了在遮挡情况下目标跟踪的鲁棒性。

1 LCT+算法基本原理

1.1 核相关滤波原理

LCT+的基准跟踪器主要基于文献[11]的核相关滤波器。为获得核相关滤波器w，基于循环矩阵的性质对大小为M×N的输入图像进行密集采样后，分别在水平和垂直方向进行m、n个像素点的循环移位操作得到样本xm,n。并且每个样本对应的标签y(m,n)符合高斯分布，则滤波器w可由式（1）给出：

f表示样本xm,n和滤波器w的相关操作，λ表示正则化系数。式（1）根据离散傅里叶变换的性质，可得到式（2）：

系数α可定义为：

F 和F-1分别表示傅里叶变换和傅里叶反变换。kxx表示核相关，在算法中使用的是高斯核，根据循环矩阵的性质，其可定义为：

⊙表示对应位置元素的相乘。当输入新的图像z时，则响应图为：

响应图y最大值所在点的位置为目标的中心位置。

1.2 尺度自适应

为获得目标的最佳尺度，对目标图像构建尺度金字塔。若当前目标图像的尺度大小为W×H，K表示尺度因子，构建尺度空间为：

计算每个大小为sW×sH图像块的响应值，则输出最大响应的尺度因子s，即为最优尺度。

1.3 支持向量机重检测

LCT+算法采用支持向量机作为目标重检测模块。若当前帧相关滤波器的响应值大于设定阈值，表明目标被正常跟踪，则提取当前帧目标的特征来训练支持向量机，以适应目标不断变化的状态。若当前帧相关滤波器的响应阈值小于设定阈值，表明目标处于跟丢状态，则激活支持向量机对目标进行重检测。

2 本文算法

2.1 算法框架

为解决LCT+算法无法对全局图像进行目标重检测的问题，提出基于颜色块重检的自适应抗遮挡目标跟踪算法。在目标运动过程中，目标的颜色信息在大部分情况下不会发生太大的改变。即使目标在运动过程中发生了形变，只要其颜色信息不变就能对目标进行重检测。该算法只需在初始帧中获取目标的颜色块信息，不像SVM 检测器时刻对目标进行特征的学习训练，可有效提高目标跟踪的速率。重检测采取的方法根据初始帧目标的颜色块信息对目标丢失帧进行颜色分割和形态学处理。由于该方法较为简洁，不会对跟踪器造成太大的负担，可有效提高跟踪效率。并且其能重新检测全局图像中的目标，扩大了目标检测的范围。

如图1 所示，该算法由两部分构成，包括初始帧目标的颜色块分割模块与目标重检测模块。在初始帧目标的颜色块分割模块中，对初始帧目标进行分割处理得到颜色块，以便应用在目标检测模块中。为得到分割的颜色块，通过建立颜色似然图、二值化和区域生长来进行处理。在目标检测模块中，根据在上一个模块中分割得到的初始帧目标颜色块信息对丢失帧进行颜色分割并进行图像形态学处理，然后和初始帧目标颜色块匹配。若匹配成功则定位到候选目标。将该候选目标输入到相关滤波器，若响应值大于阈值则确定为最终目标，重新定位目标。

2.2 初始帧目标颜色分割模块

初始帧目标颜色块分割模块主要包括两个部分：得到抑制背景的目标图像和计算该图像的颜色块。为了更加准确地计算目标的颜色块信息，需将目标附近的背景干扰进行剔除，否则将影响到颜色块的分割进而影响到后续目标重检测的执行。因此为得到抑制背景的目标图像，采用对目标图像建立颜色似然图的方法，计算目标图像的颜色块则采用彩色图像区域生长的方法。通过结合这两种方法，最终得到目标的颜色块，如图1（g）所示。

2.2.1 颜色似然图建立

颜色似然图的建立采用文献[12-13]中的方法，截取目标区域和其附近的背景区域，根据式（7）、（8）分别计算如图1（b）所示的目标似然图和如图1（c）所示的背景颜色似然图：

图1 基于颜色块重检的自适应抗遮挡目标跟踪算法框架Fig.1 Framework of adaptive anti-occlusion target tracking algorithm based on color block re-detection

其中，bx表示输入图像I对应的像素点x所对应的颜色通道值b，O表示目标区域，S表示背景区域，|· |表示统计该区域的数量值大小。其中，由式（7）和（8）结合可得式（9）：

通过上式计算得到如图1（d）所示的抑制背景的目标颜色似然图后，对该目标颜色似然图进行二值化处理得到滤波模板，利用该滤波模板与初始帧的目标进行点乘滤波，可得到抑制背景后的目标图像。

2.2.2 彩色图像区域生长

获得抑制背景的目标图像后，采用彩色图像区域生长的方法对目标图像进行自适应颜色块分割，以获取目标的颜色块信息。彩色区域生长算法的步骤如下：

步骤1制定种子阵列模板。如图2（a）所示，在滤波模板中随机选取一个种子点进行区域生长。区域生长规则满足8连通域。

步骤2颜色像素点差值计算。当图2（b）的输入目标图像的像素点与种子点在8 邻域之间的对应颜色像素点的差值小于设定阈值时，将该点添加到种子点阵列中。更新种子阵列后，继续与输入目标图像进行计算。其中，颜色像素点之间的差值计算满足：

其中，R、G、B表示向量a和z的RGB颜色分量。a表示种子阵列模板，z表示目标图像。

步骤3当前次彩色图像区域生长停止条件。根据步骤2循环往复计算，直至种子阵列不再增长则输出彩色区域生长的图像，如图2（c）所示。其中，图2 的虚线框内表示当前次彩色图像区域生长的状态。

步骤4新滤波目标的计算。当计算完一个彩色图像生长区域后，将图2（a）的滤波模板减去图2（d）的种子阵列模板得到图2（e）的新滤波模板。

步骤5新输入目标图像的计算。图2（e）的新滤波模板与图2（b）的输入目标图像进行点乘运算，滤波后得到图2（f）的新输入目标图像。

步骤6重复上述步骤计算新的分割区域。根据新输入的目标图像进行彩色图像区域生长，重复步骤1～步骤3，计算得到图2（g）的下一个分割出的区域。重复步骤4 和步骤5 得到新输入目标图像，继续循环往复直至所有区域被分割完毕。

图2 彩色图像区域生长示意图Fig.2 Schematic diagram of region growth in color image

步骤7判断分割区域是否保留。利用彩色图像区域生长算法分割输入目标图像得到不同的区域后，最终判断分割区域的连通域是否大于设定阈值，如果大于设定的阈值，则保留该分割区域，最终结果如图2（k）所示。其中，该阈值的设定为：

其中，h和w分别表示输入目标图像的高度和宽度，α表示系数，S表示连通域阈值大小。当分割区域的连通域大于上式任意一个条件，保留该分割区域。

经过步骤1～步骤7后，输入目标图像被分割成多个颜色块区域，选取大于阈值的颜色块区域作为后续目标检测的颜色分割以及匹配的标准。

2.3 目标重检测

2.3.1 颜色分割

通过颜色分割的方法来检测丢失帧中的目标，其能够对全局图像进行处理，避免LCT+算法中检测范围的局限性。在进行颜色分割时，根据2.2.2小节步骤2中的式（10）可得颜色分割的阈值，其中R、G、B表示向量a和z的RGB 颜色分量。a表示丢失帧图像，z表示2.2.2小节中得到的颜色块。

如图1所示，经过2.2节得到图1（g）中的颜色块后，对图1（h）的丢失帧进行颜色分割，得到图1（i）的颜色分割结果。

2.3.2 形态学处理

如图1（i）所示，颜色分割后的图像还存在噪声点等情况。且在颜色分割过程中存在分割误差，导致分割后的颜色块可能会出现孔洞。为了更加准确地匹配初始帧目标的颜色块，采用形态学中的连通域方法和孔洞填充处理噪声点。

对图1（i）中的颜色分割后的图像进行孔洞填充，使其形状接近于初始帧目标的颜色块。采用连通域方法计算其连通域大小，删除小的连通域，即过滤噪声点，得到图1（j）的图像。

2.3.3 目标匹配

颜色块匹配利用初始帧目标颜色块的几何信息和颜色分割处理后图像中的颜色块几何信息进行匹配，定义匹配置信度score为：

下标tgt表示初始帧目标的颜色块，det表示检测到的颜色块，A表示连通域的大小，s表示尺度因子，AR表示该连通域大小占该颜色块框大小的比率，LWR表示该颜色块长宽的比率，L表示颜色块的长度，W表示颜色块的宽度，Cct表示目标丢失前的中心坐标，Cdet表示检测到颜色块的中心坐标，hw表示初始帧目标颜色块的最长边，n表示目标丢失帧的数量。式中r=‖Cct-Cdetj‖/(2×hw×n)表示随着丢失帧数量n的累加，能不断扩大重检测的范围。当丢失帧数量n较小时，目标重检范围随之减小，从而避免检测到远处的干扰物。因为随着丢失帧数量n的累加，若‖Cct-Cdetj‖的差值越大，总体上r的值和原来变化不大，则置信度score变化不大。‖Cct-Cdetj‖表示目标丢失前位置和检测到颜色块的距离，‖Cct-Cdetj‖的差值越大而置信度score变化不大，这表明能检测到的颜色块范围也越广。根据式（12）计算得到置信度最大的颜色块，然后基于该颜色块计算该目标的中心位置坐标，获得候选目标。

由于在重检测过程中可能遇到具有相似颜色的干扰物，因此还需进一步验证颜色块匹配计算得到的候选目标。在LCT+算法中，相关滤波器的特征训练基于HOG特征和HOI特征，这两种特征对于目标形变、平移变换等情况适应性较好。将得到的候选目标输入到相关滤波器中，若响应值大于1.3×max_response，表明该候选目标为真正的目标，max_response表示上一帧相关滤波器的响应值。

如图3所示，以红色颜色块为例说明目标匹配的过程。在2.3 节中获得了在初始帧目标中分割的颜色块，如图3（c）所示。通过式（12）计算图3（a）中初始帧目标颜色块和图3（b）中丢失帧分割出颜色块的置信度，结果分别为0.38 和0.56。判断置信度是否大于阈值Ts=0.48，大于该阈值后取最优颜色块，如图3（f）所示。然后在丢失帧图像中定位到候选目标的位置，并截取该候目标所在的区域，并将候选目标输入到相关滤波器中。

相关滤波器经过训练后已知目标模板特征和系数矩阵α。提取候选目标的特征后，根据式（4）计算候选目标的特征与已知目标模板特征的核相关kxz。根据式（5），计算核相关kxz和已知系数矩阵α的响应图y，最终结果如图3（k）所示。该响应图的峰值大小response为0.38。若相关滤波器的响应值输出大于阈值1.3×max_resopnse，确定为正确目标。由于在上一帧中max_resopnse=0.137，因此该候选目标的响应值大小response＞1.3×max_response=0.178 1，确定该候选目标为正确目标并在丢失帧中进行定位，最终目标重检测成功，如图3（l）所示。

重新检测到目标后，根据该重检目标更新相关滤波器和尺度s。尺度更新是指对重检目标建立尺度金字塔，取最优尺度s，如图3（m）所示。提取重检目标的特征更新相关滤波器，如图3（o）所示，基于该特征更新目标模板特征以及计算得到系数矩阵α，并更新该系数矩阵α。

图3 颜色块匹配过程Fig.3 Process of color block matching

2.3.4 目标定位

在2.3.3小节中，若颜色块匹配则定位目标，但此时颜色块的坐标和目标的中心坐标并不一致，需定位到目标的中心位置上。由于颜色块的位置和目标的中心位置存在一定的关系，可根据初始帧目标的颜色块位置和中心位置推断出所检测到目标的中心位置，由式（13）和（14）计算出目标的中心位置：

(xtgt1,ytgt1)表示初始帧目标的中心位置（如图4（a）和图4（b）红色星号所示），(xtgt2,ytgt2)表示其颜色块的中心位置（如图4（b）蓝色星号所示）。(xdet1,ydet1)表示丢失帧中目标颜色块的中心位置（如图4（c）蓝色星号所示），(xdet2,ydet2)表示丢失帧中目标的中心位置（如图4（c）红色星号所示），s表示尺度因子。

图4 目标定位过程Fig.4 Process of target location

如图4所示为目标定位的过程，计算图4（b）初始帧目标的中心位置和其颜色块中心位置的距离：

则d=(d1,d2)=(-2.0,-25.5 )。当目标丢失后，如图4（c）所示，重新检测出颜色块的中心位置，根据初始帧目标中心位置和其颜色块中心位置的距离d以及尺度因子s=0.9，计算该重检测目标的中心位置：

则(xdet2,ydet2)=(297.3,231.27)，最终定位目标的中心位置坐标结果如图4（d）所示。

2.4 算法流程图

图5为算法的流程图，主要分成初始化帧目标颜色块分割和目标重检测。

图5 算法流程图Fig.5 Flow chart of this algorithm

初始帧目标颜色块分割的流程如下：首先，计算初始帧的目标和背景颜色似然图。其次抑制目标附近的背景，对彩色图像进行区域生长分割获得颜色块。经过上述初始化步骤操作后，使用相关滤波跟踪目标，若视频序列帧都被处理完后结束运行，否则持续判断目标是否丢失。若目标丢失则进行目标重检测，如果没有发生目标丢失则继续进行相关滤波目标跟踪。

目标重检测利用颜色块信息对丢失帧进行颜色分割，将分割后的图像进行形态学处理并判断分割的颜色块和初始帧目标颜色块是否匹配。若匹配失败则继续进行目标重检测，若匹配成功则定位到候选目标上，并将该候选目标输入到相关滤波器进行计算，当响应值大于阈值，输出所检测到的目标定位，最后继续进行相关滤波跟踪。

3 实验结果与分析

3.1 评估指标

OTB50 和OTB100 公开数据集涵盖了大量的具有挑战性情况的视频集，例如目标遮挡、目标形变、目标旋转、背景干扰、目标形变、目标快速运动等情况，能够有效验证目标跟踪算法的有效性。

成功率和距离精度均以标注框的第一帧初始化跟踪器，依据跟踪器输出的跟踪结果评估目标跟踪算法，该评估方法称为一次性通过评估（one-pass evaluation，OPE）。本文主要评估目标的抗遮挡性能，因此采用OPE的评估方法能够准确地计算各个算法在OTB数据集上的抗遮挡性能。

3.2 实验参数

本文所提算法的核相关滤波器的参数设置和基准算法LCT+所设置的一致。在彩色图像区域生长参数的设置上，系数α设为0.1，连通域S设为150。在颜色分割的参数设置上，分割系数D设为5/128。在形态学处理的参数设置上，匹配阈值Ts设为0.48。

算法的实验代码在LCT+的开源MATLAB 代码上进行改进，删除了支持向量机重检测模块，增加了基于颜色块的自适应目标重检测模块。在算法验证的实验中，使用的电脑配置为Intel Core i5-8300 2.3 GHz 的CPU和8 GB的RAM。

3.3 定量分析

图6 和图7 为所提算法和其他一些主流算法如fDSST[15]、LCT+[3]、DSST[16]、KCF[17]、MRCT[18]在OTB50和OTB100数据集上的算法精度和成功曲线图。如图6所示，在OTB50数据集上，对比基准算法LCT+，所提算法在距离精度和成功率分别提高了0.038和0.028。如图7所示，在OTB100 数据集上，对比基准算法LCT+，所提算法在距离精度和成功率分别提高了0.033 和0.020。所提算法不仅提高了基准算法的精度，而且超过上述几个主流跟踪算法fDSST、DSST、KCF 和MRCT，表明所提算法在目标跟踪上具有较高的精度。

图6 OTB50数据集的测试结果Fig.6 Results of one-pass evaluation in OTB50 dataset

图7 OTB100数据集的测试结果Fig.7 Results of one-pass evaluation in OTB100 dataset

为了验证所提算法的抗遮挡性能，选取OTB50 和OTB100 中存在遮挡情况的视频集进行算法评估，如图8和图9所示。由图8可知，在OTB50遮挡数据集上，相比LCT+算法，所提算法在距离精度和成功率分别提高了0.066和0.049；由图9可知，在OTB100遮挡数据集上，相比LCT+算法，所提算法在距离精度和成功率分别提高了0.075 和0.048，并且相比其他一些主流算法，在成功率和距离精度上都相对较优。在OTB50 和OTB100数据上的测试表明基于颜色块的自适应跟踪算法能够有效处理目标被遮挡的情况，实现了目标的重新检测并定位，有效提高了目标的精度。

图8 OTB50中遮挡数据集的测试结果Fig.8 Results of one-pass evaluation in OTB50 occlusion video sequence

图9 OTB100中遮挡数据集的测试结果Fig.9 Results of one-pass evaluation in OTB100 occlusion video sequence

表1为跟踪器运行速率的对比，由于所提算法的检测过程比基准算法LCT+简单，并且不必对SVM分类器进行训练，其跟踪速率有所提高。

表1 算法运行速度对比Table 1 Comparison of algorithms running speed

在OTB50和OTB100的视频数据集中，具有低分率（low resolution，LR）、出视野（out-of-view，OV）、背景杂波（background clutters，BC）、平面外旋转（out-of-plane rotation，OPR）、平面内旋转（in-plane rotation，IPR）、快速运动（fast motion，FM）、运动模糊（motion blur，MB）、非刚体变形（deformation，DEF）、尺度变化（scale variation，SV）、光照变化（illumination variation，IV）、遮挡（occlusion，OCC）一共11种情况。

在OTB50 和OTB100 中不同属性干扰下的成功率和距离精度实验结果分别如表2 和表3 所示。其中，表中的粗体字表示最优结果，下划线表示次优结果。

表3 在OTB50和OTB100上不同属性算法的距离精度对比Table 3 Comparison of distance precision of algorithms with different attributes on OTB50 and OTB100

由表2 可知，在OTB50 的成功率结果中，所提算法在OCC、OV、DEF 和IPR 这4 个属性上都表现最优，并且其余多个属性表现次优。在OTB100 的成功率结果中，所提算法在OCC、OV、SV、DEF、MB、FM、IPR和OV这8个属性上都表现最优，并且其余的属性表现次优。

表2 在OTB50和OTB100上不同属性算法的成功率对比Table 2 Comparison of success rate of algorithms with different attributes on OTB50 and OTB100

由表3 可知，在OTB50 的距离精度结果中，本文算法在OCC、OV、SV、DEF、IPR 和LR 这6 个属性上都表现最优，并且其余多个属性表现次优。在OTB100的距离精度结果中，所提算法在除了BC属性上都表现最优。

3.4 定性分析

为了可视化所提算法的抗遮挡性能效果，挑选了6个具有代表性的视频集，将所提算法与其他几个主流跟踪算法进行比较，跟踪结果如图10所示。表4为这5个视频集分别具有的属性值。其中，这6个视频集都具有遮挡属性，并且还包含其他的属性值。

表4 视频序列对应的属性Table 4 Corresponding attributes of video sequence

如图10所示，从上到下分别为Girl2、Walking2、Jogging2、Panda、Skating2-1、Skating2-2视频集。在Girl2视频序列中第112帧发生目标被遮挡的情况，而且目标相比于第10 帧中行人已经转身，目标发生了较大的变化。所提算法依然能够通过颜色块分割后进行目标重检测，并在第129帧中重新找回目标且准确定位到目标上，而其他跟踪算法由于被遮挡物干扰而将目标跟丢。

目标在Walking2和Jogging2的第257帧，第53帧中都被不同程度地遮挡，通过颜色块检测器，所提算法重新跟上目标，而LCT+算法和其他部分算法跟丢了目标。

在Panda、Skating2-1和Skating2-2视频集中，由于发生了遮挡、目标形变等情况，LCT+跟踪器产生了偏移，并且其他跟踪器也都存在不同程度的偏移，造成了目标丢失。例如，在Panda视频集的第378帧和Skating2-1视频集第90 帧，LCT+跟踪器跟丢目标后无法再跟上目标。虽然目标相比初始帧发生了形变，但所提算法依然能在判断目标跟丢后通过颜色块信息重新检测目标，持续跟踪目标。在Skating2-2视频集的第49帧中LCT+算法和所提算法由于目标形变、快速变化跟丢目标，但在第198帧中所提算法又重新检测并持续跟踪目标。

因此，所提算法在目标发生形变时依然能够检测出目标，并在目标发生遮挡重新出现时也检测出目标，表明所提算法在抗遮挡上具有较优的性能与较好的鲁棒性。

图11为图10中视频集对应点的中心位置误差的波形图。波形图的值越大，表明跟踪到目标框中心位置和标注目标框中心位置的距离误差值越大，跟踪器越不稳定；值越小表明跟踪到的目标框中心位置和标注目标框中心位置的距离误差值越小，跟踪器越稳定。在出现目标被遮挡的情况时，所提算法对应的波动较大，经过基于颜色块的重检测目后，波动减少。因此，跟踪器能较好地进行跟踪，而其他跟踪器的波动相比本文跟踪器波动较大。

图10 所提算法与其他5种跟踪算法在6个视频序列中的定性比较Fig.10 Qualitative comparison between proposed algorithm and five other tracking algorithms in six video sequence

图11 所提算法在其中6个视频序列中与其他跟踪算法的对比Fig.11 Comparison of proposed algorithm with other tracking algorithms in six video sequences

所提算法采取基于颜色块重检的自适应抗遮挡策略，当检测到目标丢失后，基于初始帧目标的颜色块信息进行目标重检测，较好地处理目标被遮挡的情况，能够长期稳定地进行目标跟踪。

4 结束语

基于颜色块重检的自适应抗遮挡目标跟踪算法能够在提取初始帧目标的颜色块信息后，根据颜色块信息重检测跟丢的目标并进行匹配，最终重新跟踪目标。该算法利用颜色块检测模块替换了LCT+算法中的支持向量机检测模块，实现了目标的全局检测。通过在OTB上的实验表明，所提算法改善了目标的抗遮挡性能，有效提高了目标跟踪的速度和精度，实现了目标的鲁棒性跟踪。在下一步的工作中，将致力于研究初始帧目标模板的更新问题，通过更新该模板从而更新颜色块信息以提高重检测的精度，提高跟踪器的鲁棒性。