基于跨视角目标匹配策略的多视角人员跟踪方法

吴楷泽

(广东工业大学,广东 广州510000)

现如今,智能视频监控系统已经在各个行业领域中受到广泛应用,并在风险预警、保障安全过程中发挥了巨大的作用。在智能化视频监控系统中,以人员为主要的目标对象的风险分析、辅助决策等智能化功能的开发主要依赖于人员目标跟踪的实现。人员目标跟踪在实际应用中面临着目标遮挡和目标短暂消失的挑战。针对遮挡问题,文献[1]中在跟踪目标主体选取多个部位并为其设置各自的跟踪器进行独立的跟踪,当某些部位被遮挡时,其他未遮挡部分的跟踪器仍能保持跟踪。该方法虽然能够解决部分遮挡的问题,但当目标被完全遮挡或者短暂离开当前画面后重新出现的情况下该方法仍会出现跟踪中断问题。

单视角摄像头在目标跟踪过程中因遮挡问题导致跟踪失败的情况,究其原因是单视角摄像头视域受限,获取目标信息有限。若采用多个摄像头从多个角度对目标进行跟踪,获取目标更为全面的信息,提高目标跟踪的准确性。

多视角目标跟踪的实现中,同一目标呈现到不同视角的摄像头的采集图像中各不相同,当同时跟踪多个目标时,需要为不同视角获取到的多个目标结果建立关联匹配关系。常见的跨视角目标关联方法主要要基于两种思路,一种是基于目标颜色特征的约束关系,另一种是基于目标的空间约束关系。对于基于目标颜色特征约束建立的目标匹配关系,其结果易受光照环境影响。当摄像头分辨率较低采集到的目标区域较小时,其颜色特征并不明显,此种情况,通过颜色特征建立目标匹配关系的思路将不适用。因此本文从目标的空间约束关系出发,制定相应的跨视角匹配策略,建立目标关联关系,从而实现多视角目标跟踪。

1 相机成像模型

2 跨视角目标匹配策略

2.1 基于脚底坐标的跨视角目标匹配策略

2.2 基于头部坐标的跨视角目标匹配策略

3 基于跨视角目标匹配策略的多视角目标跟踪流程

基于跨视角目标匹配策略的多视角目标跟踪流程可用如图1的流程图表示。

现对流程图主要环节简述如下：

3.1 相机初始化

相机初始化过程主要是采用张正友标定法[2]对相机进行标定,以确定相机的内外参数,建立相机成像几何模型。

3.2 提取运动目标

在该环节中,首先采用Vibe 算法[3]进行背景建模,对于每一帧图像,对背景模型减除得到前景图像,对前景图像进行轮廓提取,获得运动目标。

3.3 目标跟踪

遍历获取到的每个运动目标,采用camshift-kalman[4,5]跟踪器对运动目标进行跟踪,若运动目标与已经存在的跟踪器相匹配,则视为旧目标,并对该跟踪器进行更新；若未找到相匹配的跟踪器,则进入步骤4 的跨视角目标关联匹配环节。

3.4 与其他视角相机目标是否关联

该环节中,将待匹配目标与其他视角相机获取到的运动目标进行匹配,匹配策略采用第2、3 节分析的基于脚部坐标和头部坐标的评估方式,若未能与其他视角匹配,则判断为新出现的目标,进行步骤5 的行人检测环节；若以匹配,则对跟踪器进行更新。

3.5 行人检测

对于新出现的目标,采用DMP[5]特征进行人员检测,若为人员目标,则为其注册跟踪器,并在后续的视频帧中为该目标保持跟踪。

4 跨视角目标检测流程实现结果展示与分析

4.1 流程实现结果展示

图2 为跨视角目标匹配过程。其中,视角A 当前帧包含了两个运动目标,该两个目标均与历史跟踪器相匹配,因而能通过历史帧的回溯获取目标ID。视角B 同样包含两个目标,其中一个未能找到相匹配滤波器,无法通过历史帧获取目标ID。将该目标采用跨视角目标匹配策略与视角A 获取到的目标相匹配,继而通过跨视角回溯方式获取目标ID,保持继续跟踪。

图1 多视角目标跟踪流程图

图2 跨视角目标匹配过程

4.2 跨视角目标关联匹配策略分析

本文通过2、3 节的分析,制定了三种跨视角目标匹配策略方案,分别如下：

方案一：基于脚底坐标的跨视角目标匹配策略；

方案二：基于头部坐标的跨视角目标匹配策略；

方案三：先基于脚底坐标进行目标匹配判断,若匹配成功则视为同一目标；若匹配失败则再基于头部坐标进行目标匹配判断,若匹配失败则判定为不是同一目标,反之则为统一目标。

对三个方案的测试结果如下：

表1 三种方案测试结果表

由表1 分析可得,三种方案能够成功地对不同视角的视频帧运动目标进行匹配,其中方案三的匹配成功率最高,这是由于方案三结合了方案一和方案二的匹配结果再做出统一的判断,但三种方案都存在一定的匹配失败的情况。究其原因,主要是由于脚底或者头部坐标的跨视角匹配策略都是基于运动目标提取区域的位置来获得,若提取的运动目标区域存在误差,同时,脚底与头部坐标采用中点的近似估算,相机标定过程可能存在头部被遮挡,也会影响其坐标提取准确度,在方案三中,采用了脚底坐标和头部坐标综合判断的策略,该策略只有在头部与脚底均被遮挡时才可能造成误判,从而方案三的成功率比方案一和方案二都高。

结束语

本文基于目标的空间约束关系提出了基于脚部和头部的跨视角目标匹配策略,并通过实验测试证明了该匹配策略在多相机目标跟踪过程中的可行性。应用该策略有效减少了目标因遮挡或者暂时离开画面而导致跟踪中断情况的出现。同时如上节分析,该策略因坐标估算和相机标定累积的误差,导致该策略存在误判现象,此时可以考虑结合颜色特征的关联匹配策略进行辅助判断,以提高匹配成功率。