基于激光点云坐标系的3D多目标跟踪算法研究

顾立鹏,孙韶媛,刘训华,李 想

(东华大学信息科学与技术学院,上海 201620)

1 引 言

多目标跟踪属于计算机视觉领域中的子问题,一直以来是工业界甚至国防工业中的核心技术之一。近年来,随着深度神经网络技术的迅速发展,多目标跟踪技术领域的相关研究再次在无人车、视频监控、智慧城市大脑等领域展现出蓬勃生机[1-7]。无人车利用自身搭载的各种传感器采集车身周围的信息,并用相关目标检测算法提取出车身周围其他车辆、障碍物、交通标志等信息,最后再根据所提取的信息完成路径规划、驾驶决策等后续功能。由于无人车需要对车身周围其他车辆、障碍物、交通标志等目标进行持续跟踪,才能完成后续的路径规划、驾驶决策等功能,因此多目标跟踪算法在无人车整体系统中起着“承上启下”的作用,是最核心的技术之一[8-10]。

应用于无人车领域的多目标跟踪算法近年来取得了许多不错的成果。Jiangmiao Pang等人提出了多目标跟踪算法Quasi-Dense,具体为以目标特征建模切入点,使用一种稠密相似性学习方法,通过在一对图像上密集地抽取数百个区域进行对比学习,以学习出每个目标的特征,然后在推理阶段使用最近邻匹配实现多目标跟踪[11]。Abhijeet Shenoi等人提取了多目标跟踪算法JRMOT,具体为将2D RGB图像和3D激光点云一起输入到一个联合概率关联框架中,以实现在线3D多目标跟踪[12]。Xinshuo Weng等人在多目标跟踪算法SORT的基础上进行改进,提出了多目标跟踪算法AB3DMOT,具体为将以二维边界框表示的目标拓展成以三维边界框表示,然后以目标三维边界框之间的交并比3DIoU为度量指标,使用匈牙利算法匹配相邻两帧之间的目标[13]。虽然上述方法均可以对无人车的车身周围存在的车辆与行人进行较好地跟踪,但仍存在下述问题:1)Quasi-Dense算法中目标特征提取过程过于复杂；2)JRMOT算法需要多传感器感知车身周围的信息,并且需要相关算法融合多模态的信息,造成了成本的增加与算法的复杂度；3)AB3DMOT算法虽然是以激光雷达作为单独传感器感知车身周围信息,但仍然将检测到的目标转换到了车载相机坐标系下进行后续跟踪环节,这必然造成计算成本的增加。

针对上述问题,提出了基于激光点云坐标系的多目标跟踪算法:①使用PointRCNN[14]作为以激光点云输入的3D目标检测器,检测出车身周围的车辆；②提出了基于激光点云大场景坐标系的级联式匹配策略,对相邻两帧点云中检测出的车辆进行匹配关联。实验结果表明,与一些公开的优秀3D多目标跟踪算法相比,本文所提出的3D多目标跟踪算法对车辆的跟踪效果更优异。尤其在sAMOTA、AMOTA、AMOTP和MOTA这四个指标上都具有明显优势。

2 多目标跟踪算法框架

本文所提出的基于激光点云坐标系的多目标跟踪算法,主要是以激光点云作为输入,然后使用PointRCNN为目标检测器,检测出每帧点云中的车辆,接着使用所提出的基于激光点云大场景坐标系的级联式匹配策略匹配相邻两帧之间检测出的车辆,以简单高效地完成在激光点云坐标下的多目标跟踪任务,并且可以对在当前帧中漏检的前一帧轨迹进行较好地连续跟踪,具体网络结构如图1所示。

图1 基于激光点云坐标系的多目标跟踪算法框图Fig.1 Block diagram of multi-object tracking algorithmbased on laser point cloud coordinate system

2.1 PointRCNN网络

PointRCNN网络是以激光点云作为输入的两阶段3D目标检测器,其与Faster RCNN[15]为代表的两阶段目标检测器类似,第一步先生成3D建议候选框,然后再对生成的3D建议候选框进行微调,其网络结构如图2所示。PointRCNN网络首先将输入的每帧激光点云按前景点和背景点进行分割,然后从前景点中生成少量的3D建议候选框,最后将建议候选框在规范坐标系中学习的局部特征与在对点云进行分割过程中学习的全局特征相融合,进一步微调3D建议候选框。

图2 PointRCNN网络结构图Fig.2 Network structure of PointRCNN

2.2 卡尔曼滤波器

(1)

(2)

2.3 贪婪算法

在多目标跟踪的数据关联阶段,本文使用贪婪算法对相邻两帧之间目标进行匹配关联。其中,所使用度量指标是激光雷达坐标系下的目标之间三维体积的交并比与三维坐标中心点坐标之间的欧式距离。目标之间三维体积的交并比3DIoU是作为寻找当前帧的每个目标与前一帧目标之间存在的潜在匹配关系的度量指标,而目标之间三维中心点坐标之间的欧式距离则是最终确定相邻两帧目标之间匹配关系的度量指标。关于这两个度量指标在本文所提出的多目标跟踪算法中的使用方法在2.4小节有详细说明。

本文中所使用的贪婪匹配算法思路具体为:①首先对当前帧中检测到的目标按置信度进行降序排列；②然后从高置信度开始,先根据目标之间三维体积的交并比3DIoU寻找到当前帧的该目标与前一帧中哪些目标之间存在的潜在匹配关系；③接着根据目标之间三维中心点坐标之间的欧式距离在有潜在匹配关系的前一帧目标集合中找到最近邻的目标。若最小的距离小于阈值200,则确定这两个目标为唯一匹配关系,反之,则认为当前帧中的该目标为新出现的目标。

2.4 数据关联

在多目标跟踪算法的数据关联部分中,本文结合了CenterTrack[16]将目标视为点跟踪的思想和AB3DMOT使用3D卡尔曼滤波器对在当前帧中消失的前一帧轨迹进行一定帧数内连续跟踪的思想,提出了基于激光点云大场景坐标系的级联式匹配策略。本文所提出的匹配策略摆脱了现有多目标跟踪算法在图像像素坐标系下或相机三维坐标系下进行数据关联的固有思想,转而在激光点云坐标系下直接完成相邻两帧之间目标的匹配的任务。这样不仅可以实现在激光雷达坐标系下完成目标检测与多目标跟踪两项任务,还可以简化目标特征提取的复杂度。

图3 匹配策略流程图Fig.3 Flow chart of matching strategy

步骤一(Step1):计算相邻两帧之间目标扩大两倍后的三维体积(xT,yt,zt,θt,2lt,2wt,2ht)的交并比(3DIoU)矩阵,如公式(3)所示。若前一帧中有目标与当前帧的目标之间的3DIoU不为0,则可认为这两个目标存在潜在的匹配关系；反之,则不存在匹配关系。如公式(2)中,矩阵的行和列分别代表前一帧和当前帧中的目标,其数量分别为4和3。当前帧中第一个目标,分别与前一帧中第一和二个目标存在潜在匹配关系,3DIoU分别为0.92和0.12。这样可以进一步缩小前后两帧之间目标的匹配范围。

(3)

(4)

3 实验结果与分析

3.1 实验配置和数据集

实验所使用的数据集为KITTI跟踪数据集,其包含“Car”、“Pedestrain”、“Cyclist”等九个类别。在实验中仅对车辆的跟踪效果进行评估,且将训练集中21个视频序列切分成训练集与验证集。其中,验证集被用于评估本文所提出的多目标跟踪算法,包含了视频序列1、6、8、10、12、13、14、15、16、18和19。

表1 实验配置Tab.1 Experimental configuration

3.2 评价指标

本文使用了Xingyi Zhou等人提出的3D多目标跟踪评估工具对实验结果进行评估。不同于KITTI官方提供的2D多目标评估工具,3D多目标评估工具直接以三维体积交并比为度量指标将3D跟踪结果与真实标注进行匹配,来全面真实地评估出3D多目标跟踪系统的性能。另外,Xingyi Zhou等人还在3D多目标跟踪评估工具中引入了三个全新的评价指标sAMOTA、AMOTA和AMOTP。

AMOTA和AMOTP的计算方式为求多召回率下的MOTA和MOTP的平均值,主要是为了将目标的置信度阈值条件也纳入了多目标跟踪系统的评估中。AMOTA计算如公式(5)所示:

(5)

其中,L是设定的不同召回率的数量;Ngt是所有视频序列中所标注的真实目标数量;FPr、FNr和IDSr分别为召回率为r时的漏检目标数量、误检目标数量和目标身份ID切换次数。

sAMOTA计算如公式(6)和(7)所示:

(6)

(7)

3.3 实验结果及分析

本文使用AB3DMOT中提供的PointRCNN在KITTI跟踪数据集上的检测结果,这样是为了更好地与AB3DMOT、mmMOT和FANTrack这三个优秀的3D多目标跟踪算法进行比较,实验结果如表2所示。另外,还对基于激光点云坐标系下的级联匹配策略做了消融实验,以验证其三个匹配步骤对多目标跟踪系统性能的影响,实验结果如表3所示。

从表2中可以看出,在3DIoUthres分为0.25,0.5和0.7时,本文提出的基于激光点云坐标系下的3D多目标跟踪算法比mmMOT、FANTrack和AB3DMOT在大部分指标上都要领先,尤其在sAMOTA、AMOTA、AMOTP和MOTA这四个指标上都要领先许多。这表明了本文所提出的3D多目标算法直接在激光点云坐标系下对相邻两帧点云中检测出的车辆进行简单高效的匹配关联,就可以取得非常好的多目标跟踪效果。

表2 在KITTI跟踪验证集上的3D多目标跟踪评估结果Tab.2 3D Multi-object tracking evaluation results on KITTI tracking verification set

从表3中可以看出,本文中所提出的基于激光点云大场景坐标系的级联匹配策略中三个匹配步骤都对3D多目标跟踪系统的整体系统具体提升作用。匹配步骤一通过确定相邻两帧之间可能存在潜在匹配目标对,剔除不可能匹配的匹配目标对,可以较大提升3D多目标跟踪系统的性能,MOTA指标提升了5.81 %。匹配步骤二通过对在当前帧中消失的前一帧中存在的轨迹进行跟踪,可以进一步提升3D多目标跟踪系统的性能,sAMOTA提升了1.93 %。

表3 在KITTI跟踪验证集上消融实验结果(3DIoUthres=0.25)Tab.3 ablation results on KITTI tracking verification set(3DIoUthres=0.25)

另外,连续4帧激光点云序列的3D多目标跟踪结果示意图如图4所示,从图中可以看出直接在激光点云坐标系下对车辆进行跟踪的效果非常可靠且简单高效。

图4 连续4帧激光点云序列的3D多目标跟踪结果示意图Fig.4 Schematic diagram of 3D multi-target tracking resultsof four consecutive frames of laser point cloud sequence

4 总 结

本文提出了基于激光点云坐标系的3D多目标跟踪算法,将数据关联任务直接在激光雷达坐标系下完成。从对比实验和消融实验看,本文所提出的3D多目标跟踪算法性能表现优异,多项指标均领先一些已经公开的优秀3D多目标跟踪算法,并且所提出的基于激光雷达大场景坐标系的级联匹配策略中每个匹配步骤都能提高多目标跟踪系统的整体性能。未来的工作可以集中于如何在激光雷达坐标系下将目标检测与跟踪这两项独立的任务转化成一个任务来完成,这样可以提升3D多目标跟踪系统整体的效率与性能。