基于观测概率有效下界估计的二维激光雷达和摄像机标定方法

彭 梦 万 琴 陈白帆 邬书跃

①(湖南工程学院计算机与通信学院 湘潭 411104)

②(中南大学自动化学院 长沙 410083)

1 引言

利用多种类型传感器的感知信息融合将大大提高系统的综合感知能力。而在众多类型的外部探测传感器中，摄像机和2维激光雷达由于其低成本、体积小、适用性高被广泛应用于无人车辆、机器人、智能检测等领域[1–3]。通过摄像机和2维激光雷达的信息融合，不仅可以获取摄像机的高分辨率颜色和纹理信息，而且可以获取2维激光雷达的高精度的距离信息。为了实现这两种传感器的信息融合，需要精确估计它们的相对姿态和位置，即标定两种传感器的旋转变换和平移变换参数。相比较3维激光雷达，2维激光雷达无法直接给出激光点与图像像素的对应关系，外参数标定的约束建模和求解比较难。目前，2维激光雷达和摄像机的标定主要分为基于标定物的标定方法[4−13]和自标定方法[14−17]两大类。

基于标定物的标定方法中，Zhang等人[4]最早提出使用棋盘格进行标定，该方法首先估计每次观测中摄像机和棋盘格之间的相对姿态，然后利用激光点和棋盘格平面之间的空间约束，以获得标定参数的线性解，该解作为非线性优化过程的初始值。但是该方法不能保证旋转矩阵的正交性，因此初始解的有效性不稳定。针对文献[4]中缺点，文献[5]使用棋盘作为标定物，在对偶空间中将“线-面”空间约束关系转换为透视3点问题(Perspectivethree-Point, P3P)，求解旋转矩阵和平移向量的解析解，并通过最小化激光投影误差进行参数优化。然而，由于P3P问题固有的局限性，该方法存在多解问题和退化问题。相比文献[5]同样是使用棋盘格，胡钊政等人[6]基于虚拟三面体构造P3P问题，并通过引入了平面成像区域约束，提高了真解准确度，而彭梦等人[7]提出了多约束误差函数模型计算标定误差，提高了标定结果的精度。除了棋盘格以外，研究人员还设计了一些其他类型标定物来实现标定。例如Hoang等人[8]使用三角形模板来捕捉线约束上的点，通过点线之间的约束关系实现标定。Sim等人[9]使用V形板的3组点线约束，利用点面约束求解进行标定。Dong等人[10]利用两个带棋盘格的对折的三角形，能只依靠一组观测数据完成标定，大大简化了标定过程。Itami等人[11]采用球体作为标定物，获取动态跟踪的点匹配来实现标定。Fan等人[12]使用均匀分布在3维空间中的若干控制点组成作为标定物，通过精确测量控制点实现标定。Ye等人[13]提出了一种基于点线约束和欧氏变换不变性约束的标定方法，以获得更准确有效的外部参数。

基于自标定的方法中，Zhou等人[14]利用自然景观的道路直线特征构建点线约束，提出了基于道路边缘特征的自标定方法。Gomez-Ojeda等人[15]提出基于室内建筑环境的墙角作为相互垂直的三面体标定物，构建激光扫描直线和墙面平面约束以及激光点和墙角线投影平面约束来实现自标定。Hu等人[16]扩展了文献[15]的工作，通过结构化墙角作为中间坐标系，将标定问题转化为P3P问题和3线透视(Perspective-three-Line, P3L)问题求解，从而获取标定参数闭式解。Royer等人[17]首先利用同步定位与地图构建算法(Simultaneous Localization And Mapping, SLAM)获取车辆的运行轨迹对摄像机进行标定，然后基于直线匹配对激光雷达进行标定，从而实现两个传感器标定。但是这些自标定方法的缺点很明显，严重依赖特征人工环境下的特征，鲁棒性较差，实用性较差。

针对多解问题，本文提出一种基于观测概率有效下界估计的2维激光雷达和摄像机标定方法。首先，设计了一种最小解集合的分级聚类方法，将属于同一局部最优解邻域内的解划归为一类(3.1节)。然后，提出了一种基于激光误差的联合观测概率，对解集合元素的好坏程度提供一个合理准确的度量(4.1节)。最后，利用聚类结果和观测概率度量结果，本文提出一种基于观测概率有效下界估计的有效解选取策略(4.2节)，并给出了标定方法的整体实现流程(4.3节)。本文的标定方法利用观测概率有效下界，将优化初始值从选择一个最优解转化为选择有效解候选集合，因而能有效避免错选局部最优值邻域的假解，提高了标定结果的准确性和可靠性。

2 问题描述

图1 2维激光雷达坐标系和摄像机坐标系转换关系

3 最小解集合的分级聚类

传统最小解标定方法利用距离误差函数从解集合选择一个最小误差解。通过分析多解的分布特点，本文发现距离误差函数存在多个局部最优值，由于噪声干扰，最小误差解可能是某个局部最优值邻域的假解而丢失真解。因此，首先本文提出一种最小解集合的分级聚类方法，通过对解集合进行聚类，将属于同一局部最优值邻域内的解划归为一类。目的是利用聚类结果将所有类别的类内最优解构建成初始的有效解集合，为后面的有效解筛选提供基础。

3.1 最小解集合的分级聚类方法

3.2 自适应聚类阈值设定

4 基于观测概率有效下界估计的标定方法

本节首先定义了一种基于激光误差的联合观测概率，对解集合元素的优劣进行度量(4.1节)。然后，结合解集合聚类和观测概率的结果，提出一种基于观测概率有效下界估计的有效解选取方法(4.2节)。最后，给出了标定方法的整体实现流程(4.3节)。

4.1 基于激光误差的联合观测概率

4.2 基于观测概率有效下界估计的有效解筛选

4.3 本文标定方法的实现流程

由于最小解标定方法都存在多解问题，因此本文上述改进方法适用于所有最小解标定方法。本文以文献[5]的Francisco标定方法为例，在其基础上提出一种基于观测概率有效下界估计的标定方法，利用观测概率有效下界，将优化初始值从选择一个最优解转化为选择有效解候选集合。本文标定方法的具体步骤如下。首先，使用文献[5]的最小解算法求解旋转矩阵和平移向量从而形成初始解集合D，对初始解集合进行聚类，将属于同一局部最优解邻域内的解划归为一类。然后，基于激光误差的联合观测概率对解集合元素的优劣进行度量。最后，根据聚类的结果和观测概率度量，本文提出了一种基于观测概率有效下界估计的有效解选取策略。

图2 局部最优观测概率分布示意图，其中p ˆopt为观测概率有效下界

5 实验结果与分析

5.1 仿真实验

利用仿真数据评测多个算法在不同条件下的性能，将本文算法与文献[4]的Zhang算法和文献[5]的Francisco算法进行比较。仿真实验中，分别用仿真2维激光雷达和理想的针孔模型摄像机产生激光数据和图像数据。仿真摄像机采集图像的大小为(1280, 960)，焦距f为541 mm。设激光雷达角度分辨率为0.25°，扫描角度范围为–20°～+20°。并且设棋盘格标定板有8×8个黑白方块构成，黑白方块的边长为80 mm 。棋盘格随机摆放在激光雷达前方的3～6 m的位置，棋盘格的姿态也是随机生成的，并对姿态自动进行检查，以保证棋盘格能被所有传感器有效观测到。仿真实验中，给激光雷达的仿真扫描数据加上不同水平的0均值高斯噪声。

仿真实验中分别针对旋转矩阵和平移向量两个指标进行误差分析，将计算得到的旋转矩阵和平移向量的估计值R和t与真实值Rr和tr比较。旋转矩阵误差度量eR表示两个旋转矩阵之间的角度误差，单位是(°)，其中‖·‖Fro为矩阵的Frobenius范数。平移向量误差度量et表示两个平移向量之间的欧氏距离

第1种仿真实验测试比较3个标定算法的真解命中率。其中真解命中率定义为每种标定算法获取真解实验数占总的实验数的百分比，姿态误差超过10°或者平移误差超过100 cm的标定结果为假解，否则为真解。

首先，定量分析不同棋盘格个数情况下的真解命中率。设置激光测距的噪声方差δ=20 mm，棋盘格的个数从3逐渐增加到8，各自进行100次相互独立实验，将3种算法的标定误差进行比较。从图3(a)可知，在各种棋盘格个数下，本文方法的真解命中率均要高于其他两种方法。当棋盘格个数为6时，本文方法真解命中率达到了100%，相比Francisco方法85%和Zhang方法50%真解命中率，本文方法的性能提高了20%和100%。

然后，定量分析不同的噪声水平下的真解命中率。设置棋盘格的个数为6，激光测距的噪声方差δ从5 mm逐渐增加到30 mm，各自进行100次相互独立实验，将3种算法的标定误差进行比较。从图3(b)可知，在不同的噪声水平下，本文方法的真解命中率均要好于其他两种方法，而且噪声越大性能差距越明显。在激光测距的噪声方差位于5～30 mm时，本文方法真解命中率保持在98%以上。当激光测距的噪声方差为30 mm时，相比于Francisco方法80% 和Zhang方法30%真解命中率，本文方法的真解命中率为100%，性能提高明显。

图3 3种方法的真解命中率对比分析

第2种仿真实验测试比较了3种方法在不同棋盘格个数输入下的误差均值和误差分布。设置激光测距的噪声方差δ=20 mm，棋盘格的个数从3逐渐增加到8，各自进行100次相互独立实验。分别比较旋转矩阵和平移向量两个指标的误差均值(图4)和误差分布(图5)，其中Zhang方法至少需要5个棋盘格。从图4可知，在任意棋盘格个数下，本文方法的标定精度都要好于其他两种方法，且随着棋盘格个数的增加而误差逐渐递减。在棋盘格个数超过4时，本文方法的旋转矩阵误差保持在3°以下，平移向量误差保持在200 mm以下，可以满足实际应用精度。从图5可知，本文方法在各种棋盘格个数情况下的误差分布更集中、方差更小，因此出现假解的可能性更小。

图4 不同棋盘格个数输入下3种方法的误差均值

图5 不同棋盘格数目情况下3种方法标定误差值的分布

第3种仿真实验测试比较了3种方法在不同的噪声水平下的误差均值和误差分布。设置棋盘格的个数为6，激光测距的噪声方差δ从5 mm逐渐增加到30 mm，各自进行100次相互独立实验，分别比较旋转矩阵和平移向量两个指标的误差均值(图6)和误差分布(图7)。从图6可知，本文方法在不同噪声水平下的标定精度上均要好于其他两种方法，性能有明显提高。本文方法的旋转矩阵误差在各噪声水平下均保持在1°～2°，平移向量误差保持在200 mm以下。相比较Francisco方法，旋转矩阵精度提高了1.5°～4°，平移向量精度提高了150～400 mm。且在不同噪声水平，本文标定方法的精度保持较好的稳定性，波动性不大。从图7可知，本文方法在不同噪声水平下的误差分布更集中、方差更小，因此出现奇异解的概率更小。

图6 不同激光噪声方差情况下3种方法的误差均值

图7 不同激光噪声方差情况下3种方法标定误差值的分布

5.2 真实实验

为了进一步验证本文方法的性能，本文利用实验室的激光雷达和摄像机采集真实数据进行实验。实验中采用的2D激光雷达是SICK LMS291单线扫描激光雷达，扫描角度为180°，角度分辨率为0.5°，每个周期获得前方361个数据。采用的摄像机是JAI BB141-GE工业摄像机，图像分辨率为800像素×600像素。首先，设置激光雷达和摄像机的姿态与位置，获取的4个棋盘格观测数据。分别使用本文标定方法和文献[5]的Francisco方法对激光雷达和摄像机进行外参数标定，计算得到的旋转矩阵和平移向量为(R1,t1)和 (R2,t2)

使用与仿真实验同样的误差评估指标，得出两种方法标定的旋转矩阵误差为2.42°，平移向量误差为12.9 mm，两个标定结果接近，验证了本文标定方法的正确有效性。

然后，将激光点投射到成像平面上。图8显示激光点在图像上进行投影的结果，蓝色“*”标记是Francisco方法投影结果[5]，红色“O”标记是本文方法投影结果。从激光雷达和摄像机的信息融合的直观效果看，本文方法在棋盘格上具有更多的投影点，表明更具有合理性。

图8 激光点在图像上的投影结果

由于无法直接测量传感器外参数的真实值，本文通过真实环境实验的标定结果分布状态进行分析评价。将棋盘格的个数从3逐渐增加到8，每组各自进行30次独立真实实验，对旋转矩阵R的角度度量θR和平移向量t的大小度量µt两个指标的分布进行比较分析，两个度量指标的定义为

如图9所示，根据旋转矩阵分布和平移向量分布，表明本文方法的标定结果分布更集中、奇异值更少，因此可知本文方法具有更高的标定精度和稳定性。从表2可知，虽然本文方法将标定初始值从一个误差最小解转化为有效解候选集，增加了解的个数，但是通过本文的聚类和基于观测概率有效下界的筛选两个过程将时间复杂度降到可接受的范围，能够满足实用需求。

图9 真实实验中旋转矩阵分布和平移向量分布示意图

表2 本文方法的有效解个数以及运算时间的比较

6 结束语

针对最小解标定方法的多解问题，本文提出一种基于观测概率有效下界估计的标定方法，主要贡献有3点：(1)提出一种最小解集合的分级聚类方法，将属于同一局部最优解邻域内的解划归为一类，利用每类最优解替代解集合从而减少解集合样本个数。(2)提出一种基于激光误差的联合观测概率，对解集合元素的好坏程度提供一个合理准确的度量。(3)提出一种基于观测概率有效下界估计的有效解选取策略，将优化初始值从选择一个最优解转化为选择有效解候选集合，有效避免丢失真解，提高了标定结果的准确性和可靠性。

通过仿真实验和真实实验的性能对比，结果表明本文标定方法能有效提高真解命中率和标定精度。仿真实验结果表明，相比其他两种方法性能均有明显的提高。在真解命中率性能上相比于Francisco方法，本文方法在不同棋盘格个数情况下真解命中率提升16%～17%，在不同噪声水平下真解命中率提升6%～19%。在标定精度性能上相比于Francisco方法，本文方法在不同噪声水平下旋转矩阵精度提高了1.5°～4°，平移向量精度提高了150～400 mm。未来工作将更多考虑利用传感器载体的自身运动信息，构造特殊的PnP问题，实现高鲁棒和高精度的自标定。