井下移动机器人双目视觉摄像机的标定方法

陈学惠 贾瑞清

（1.中国矿业大学（北京）机电与信息工程学院，北京市海淀区，100083；2.中国传媒大学信息工程学院，北京市朝阳区，100024）

井下移动机器人双目视觉摄像机的标定方法

陈学惠1，2贾瑞清1

（1.中国矿业大学（北京）机电与信息工程学院，北京市海淀区，100083；2.中国传媒大学信息工程学院，北京市朝阳区，100024）

提出了一种对井下移动机器人双目立体视觉系统的相机的标定方法，它是以一正方体为标定块，利用其棱边在相机成像面所形成的三个互相垂直的消隐点，来确定相机的内外参数，以便为井下巷道场景的三维重建做准备。试验表明，本文的标定方法是能够满足井下移动机器人双目立体视觉应用的要求。

双目立体视觉 摄像机模型 摄像机标定 消隐点 重投影

1 引言

鉴于目前我国煤炭生产安全形势，非常迫切的要求机器人极其技术的应用，而其中的机器人双目视觉，因它是利用计算机实现人的视觉功能，所以它可以通过图像达到认知三维信息的能力，如对目标物体的形状、位置、姿态、运动等的识别。从而为煤矿生产提供必要的井下环境空间位置信息。

双目立体视觉系统由两个型号相同的相机组成，它能通过视觉计算获得井下三维场景的信息，为井下移动机器人导航以及井下场景的三维重建服务，而在双目立体视觉系统的各项关键技术中，相机的标定是立体视觉算法的基础。

传统相机标定基本方法需要在摄像机前方放置一个已知形状与尺寸的标定参照物。由于井下环境不允许放置特定的标定参照物，加之摄像机的参数需要经常调整，这就需要一种不依赖参照物的摄像机自标定方法，所以本文提出一种基于消隐点的双目视觉系统的自标定方法，实现对井下移动机器人双目立体视觉系统相机快速标定，以满足井下移动机器人双目视觉系统的需要。

2 摄像机模型

摄像机的基本成像模型，通常称为基本针孔模型，由三维空间到平面的中心投影变换所给出。在该模型下，可将三维空间任意点Xw可描述为：

摄像机矩阵P可表示为：

上式中：R，t分别表示为世界坐标系到摄像机坐标系的旋转矩阵和平移向量，称之为摄像机的外参数；K是摄像机坐标系到图像坐标系的变换矩阵，称之为摄像机内参数矩阵；为摄像机的主点坐标；f为焦距；dx，dy为矩形像素的长与宽；s为倾斜因子。摄像机的标定的目的就是确定摄像机的内参数矩阵K和外参数R和t。

3 利用消隐点对摄像机进行标定

3.1 摄像机内参数的标定

真实三维场景中的一组平行线经过中心透视投影成像后，在成像平面上交于一点，此点被称为消隐点。投影中心（即摄像机光心）与消隐点的连线与形成该消隐点的空间平行线平行。如图1所示。

Vi在图像平面上的坐标为则在摄像机坐标系下的坐标为：

由于OcVi互相垂直，则有：

用（4）式分别减去（5）式和（6）式得：

由（9）式和（10）式可知，有3个未知数，而只有两个方程，解为不确定。我们可以由两个完全相同的摄像机组成双目立体视觉，如果上述两个方程为左摄像机内参数约束方程，同样可得出右摄像机的内参数约束方程：

将v0t看成一个整体，则由（9）－（12）式就可求出u0，v0，t，将u0，v0，t代入（4）或（5）式可求出：

这样就得到了摄像机的全部内参数u0，v0，fx，fy（此时相机的扭曲因子s＝0）。

3.2 摄像机外参数的标定

将3.1中标定的摄像机内参数K代入（14）式可求出摄像机的旋转矩阵R。同理可求出双目立体视觉的另一个摄像机的旋转矩阵R′

由图2中的世界坐标原点Ow的图像点ow可得：

同理可求出双目立体视觉系统的另一个摄像机的平移向量t′。

则双目立体视觉的基线b（两摄像机光心连线）为：

4 标定试验

采用一个边长为30cm的正方体作为标定块，利用它上面的三组互相垂直的平行线，可以在成像平面上形成三个消隐点，对双目视觉系统的内外参数进行标定。

4.1 模拟试验

采用一组模拟三维空间点来进行试验，三维空间点位于边长为30cm的正方体的顶点，设模拟相机的内参数为：u0＝50，v0＝50，fx＝400，fy＝600。试验时，设左相机的外参数为：T1＝[30 40 60]′，摄像机绕世界坐标轴X、Y、Z轴旋转的角度分别为：π／15，π／10，π／15；右相机的外参数为：T1＝[60 40 80]′，摄像机绕世界坐标轴X、Y、Z轴旋转的角度分别为：π／15，－π／5，π／15。表为正方体的7个顶点在左右相机成像面上的坐标。

表1 模拟点的坐标

由模拟数据用本文所述方法可得相机的参数标定结果：

用标定的参数对立方体的顶点重投影，结果见表2；进行图像的三维欧氏重建，得到的立方体各棱边的长度为：顶点1与顶点2组成的边长度为30.0001；顶点3与顶点4的边长30.0007；顶点6与顶点7的边长30.0001；顶点1与顶点4的边长29.9999；顶点2与顶点3的边长30.0001；顶点6与顶点7的边长29.9993；顶点1与顶点6的边长29.9983；顶点4与顶点5的边长29.9985；顶点2与顶点7的边长29.99985。

表2 空间点的重投影坐标

4.2 实际图像标定实验

图3和图4分别是由两相同型号的数码相机，光轴平行放置，调节为相同的参数，对一边长为30cm正方体标定块，同时拍摄所得的图像。由正方体的三个不同方向的棱边可得三个互相垂直的消隐点。以图3和图4上所求得的消隐点数据，可求得相机的内参数为：

以标定的参数对标定块的顶点进行重投影，结果见表3和表4；三维欧氏重建后，各棱边的长度分别为：顶点1与顶点2组成的边长度为30.355；顶点3与顶点4的边长30.190；顶点6与顶点7的边长30.180；顶点1与顶点4的边长30.608；顶点2与顶点3的边长30.008；顶点6与顶点7的边长29.136；顶点1与顶点6的边长29.614；顶点4与顶点5的边长29.713；顶点2与顶点7的边长29.907。

表3 左图重投影数据

表4 右图重投影数据

从模拟数据试验与实际图像数据试验的结果可以看出，以标定的相机参数对空间点进行重投影和三维重建，重投影的最大误差不超过2个像素，重建的正方体棱边长度误差小于3%。由此证明本文提出的方法是可以用在井下移动机器人的双目视觉系统相机的标定。

5 井下巷道环境三维重建

采用本文所述方法对双目视觉摄像机标定后，采集了井下巷道一组图像（峰峰矿业集团梧桐庄矿），如图5、图6所示，图7为视觉立体匹配后的视差图，图8为重建后的效果显示。由此验证本文提出的方法是可以应用于井下环境的三维重建。并为煤炭安全生产提供环境的三维数据支持。

图8 井下巷道重建显示

6 结论

本文研究了一种双目视觉系统相机的标定方法，它以一正方体作为标定快，利用其三个方向的棱边在相机成像面上所形成的三个互相垂直的消隐点来确定像机的参数，该标定方法简单，不需要精密的标定设备，对拍摄环境没有太高的要求，试验表明此方法是能够满足井下移动机器人的导航和井下三维场景重建应用。

[1] 吴福朝.计算机视觉中的计算[M].北京：科学出版社，2008

[2] B.Caprilev.Torre.Using vanishing points for camera calibration.International of Computer Vison.Volume 4，Number 2

[3] R.Hartley.Multile View Geometry in Computer Vision[M]，London：Cambridge University Press.2003

[4] Cipolla R，Drummond T，Robertson D.Camera calibration from vanishing points in images of architectural scenes[A].In：Proceedings of British Machine Vision Conference[C]，Nottingham，English，1999

[5] 谢文寒.基于多像灭点进行相机标定的方法探究[D].武汉：武汉大学，2004

A method of calibration for coal mine mobile robot based on binocular mision

Chen Xuehui1，2，Jia Ruiqing1

（1.School of Mechanical Electronic and Information Engineering，China University of Mining and Technology（Beijing），Haidian，Beijing 100083，China；2.School of Information Engineering，Communication University of China，Chaoyang，Beijing 100024，China）

Based on the vanishing point，this paper proposes a new method of camera calibration.We consider a cube as calibrated objects，and through solving the vanishing point between two images，we can determine the camera internal parameters and the baseline of the two cameras.The tests showed that this calibration method is able to meet the coal mine mobile robot based on binocular stereo vision applications.

binocular stereo vision，camera model，camera calibration，vanishing point，reprojection

TD67

B

陈学惠（1963－），女，江苏淮安人，大学本科，副教授，主要从事机器人视觉及图像处理方向研究。

（责任编辑 熊志军）