基于双目单视面和结构光的三维复原精度研究

黄治凡， 徐 晓

(华南理工大学 物理与光电学院，广东 广州 510640)

0 引 言

以往的双目立体视觉系统[1～3]的精度评估工作[4～6]，未考虑物体在整个系统中不同位置所引起的精度差别，也未考虑在双目情况下，相机的相对摆放对系统的精度影响。

本文基于双目视觉和结构光的三维测量的进行了研究。在此基础上，为利于工程应用，将结构光和双目单视面[7]相结合，先用结构光照射目标物体，并利用双目相机拍摄相应图像。通过图片进行三维复原时，将物体所在三维直角坐标转换到一个特定的角度坐标系统，并在角度坐标表征的空间中提取特征匹配点[8，9]，通过匹配点拟合出三维目标物的形状。为了评估本文测量方式的精度，及测量待测物在不同位置的精度差异，将待测物分别置于不同位置，得到在不同位置的测量误差；通过改变双目相机的偏转角度，得到在不同角度下测量精度的差别。对误差进行综合分析，得到工程应用所需的一般精度分布规律。

1 三维重建模型

双目相机交叉放置，用张正友标定法[10]对相机进行标定；利用结构光照射待测物表面，双目相机同时拍摄物体，得到一对图像；对图像恢复目标物的三维信息[11]。如图1所示为双目相机等效模型，可依据其中几何关系完成图像像素坐标到角度坐标的转换[12]。

图1 双目相机等效模型

易知，对一个目标点P，可以使用其对应的αL,αR,β确定其在三维空间中的位置[13]。将2幅图像进行坐标转换后，使用其灰度值、灰度值的一、二阶导数作为特征[14]进行特征匹配。得到匹配点，即获得了物体上该点的αL,αR,β，利用三角关系，可以得到该点的三维坐标[15]。具体的特征匹配及三维复原运算参照文献[7]。

2 精度评价模型

2.1 角度分辨率因素

坐标αL,αR，β将三维空间划分为许多立体小块，认为落在同一小块中的点的αL,αR，β一致，将分辨不同点坐标的能力称作角度分辨率。

由于在不同β角下规律一致，因此，考虑在基平面上的角度分辨率公式。图2所示为基平面上的角度坐标，L，R代表左右相机等效光心位置，阴影区域内点的坐标为(αL,αR,β)，在纵深方向上Δy=ymax-ymin。

图2 基平面角度关系

基平面各量间关系表示为

(1)

式中l为基线长度，即线段LR长度；Δθ为划分角度空间的步长。由式(1)计算出的误差变化情况如图3所示。可以看出，在能够绝对精确匹配物体特征的情况下,物体距离基线中心点越远，复原精度越差。

图3 角度分辨率与相机偏转角关系

2.2 匹配误差因素

实际工程应用中，为了简化物体形状所带来的匹配效果不确定性，选择简单的圆形作为本模型的待测物，如图4所示，圆O为基平面上一球体的俯视图，L,R分别代表左右相机等效光心，点M为基线LR的中点，LC,LD,RA,RB均为圆O切线。圆O在左相机成像的范围为弧CD段，在右相机成像的范围为弧AB段。

图4 匹配误差因素

运用寻找特征点的方法进行特征匹配，可以得到C点与A点为匹配点，记V为匹配因素误差，由三角关系得，匹配因素误差V∝∠AOC=∠LOR，由此得知，待测物距离双目相机越近，∠LOR越大，V越大，匹配误差越大；反之，匹配误差越小。

2.3 特征点大小变化因素

在工程应用中，物体特征的选取应该由实际工况所决定，以空间中一横条特征为例。如图5所示为基平面的俯视图，L，R分别为左右相机等效光心。AB为一个待测物的特征，长度5 mm。记A点坐标(a，b),B点坐标(c,d)，那么AB对应的左相机张角为

图5 角度空间中的特征点

随着AB在纵深方向移动，γ变化如图6所示，表明，同一特征在距离相机较近时张角比较大；反之，较小。在特征点附近区域所对应的空间尺寸不变的前提下，此区域对应张角越大即占像素越多，匹配效果越好，反之,匹配效果越差。

图6 张角随距离的变化关系

以上模型的理论分析表明：物体距离双目相机中心点越近，角度分辨率越高；物体距双目相机中心点越远，特征点越易匹配；而物体距相机越近，特征点成像也变得越大，也更易匹配。

3 实验与结果分析

实验将2个200万像素的工业相机交叉置于水平工作台，两相机的距离200 mm。选择待测物为一个硅胶表面的水瓶，初始位置为两相机连线中垂线，距离为400 mm，激光器将线结构光投影到水瓶上。将采集到的每对图像的结构光区域分别用上述匹配方法进行特征匹配，得到大量匹配散点，通过匹配点拟合出三维目标物的形状。

3.1 空间中不同位置误差

双目相机的距离设为200 mm,左相机角度为74.71°,右相机角度为71.51°，待测物的初始位置距离基线360 mm，将待测物按照等步长置于实验台的不同位置，并且保证结构光照射到物体的同一位置。使用双目相机采集图像。将采集的图像经过畸变校正后采用三维复原算法，得到所有光条的三维信息。将置于初始位置的光条作为标准，计算所有光条与标准光条间距离，并与理论值比较，得到的值为绝对误差。如图7所示。

图7 待测物在空间不同位置的误差

由此得出：待测物距离双目相机较近时，匹配因素占主导，匹配的难度增加，导致测量误差变大。当距离增加到一定程度时，匹配难度与角度分辨率相互制约，测量误差逐渐降低；当距离继续增加时，角度分辨率占主导，导致测量误差再一次增加。由上述特征点大小变化的因素与匹配因素及分辨率因素三者共同作用，使得整个误差曲线在细部呈现不规律波动。

由以上实验可知，在双目相机的角度固定的情况下，将待测物置于凝视点附近时，可以获得比较高的精度。通过改变凝视点的位置来验证该结论。

3.2 不同凝视点条件下中轴线上的误差

改变双目相机的偏转角度以改变凝视点的深度，设置条件如表1。

表1 双目相机位置参数

在不同凝视点的条件下，将物体等步长地置于中轴线上，计算还原的光条与标准光条的距离，并与理论值进行比较，实验结果如图8所示。

图8 不同凝视点的条件下中轴线上不同位置的误差

可以看出，随着凝视点由近到远逐渐变化，整体的误差由大变小再变大。将在不同凝视点条件下的误差的平均值用三次多项式进行拟合，大致可以得到，当双目相机的凝视点的位置由400 mm变化至900 mm的过程中，平均测量误差先减小后增加，如图9所示。

图9 不同凝视点的误差拟合

通过以上实验可以得出，在本文系统的相机条件下，偏转角度在71°～84°范围内，凝视点变化在400～900 mm范围内的前提下，凝视点最佳的距离约737 mm。在此凝视点条件下，平均误差为0.106 9 mm左右。图8中拟合所得经验表达式如下

error=(1.326 8×10-8)y3-(2.275 2×10-5)y2+

0.011 9y-1.626 5

(2)

4 结 论

本文利用双目单视面的原理，通过测定结构光的光条的位置，解算还原物体三维信息；为检测此方法所还原的三维信息的精度，通过模型分析，测定处于不同位置的光条的三维信息，并解算精度。在测定过程中相机的参数也作了相应变化，尤其通过调整双目相机的交叉放置角度和有效物距来改变双目相机的凝视点位置，以便合理评估相关精度。得到了影响复原算法的精度的3点因素：角度分辨率、匹配效果、像素所对应的实物的大小；在给定的条件下，测量精度能达到0.1 mm。

整个实验中，待测物表面漫反射情况直接影响到匹配效果；同时，激光器的功率跟激光的粗细对实验结果也有比较大的影响；而摄像机的光学系统，以针孔相机方式为模型，实际上，光学系统的光斑弥散，也会影响定位效果。在以后的工程模型中，需要进一步精细考虑。

参考文献:

[1] 于之靖,王 威,王 烁,等.十字线结构光双目视觉测量的在线匹配方法[J].半导体光电,2017,38(3):445-450，458.

[2] Howarth P A.The geometric horopter[J].Vision Research,2011,51(4):397-9.

[3] Vojnikovic′ B,Tamajo E.Horopters-Definition and construc-tion[J].Collegium Antropologicum,2013,37( supl1):9-12.

[4] 沈 彤,刘文波,王 京.基于双目立体视觉的目标测距系统[J].电子测量技术,2015,38(4):52-54.

[5] 全燕鸣,黎淑梅,麦青群.基于双目视觉的工件尺寸在机三维测量[J].光学精密工程,2013,21(4):1054-1061.

[6] 李 伟.基于线结构光的火车轮对外径三维检测技术研究[D].武汉：华中科技大学,2007.

[7] 王 珊,徐 晓.基于双目单视面的三维重建[J].光学学报,2017(5):199-207.

[8] Weisman M J.Parameterized surface models for binocular stereo vision[M].Cambridge：Harvard University,1996.

[9] Sun J,Ma H,Zeng D.Three-dimensional infrared imaging method based on binocular stereo vision[J].Optical Engineering,2015,54(10):103-111.

[10] 刘 艳,李腾飞.对张正友相机标定法的改进研究[J].光学技术,2014,40(6):565-570.

[11] 刘 振.基于结构光的双目立体成像技术研究[D].成都：中国科学院研究生院(光电技术研究所),2013.

[12] 阮秋琦.数字图像处理学[M].2版.北京：电子工业出版社,2007.

[13] 汪同浩,刘秉琦,陈一超,等.平行式双目立体系统基线长度的选取[J].半导体光电,2017,38(4):614-617.

[14] 张洁玉.图像局部不变特征提取与匹配及应用研究[D].南京：南京理工大学,2010.

[15] Zhang K,Xu B,Tang L,et al.Modeling of binocular vision system for 3D reconstruction with improved genetic algorithms[J].International Journal of Advanced Manufacturing Technology,2006,29(7-8):722-728.