光栅投影三维测量系统标定技术研究

（广西师范大学 电子工程学院，广西 桂林 541004）

引言

单目光栅投影三维测量系统由相机、投影仪和计算机组成。投影仪向待测物体投影一组编码图案，图案受到物体表面形貌的调制产生形变，再由相机捕获；通过解码调制后的编码图案，获得待测物体表面上各点在相机和投影仪的图像坐标，最后根据光学三角法计算待测物表面各点在世界坐标系下的三维坐标[1-3]。光栅投影三维测量技术具有非接触、测量速度快、自动化等优点，近年来在逆向工程、质量检测、文物保护等领域得到广泛应用。

其中相机和投影仪的标定是系统工作的基本步骤与关键环节，其精度直接决定了系统的测量精度。

圆形特征对噪声的抑制性较强，识别率较高[4]，且在投影仪标定时，标志点中心处的相位调制度较好，故圆形阵列标定板常作为三维测量系统的标定物。圆形特征的提取在图像处理领域研究较早，对图像中圆形及椭圆的识别具有较高的准确度与速度[5-7]，标定场景中标定板图像特征简单，标志点与非标志点在轮廓的闭合性、轮廓长度、圆度、对比度等特征上区分明显，综合使用以上方式可以准确快速提取标志点图像[8，10，12]。

圆形标志点像素坐标的获取精度主要由边缘检测精度决定，朱统晶等基于正交傅里叶—马林距的算法来获取亚像素边缘[9]，张虎等人通过边缘梯度方向的灰度插值拟合高斯曲线进行亚像素边缘定位[10]。除传统的插值、拟合、基于距等方法外，Agustin 等人提出了一种基于边缘局部区域效应的亚像素边缘提取方法[11]。此外，标志点图像坐标需要与空间坐标匹配，夏仁波等人通过标志点之间的几何位置关系，对标志点进行了排序和匹配[12]，以实现相机的自动标定。

投影仪使用逆向相机模型，使用相移轮廓术进行投影仪像素编码，通过相位建立标志点的投影仪图像坐标与相机图像坐标的对应关系[13]，进而与标志点的空间坐标相匹配来进行标定。光栅条纹会受到物体表面调制及环境光干扰等影响，引起相位误差。通过补偿、校正等方式可以减小相位误差，毛翠丽等人提出多频法和反向相位误差补偿结合的高效方法[14]，郑东亮等人提出双四步相移的方法[15]，有效减小非线性引起的相位误差。标志点圆心坐标往往是亚像素级别的，圆心处的相位值需要通过插值获得，Jakob Wilm 等人使用高斯径向基函数方法进行插值[16]，进一步提高圆心处相位获取精度与稳定性。

本文考虑边缘变化剧烈程度和噪声影响，根据边缘特征灵活提出了基于拟合及局域区域效应的亚像素边缘检测算法，获得高精度标志点圆心图像坐标；同时提供一种基于透视变换图像矫正的简易快速标志点匹配方法。投影仪标定中，除使用双四步相移减小误差之外，针对插值算法，提出一种基于径向基的线性插值方式。

1 系统模型

单目光栅投影三维测量系统模型如图1所示。其中，世界坐标系Ow−XwYwZw是物体在空间中所建立的绝对坐标系，以标定时的标定物为基础而建立，重建的点云通过该坐标系来描述；相机坐标系Oc−XcYcZc是以相机镜头光心为原点建立的坐标系；相机图像坐标系oc−ucvc是以图像的左上角为原点建立的二维坐标系；投影仪坐标系与投影仪图像坐标系同理。

图1 三维测量系统模型示意图Fig.1 Schematic of 3D measurement system model

在相机的小孔成像模型中，相机的成像过程可以简化为透视投影模型：

式中：s为尺度因子；A为相机的内参矩阵；R3×3为世界坐标系到相机坐标系的正交旋转矩阵；T3×1为平移向量；Mc是3×4 大小的相机投影变换矩阵。使用逆向相机模型对投影仪进行数学建模，世界坐标系下物点PW(XW,YW,ZW)到投影仪图像Pp(up,vp)的转换关系同相机一致，描述为

Mc、Mp进一步表示为

通过系统标定，可得投影变换矩阵Mc和Mp，由（1）式～（4）式可求得物体表面的世界坐标[3]为

由上述公式可以看出，相机和投影仪的标定精度直接决定了三维扫描系统的工作精度。

2 相机标定

使用圆形阵列标定板进行相机标定时，需要拍摄不同方位的标定板，并建立各个标志点的世界坐标与相机图像坐标的对应关系。标志点圆心的图像坐标直接参与标定计算，提取的精度决定相机标定的精度。

2.1 标志点边缘提取

标志点图像特征简单，由黑色背景和白色圆形填充组成。由方形孔径采样定理[17]，标志点由一系列离散的灰度阵列描述，设对应标志点内、外的像素灰度值分别为fA、fB，当像素点内有边缘穿过时，像素落在标志点内外两个部分，该像素的灰度值可以表示为

式中：SA、SB分别为该像素点在标志点内、外所占的面积，设像素宽、高均为1，则有SA+SB=1。

圆形标志点通过投影变换成像时，往往退化成椭圆，而且由于相机的离焦等影响，实际空间中剧变的灰度经过光学成像成为渐变的形式[17-18]。这种变化可以看作是系统点扩展函数与图像卷积的结果。图像边缘灰度值变化表征为高斯分布，标志点边缘退化模型可以用典型的二维高斯点扩展函数描述为

式中：σp为点扩展函数方差，方差越大，代表像素点灰度值受周围像素影响越大。

边缘的精确提取还受到噪声的影响，通过分析标志点内外的灰度分布均匀区域的图像，相机拍摄到图像包含随机噪声[19]，信噪比（signal noise ratio，SNR）为18 dB，SNR 定义为

式中:k为图像的对比度；σr为随机噪声的标准差。

根据上述分析，采用图像模拟方式生成标志点图像[4]。为直观体现边缘退化情况，本文提出了四分区的模拟标志点图像进行边缘检测验证，如图2（a）所示，四个分区1～4分别为理想边缘图像、添加随机噪声的边缘图像、使用点扩展函数与边缘图像卷积后添加随机噪声、使用点扩展函数与边缘图像卷积。

图2 模拟标志点与提取的亚像素边缘Fig.2 Simulation of mark point and extracted sub-pixel edges

根据文献[10]所提供的方法，将边缘的二维高斯曲面拟合转化为一维的高斯曲线拟合，其亚像素边缘提取分为4个步骤：

1） 提取包含椭圆的感兴趣区域（region of interesting，ROI），使用Canny算子定位像素级的单边缘；

2） 边缘点梯度方向的确定以及基于梯度方向的区域划分；

3） 梯度方向的灰度插值以及灰度差求取；

4） 高斯曲线拟合。

步骤3 中求出的灰度差分曲线可以使用高斯曲线描述，曲线极值点即梯度方向上的边缘，描述为

式中：N(x)为梯度方向上插值点x的灰度差分值；k,σ,µ分别为高斯曲线系数、方差和均值，其中k对应曲线极值点大小，µ对应极值点位置。

对（9）式两边取对数，等式变成关于x的多项式：

当存在2个以上有效灰度插值时，拟合多项式可以得到µ=−p2/2p1。

使用文献[11]中的方法对模拟生成的标志点图像进行亚像素边缘提取，结果如图2（b）所示。可以看到，对于图中区域2 中的边缘，该方法提取效果并不理想。如图3所示，以区域2 中的点P(x,y)为例，该点处的边缘变化剧烈且灰度差分分布曲线受噪声影响，使用最小二乘法拟合时求得高斯曲线定点偏差较大。

图3 P点局部像素分布及高斯曲线拟合示意图Fig.3 Point Ppartial pixel distribution and schematic of Gaussian curve fitting

实际使用中，文献[10]中的方法在σp比较大的情况下表现较好，但在σp较小的情况下表现较差。计算边缘梯度方向上插值点的灰度差分值，本文取阈值为10，当差分值中大于阈值的个数小于4的时候，判断边缘变化剧烈。变化剧烈的边缘处，使用基于边缘灰度值分布局部区域效应的方法[11]，替换高斯曲线拟合方法，进行亚像素边缘提取，如图4所示。

图4 二阶曲线模拟边缘示意图及局部区域效应边缘提取Fig.4 Schematic of second order curve simulated edge and partial area effect edge extraction

图4（a）中的边缘用虚线表示，二次曲线可以表示在点P(x,y)附 近的边缘走向，以P(x,y)为原点建立坐标轴，列出曲线方程为

求解系数a、b、c后，可以计算曲线边缘点P(x,y)处的亚像素位置。在已知边缘像素点及周围像素灰度值的情况下，以该点为中心选择周围像素建立方程与灰度值的对应关系，可以求解方程系数。

首先进行梯度方向区域划分，划分标准是边缘点在灰度梯度方向上的直线斜率kl的大小。当|kl|＜1时，为k1区域，否则为k2区域。已知点P(x,y)属于k2区域，选择该点周围 5×3区域的像素，当属于k1区域时，取 3×5区域的像素进行计算。如图4（a）所示，区域分为3列，计算每一列的灰度值之和，以SL、SM、SR表示为

式中：L、M、R表示区域中每一列在标志点内部，即边缘内侧的面积，带入曲线方程使用积分求得

根据3个等式，可以求得曲线方程系数为

实际使用中，fA、fB使用靠近所求边缘内外、侧附近像素点均值求得。使用该方法求得亚像素边缘如图4（b）所示，边缘获取精度大幅度提高。

对比试验分别用方法1) 基于Canny 算子边缘像素提取，方法2) 基于文献[10]中高斯曲线拟合的亚像素边缘提取，方法3) 本文所使用方法，对实际拍摄所得的标志点图像进行处理及椭圆拟合（标志点边缘及椭圆焦点由方法3 得出）。由于实际拍摄的标志点无法得到圆心的准确位置，使用残差的方法进行对比，残差由以下方式给出：首先用边缘点进行椭圆拟合，得到椭圆方程；计算所有参与拟合的点到椭圆方程曲线的距离，距离均值则为残差。如表1所示，方法2的平均残差为0.1477，方法3的平均残差为0.0871，本文方法对比方法2，残差精度提高41%。

表1 拟合残差比较Table1 Comparison of fitting residual error

2.2 标志点匹配

对标志点进行排序，建立标志点的图像坐标与其世界坐标一一的对应关系。当相机正视标定板时，标志点横平竖直地排列，容易进行排序匹配，透视变换可以将图像投影到一个新的视平面，使用透视变换矩阵将倾斜的标定板进行矫正得到

式中：(x,y,1)为图像坐标；(x′,y′,1)为矫正后的图像坐标；A为透视矩阵，通常令a33值为1。透视矩阵为8 自由度，因此透视矩阵只需要4个对应的点就可以解出。透视变换矫正步骤如下：

1） 提取到图像中标志点后，通过面积筛选出定位标志点，如图5（a）所示；

2） 通过定位标志点之间的距离，首先为每个定位标志点进行区分，预算出每个定位标志点透视变换矫正后的图像坐标；

3） 求出透视矩阵；

4） 使用（16）式求出标定板图像透视变换矫正后的图像坐标为

5） 此时矫正后的标志点横平竖直排列，如图5（b）所示，可以进行排序和匹配。

完成上述操作后，可以使用张氏标定法对相机进行快速标定，相机标定的重投影误差均值为0.0524像素，误差分布如图5（d）所示。

图5 透视变换标志点匹配过程及相机重投影误差Fig.5 Process of mark points matching by perspective transformation and re-projection error of camera

3 投影仪标定

投影仪使用相移轮廓术进行像素编码[20]，相移条纹图片的生成公式为

式中：In为图片在点(x,y)处的灰度值；IA为条纹图案的背景光强；IB为条纹调制强度；φ(x,y)为待求相位，φ(x,y)=2πx/p，p为条纹周期；N为相移步数；n表示第几次相移。

实际使用中，生成的图像从投影出来到相机捕获的过程还会引入非线性的误差，这种非线性往往不能用Gamma 变换等来描述。系统的灰度响应如图6（a）所示，这种非线性导致正弦条纹变形，从而引起周期性的相位误差，如图6（b）。本文使用文献[15]中双四步相移方式进行误差抑制。

图6 灰度响应曲线与相位误差Fig.6 Gray scale response curves and phase error

图7 相位插值示意图Fig.7 Schematic of phase interpolation

在投影仪标定时，分别投影上述两组水平、垂直条纹图像序列并使用相机捕获，另拍摄一张不包含条纹的图片。使用多频条纹，基于时域方式进行相位展开。条纹图像序列分别解码得到水平、垂直的绝对相位，由标志点圆心的绝对相位值可以计算出标志点的投影仪图像坐标[13]，如图7所示。

拍摄的不包含条纹的标定板图片可以提取亚像素精度的标志点圆心图像坐标。将标定板的绝对相位看做关于图像坐标的二维函数，通过插值方式获取圆心的绝对相位值，常用插值方式为双线性插值，公式为

式中：θ (x,y)表示该点处插值后的相位值，θ (x0,y0)表示图7中对应已知点的相位值，λx=x−[x]，λy=y−[y]，[x]、[y]表示取整数部分。使用双线性差值的方式，进行投影仪标定，重投影误差均值为0.1582，误差分布如图8（a）所示，分布特征明显。文献[16]中提到使用基于径向基函数的插值方法，将插值问题转化成曲面重构问题，使用该方法求出标志点圆心的投影仪图像坐标，标定后的重投影误差均值为0.1602，误差分布如图8（b）所示。考虑到存在噪声等因素影响，本文提出一个基于径向基的插值方式为

式中：r(xi,yj)是点(xi,yj)到待插值点的欧氏距离，遍历待插值点周围已知点，本文取所有欧氏距离小于2.6的已知点，令经式（20）变换后参与计算得

该方法是线性插值的方式，将已知点到待插值点径向距离的高斯变换作为权值，使用SR保证权值和为1。使用本文方法对投影仪进行标定，重投影误差均值为0.1203，误差分布如图8（c）所示，对比使用双线性插值和基于径向基函数的插值方法，标定精度分别提高23.9%、24.9%。

图8 投影仪重投影误差Fig.8 Re-projection error of projector

4 实验及结果

搭建如图9所示单目光栅投影三维测量系统对本文算法进行验证。使用PointGrey公司FL3-U3-13Y3M-C COMS 相机，分辨率1280×1024，相机搭配Computar 8 mm 定焦镜头；投影仪为TI公司DLP LightCrafter 4500 数字微镜（DMD）投影仪，本征分辨率为912×1140，偏轴率为100%；使用9行11列圆形阵列标定板，标志点直径18 mm，中心距离45 mm。使用本文标定方法进行系统标定，结果如表2所示。

图9 三维测量系统硬件Fig.9 Hardware of 3D measurement system

表2 系统标定结果Table2 System calibration results

单目光栅投影三维测量系统完成标定后，对标准块进行测量，测量距离为1050 mm。如图10所示，导出点云到Geomagic Studio 软件中进行分析，本文方法测得标准块正面有效点云30 290个。将左中右三个平面进行拟合，标准差分别为0.221 mm、0.232 mm、0.210 mm，系统相对精度约为1:5000。

图10 标准块的三维测量实验Fig.10 3D measurement experiment of standard block

图11 三维测量系统人脸重建结果Fig.11 Reconstruction results of face with 3D measurement system

使用单目光栅投影三维测量系统进行人脸扫描，重建效果较好，如图11所示。

5 结论

本文研究了单目光栅投影三维测量系统标定的两个关键步骤。提出了基于拟合和局部区域效应相结合的亚像素边缘检测方法，对标志点边缘进行高精度提取，标志点边缘平均残差为0.0871。对比基于拟合方法提取的边缘残差，精度提高了41%，并提供了一种快速简单的、基于透视矫正的标志点自动化匹配方法，相机标定重投影误差均值为0.0524像素。投影仪标定中，分析相位误差产生原因并使用双四步相移减小误差。针对插值算法，提出一种基于径向基的线性插值方式，投影仪标定重投影误差均值为0.1203像素，对比双线性插值方式，精度提高23.9%。使用上述标定方法，有效地提高了单目光栅三维测量系统的标定精度。