在三维形状测量中运用条纹投影解决相位-高度关系的混合方法

【光学工程与电子技术】

在三维形状测量中运用条纹投影解决相位-高度关系的混合方法

陈扬

(陆军军官学院，合肥230000)

摘要：高度估算函数的提出是基于三维(3-D)测量系统中使用数字光处理(DLP)投影仪和一台照相机的几何分析，本研究所提出的3-D投影测量方法是一种结合了几何参数测定和最小二乘法的混合方法。此方法使用相位-高度关系相关参数对于一个线在平面中的分析和使用最小平方估算法的相关参数测定。该方法具有每幅图像行一个功能取代了每个图像像素一个功能。投影机的正选条纹图案被投射在物体上并由照相机图像来计算出测量点的相位，然后利用条纹图案的相位和测量点的高度之间的关系通过参数在水平平面坐标上表现出来。实验表明当x-z的工作范围为100 mm×50 mm时，该模型的误差在±0.1 mm之间。因此，该方法可以显著降低在3-D测量中使用投影仪和照相机之间几何关系的绘图函数的数量。

关键词：相位-高度关系；条纹投影；形状测量；摄像机标定

收稿日期：2015-05-09

作者简介：陈扬(1990—)，男，硕士研究生，主要从事武器系统检测研究。

doi:10.11809/scbgxb2015.09.034

中图分类号：TH744

文章编号：1006-0707(2015)09-0136-06

本文引用格式：陈扬.在三维形状测量中运用条纹投影解决相位-高度关系的混合方法[J].四川兵工学报，2015(9):136-141.

Citation format:CHEN Yang.In 3D Shape Measurement Using the Mixture of Fringe Pattern in the Relationship Between Phase-Height Method[J].Journal of Sichuan Ordnance,2015(9):136-141.

In 3D Shape Measurement Using the Mixture of Fringe Pattern

in the Relationship Between Phase-Height Method

CHEN Yang

(Army officer Academy, Hefei 230000, China)

Abstract:Height estimation function was proposed based on three-dimensional (3-D) measurement system used in digital light processing (DLP) projector and a camera geometric analysis, and this paper proposed a 3-D projection measurement method which is a combination of geometric parameters and the hybrid method of least squares. This method used the phase-highly relations related parameters for a line in the plane analysis and using the least square estimation of the determination of related parameters. This method was that each image row a function to replace the function of each image pixel. The projector’s first-choice stripe pattern was projected on the object and the camera images to calculate the measurement point of phase and then used stripe pattern of the relationship between the phase and the height of the measurement point on the parameters in a horizontal plane coordinate. Experiments show that when the work scope of x-z for 100 mm×50 mm, the error of the model is between ±0.1 mm. Therefore, this method can significantly reduce the 3-d measuring projector and camera used in the geometrical relationship between the numbers of the drawing functions.

Key words: phase height relations; fringe pattern projection; shape measurement; camera calibration

由于测量的固有非接触性质，以及其高速的比较和关联探测，通过使用光学传感器给三维(3-D)投影带来的发展在许多应用中越来越重要，相应的产业应用包括逆向工程，质量控制制造，生物医药以及其他产业[1]。通过3-D测量技术，因为光结构技术的高分辨率，耐用性以及实时性，使得其得到了广泛的研究。一个典型的附带图案投影(FPP)系统[2]的3-D测量系统通过使用白光投影仪和电荷耦合器件(CCD)照相机来构成。投影机投射正弦条纹图案到物体，并且CCD照相机获取了物体形状变形的图案。物体的深度信息被CCD照相机编码到变形条纹图案记录中。通过使用几何系统的三角关系，物体的三维坐标就会从变形条纹图案中得到。

摄像机的校准对使用照相机图像测量物体的尺寸来说十分的重要。这是通过相机镜头和物体与照相机的相对位置来对光学投影进行建模。一个好的校准方法应该能够获得高精度且易于实现的3-D测量结果。更通用的相位-高度分布方法的需求，对加强关于光学非接触测量系统的理解非常重要。一般来说，校准方法可以分为3种主要的方法。

第1种方法为使用一个关于每个相机像素的相位值和高度之间联系的简单查找表(LUT)。为了进行校准，校准平面的高度应该被精确的控制，并且每个像素都有一个关于他的相位值和高度之间联系的简单查找表(LUT)[3]。因此，一个大容量的储存器对于储存查找表来说是必要的，除此之外，校准平面还需要精确的控制和对准，这就导致了花费和一些困难；

第2种方法是一种几何参数测定方法。 这种方法依赖于一定的测量装置，这些装置的几何和其他参数必须提前精确的确定[4]。某些几何参数，如位置和角度都很难准确地确定，这是该方法的主要限制；

第3种方法是基于最小二乘法，通过使用几个标准块来决定相位-高度之间的关系[5,6]。这种方法实施起来更加灵活，不仅仅允许系统任意安排，同时也避免了精确几何参数确定，精确控制以及校准平面的问题。然而，正因为整个3-D空间的相位-高度是非线性的，这就导致不容易通过使用最小二乘法来找到系数。

这3个校准方法可用于寻找相位-高度关系，它们为每一个像素，每一行甚至整个相机平面建模，每种方法都有自己的优缺点，但是每一个都不易实施，特别是，在几何参数测量方法中精确测量相关参数是十分困难的，由于镜头失真导致的误差依然存在，并且必须要得到补偿。因此，尽管需要大储存空间，LUT方法还是被提了出来。为了减少用相同精度的LUT储存器空间，建议使用一种结合了几何参数测量法和最小二乘的一种混合方法。这种方法在基于平面分析(类似几何参数测定方法)下，利用每条线的相位高度关系以及通过使用最小二乘法测量出的相关参数。

1传统的相位-高度关系校准

1.1几何参数测量方法

图1展示出了在传统光学结构总运用了几何参数测量法的一个例子。莫尔投影主要由投影系统和观看系统组成。投影系统主要用来投影条纹图案到测量对象上，观看系统则对物体的结构变形进行拍照，在平行光轴的几何形状中，线接合到照相机的光学中心中，并且它的投影是平行于基准面的，照相机的光轴被设定为垂直于基准平面，当投影的条纹图案被照射到测定物体上时，其变形结构则被呈现在观察光栅上，接着通过一个具有适当放大倍数的中继透镜的CCD阵列，莫尔条纹就会被观察到。因此，如果知道分别从基准平面中测量出的角度θ1和θ2就能很容易的通过以下几何关系式从基准平面中得到高度值

(1)

图1　基于几何参数测量法的传统FPP系统

(2)

其中:φ1和φ2是θ1和θ2对应的相位值;ω0是投影机的光栅条纹的频率.从式(1)和式(2)中得到

(3)

用于计算几何参数测量法中物体的高度，该方法拥有几何约束，并且很难确切的测量到相关参数。透镜失真的误差使得找到相机的焦点位置变得十分的困难，如果想要补偿误差，该方法是与LUT方法相同的对于每个像素使用相位-高度关系的方法。

1.2最小二乘法

图2表示为一个典型的广义FPP系统设定[7]。其中，所述参考平面O-xy，照相机成像平面与O′-x′y′投影平面O″-x″y″ 随机分配，在该图中，P表示上述物体上的任意点，B表示P的成像点，D则表示以P投影的原始边缘点点A和C分别表示照相机和投影机的透镜中心。

图2　基于最小二乘法的一般 FPP系统

(4)

一个B点由O′-x′y′z′系统中到O-xyz系统中的典型坐标转换可以描述为

(5)

式中：Rot(z,γ)、Rot(y,β)和Rot(x,α) 都是坐标变换矩阵；α、β,、γ则都是基于随机参考坐标系O-xyz、x′、y′、z′轴的旋转角度。最后，基于最小二乘法，物体的高度可由以下公式得到：

(6)

其中c0～ c5以及d0～d5是由几何信息所决定的常数，如照相机的位置以及投影机的方向，公式中的系数可使用非线性最小二乘法来决定，如Levenberg-Marquardt方法以及传统的线性算法可用在非线性最小二乘法转换到线性之后。要注意的是，除了高度为0的参考平面，使用统一高度的单一统计对象将会产生不确定的解决非线性系统公式方案，此方法的主要缺点如下：① 多项式系数没有物理意义；② 这种方法不能保证较高的精度，即使使用了一个高水平的多项式，这主要是因为会产生Runge现象。另一种可能的方法为使用人工神经网络来测量回收的相位分布深度图。在这种情况下则必须执行一个耗时的训练过程。

2对于相位-高度关系的混合方法

图3展示了一个用来测量几何结构的方法。这个方法提出了通过使用平面分析，对于一行的相位高度关系(如在几何参数测定法中)，但是相关参数可以使用最小二乘法测出。点C和点P分别为图像透镜的光学中心和投影透镜的光学中心。这些符号与在图1中的符号具有相同的意义，然而，CCD照相机和投影仪可以随机放置，该测量系统消除了一些平行度和垂直度结构上的制约因素。在传统测量技术中，通过物体在参考平面和物体不在参考平面上的不同来得到物体的高度。

图3　建立 FPP系统相位-高度关系

在这里，证明出可以通过找出投影线和图像线的交点来得到物体的高度。举个例子，如果投影仪的光纤以 θ角照射到测量物体上并且像图3那样反射到图像平面，就可以通过找到投影线PG和图像线CD的交点来得到物体的高度，投影线PG围绕z轴旋转角度为角q的公式为

(7)

其中H是从参考平面所述光源的高度。此外，因为相机焦点的坐标为(x0,y0)且关于z轴的成像角度为(α+ψ)，则图像线CD的方程由下式给出

(8)

因此，可通过2个方程消除x得到两线交点h的高度

(9)

式(9)表示tanθ和tan(α+ψ)是唯一需要的变量来决定高度值，这是因为 H,x0,z0都是常数，物体的高度通过图像平面的点u1测量出，因为tan(α+ψ)是常数，所以它仅由θ所决定，然后，式(9)可改写为

(10)

其中

c1=tan(α+ψ)

(11)

c2=x0-(H-z0)tan(α+ψ)

(12)

在式(10)中，有3个未知常数H，c1和c2，如果知道这些常数，就能根据相角θ得到物体的高度，可以从3个不同的公式确定它们如果可以用3个不同的高度来测出相位值。然而，真正的相位值有-π/2～π/2的波动范围而从条纹图案得到的条纹相位φ有0～2(n+1)π的波动范围，这是因为在n位的格雷码编码过程中使用了相移法。因此，真正的相位θ和条纹相位之间的联系如下

(13)

其中η 和0是常数，如果将式(13)代入式(10)，则

(14)

如果将η从分母中分出，则

(15)

其中

a=c1/η+φ0=tan(α+ψ)/η+φ0

(16)

b=c2/η=x0/η-(H-z0)tan(α+ψ)/η

(17)

如果以成像平面中特定的一个点u1测量出物体的高度，式(15)就可用于从条纹相位中测出物体的高度，这是因为a与b仍然是常数。然而，如果测量点不是u1，α的测量角发生了改变，这就导致变量a和b也发生了改变。如果φ是焦点到成像平面的距离，并且u0是成像平面的中心，则测量点u和反射角α之间的关系由下式给出

(18)

在式(16)～式(18)中，变量a和b仅仅用来测量点u，这是因为其他的变量(如 f,η,ψ)都是常数。因此，如果知道从成像平面观察到的测量点以及从这个点测量出的条纹相位，就可以得出物体的高度。由于高度是在z坐标上，而x坐标又可以通过式(7)或(8)计算出，又因为在z坐标固定的情况下， u-v平面转换到x-y平面式唯一的，则物体的y坐标又可通过图像平面的v坐标计算出。

图4展示出使用了照相机和投影光束的3-D测量设备。该设备由黑白CCD照相机(AOSMPX1350,像素1 280×1 024 ,and8-bitdatadepth),数字光处理(DLP)投影机(LGHS200G，800×600像素)，一个处理图像的个人电脑以及一个用于标定照相机的三轴阶段组成。这些阶段具有0.001mm的精度，仅用z轴来获得在3-D测量标定期间投影机和照相机的焦点。在试验中，条纹图案的基本周期设定为8个像素，并且在相移法中使用具有8个不同阶段的八桶算法。因为投影机的水平分辨率是800像素，因此，有必要用7为的gray-code来分辨100种不同的周期，因为z轴的聚焦深度相对比x轴和y轴敏感，所以对于x-y-z测量的范围设定为100mm×100mm×50mm。

图4　使用照相机和投影光束的3- D测量设备

图5　a、b的实验数据和模拟数据对比

用h-θ的关系对21个不同的高度(每2.5mm从-25～+25mm)校准通过式(15)来找到3个未知的常数(a,b,H)，在校准中，发现H的值为275mm而与 图像α角无关，这意味着投影机透镜的焦点在参考平面上为275mm，变量a和b必须对应u值，这是因为它们是根据图像角α而改变的。图5展示的实验数据为根据图像坐标u，a和b所对应的值，当图像像素α增加时a的值在-500～200内也增加，而b的值在160 000～90 000间减少。因此，b的曲线图应以b/100的形式来绘制，如图5所示。图6表明了式(15)的相对于所述在1 290×1 024的照相机中图像平面水平线v=500的模型误差。仅管参数a和b对于每个照相机的像素来说都是常数，但都知道对于x-z平面的每一个测量点，最大误差只在±0.05mm之内。当通过所提出的几何分析法得到实验中a和b的值时，相位-高度关系显示出良好的结果，如图6所示。

图6　在x-z平面上a、b的实验模型误差

3仿真实验

通过式(15)得到良好的相位-高度关系，然而，由于每一个像素的a，b值都需要通过实验得到，这就导致了需要很多的内存空间来来记录。因此，如果它们是像式(16)和式(17)一样表示为正切函数，就能找到几何信息并且减少内存空间。η是一个与实际投影机投影角相关的由条纹图案导出的相位值比率。相位的范围是从0～200π，这是因为条纹图案的基本周期为8个像素并且投影机的水平分辨率为800像素。因此，如果测量在参考平面上的屏幕半宽w，就能通过下式来算出η的值

(19)

图5为根据图像坐标u得出的实验数据以及a和b的模型数据。实线表示的是a和b的实验数据，虚线和点线分别为a，b的模型数据。由于实线和虚线几乎重叠，因此很难区分出这2种线，模型数据不完全匹配实验数据，但是，它们之间的最大误差在 1%内。因此，可以证明出实现数据可以用图像像素u的正切函数来表示。从式(16)和式(17)来看，可以找到另一种a与b之间的关系，并以此来得到照相机焦点的位置(x0,z0)。

b=x0/η-(H-z0)(a-φ0)

(20)

通过最小二乘法发现，x0为84mm，z0为177 mm，参数a和b对于每一个照相机像素来说都是常数，特别的是，H也总是不受照相机坐标的约束，为一常数。

图7表明当a和b由式(16)和式(17)所包含的正切函数表示时x-z平面上的模型误差，该误差从照相机的水平轴出来，以抛物线的形状增加。都知道由于误差是在照相机的中心增加的，因此，这些误差主要是由透镜的失真造成的。由于a和b的实验值可以包含透镜的失真，将得到的准确模拟结果在图6中表示出。然而，式(16)和式(17)的正切函数由于是通过几何分析获得的，因此它们并不包含透镜的失真。该误差对于照相机的水平轴来说为抛物线状增加。

图7　在 x- z平面上 a、 b由正切函数表示时的

图8　使用 H补偿透镜失真后模拟的误差

知道由于误差从照相机的中心处增加，因此可以得出此误差是由于透镜失真引起的。由于实验值a和b可以包括镜头失真，可以获得准确的模拟结果，如图(6)所示。然而，由于它们仅由几何分析衍生,式(16)和式(17)的正切方程并不能考虑到透镜的失真。事实上，由于透镜失真的不恒定，H的值并不是常数，H的平均值为275 mm，由于透镜的失真在提出的公式中不考虑，有必要使用变量H来补偿透镜的失真。因此方程式(15)能做如下修改

(21)

在式(21)中，常数H在u坐标系中变为变量H。图8表示使用H补偿透镜失真后模拟的误差。该误差显著的从±1 mm 减少到±0.2 mm。a和b的值与式(15)中的值相同，但是H的值变为在照相机u坐标系中的可变值，实线与虚线分别为a和b的建模误差，这2个误差分别做a/10及b/1 000范围的调整，根据u坐标系的图像，第3条虚线为H的值。图像基于补偿透镜失真的平均高度275 mm，表式出H的变化范围为-0.8 ～+0.8 mm。知道H的变化是用来补偿b的误差，这是由于这个误差十分的小。由于图8实在是太复杂了，用图10表示出所选择的误差曲线的平面数值分别为z=20 mm，z=0 mm 以及z=-20 mm 。

图9　 a、 b和 H补偿的建模误差

图10　镜头畸变补偿后参考平面( z=0 mm),

发现在中心区域的误差在±0.05 mm之间。不过在角落区域的误差任然超过 ±0.1 mm。因此，如果排除了透镜的边缘，变量H可以完全的补偿透镜的失真。虽然如图10所示误差显著的减少到 ±0.1 mm之间，仍然发现了高频的误差，这是由DLP投影机的非线性相位误差所引起的，Gamma nonlinearity被定义为一个非线性操作的名称，用来编码或者解码亮度或者视频和静止图像中的 tri-stimulus 值，由于使用了商业投影机在3-D测量系统中来适应gamma nonlinearity，投影条纹图案的波形就造成了显著的相位误差，最终造成了测量的误差。为了对gamma nonlinearity进行补偿，Zhang 和Yau 提出了相位误差LUT生成方法，计算并储存相位误差值来对应相应得相位值。由于错误的相位误差被定期重复，Zhang和Yau通过他们提出的LUT方法显著的减少了相位误差。然而，因为对投影机gamma nonlinearity 的补偿偏离了的主题，建议参考更多的细节。式(21)是在照相机图像平面相对于水平线v= 500以1 280×1 024 像素的一个高度测量公式，因此，需要1 024方程式为每个水平线测量在图像平面上的所有高度。然而，因为投影机的条纹图案平行于y轴，如果v轴被设置为平行于y轴，则所有的方程理论上与式(21)相同。物体的x和y坐标可以从相对应的u和v值以及测量的高度计算出唯一值。通常的，设置一些条纹图案平行于图像平面的v轴是可行的，但由于透镜的失真，想设置所有的图案几乎是不可能的。当条纹图案并不是沿着v轴不变的常数时，必须为每一个V值或采样V值找到如式(21)的模型方程。如果找到了采样v值的模拟方程，内插法就可用于其他V值。图11表示出了用5种不同高度(1，2，3，4，5mm)仪表的测量结果，宽度和长度为9mm和30mm，并且每个高度都从1增加到了5，通过使用提出的方法获得了十分精确的测量数据，误差在±0.1mm，如图10所示。

图11　5种不同高度(1，2，3，4，5 mm)仪表的测量结果

4结论

提出了一个对3-D测量使用平面分析的新的映射函数，该函数结合了结合参数测量法以及最小二乘法。与几何参数测量法进行比较，该方法的优点是它具有较少的几何约束并且可以补偿由于透镜失真造成的误差。相比于最小二乘法，该方法更容易获得映射函数的参数，因为他们都具有物理参数意义。虽然提出的模拟方程在O-xz平面的相位-高度关系式，但如果投影机的条纹图案是平行于y轴，并且y轴设置为平行于照相机的v轴，那么沿y轴的所有模拟方程都是相似的。如果知道照相机u和v的坐标以及相应的高度z，物体的x和y坐标就可以计算出唯一确定的值。总的来说，提出了一个具有高度测量功能，针对以1 280像素的水平线而不是一个像素一个方程的传统几何分析或者LUT法的方程，可以在±0.1 mm的3-D测量误差范围内测量出物体的真实高度。

参考文献：

[1]Chen F,Brown G M.Overview of Three-Dimensional Shape Measurement using Optical Methods[J].OpticalEngineering,2000,39(1):10-22.

[2]陆鹏,张熹,吴君毅,等.投影栅线法测量物体三维形貌研究[J].柴油机,2007(04) :49-51.

[3]王文韫.基于RGB彩色模型的三维轮廓测量方法研究[D].长沙：湖南科技大学，2009.

[4]Takeda M,Mutoh K.Fourier Transform Profilometry for the Automatic Measurement of 3-D Object Shape[J].Applied Optics,1983,22(24):3977-3982.

[5]Hu Q,Huang P S,Fu Q,et al.Calibration of a Three-Dimensional Shape Measurement System[J].Optical Engineering ,2003,42(2):487-493.

[6]Tian A,Jiang Z,Huang Y.A Flexible New Three-Dimensional Measurement Technique by Projected Fringe Pattern[J].Optics and Laser Technology,2006，38(8)： 585-589.

[7]杨会玲.投影栅线三维形状测量系统中关键技术的研究与应用[D].长春：长春理工大学，2002.

(责任编辑杨继森)