基于二值条纹的快速高精度三维成像系统的研究

查善盼, 鲍 伟, 徐玉华

(合肥工业大学 电气与自动化工程学院,安徽 合肥 230009)

三维形貌测量在产品检测、逆向工程、三维打印、人体测量、人机交互等领域有着广泛的应用。光学三维成像是目前应用最广泛的技术之一,分为“被动式”方法和“主动式”方法。采用自然光照明的属于“被动式”方法,由于只使用2个摄像机,具有硬件配置简单,系统校准直观等优点,但是对于表面没有丰富纹理的物体，其测量精度较低。而“主动式”结构光系统,通过向被测物体投射设计好的结构光图像,用相机捕获投影到物体表面的变形光场来克服这一问题。

相移条纹技术是结构光系统中的典型代表,向被测物体投影一组正弦条纹,通过相应的相位展开算法可以对物体的相位信息进行重建。国内外学者在二值条纹测量方面进行了较多的研究工作。文献[1]提出了投射Ronchi光栅,通过调整合适的离焦程度来生成正弦条纹,为二值条纹离焦投影的三维测量方法奠定了理论基础;文献[2]将该理论运用到数字投影仪,由于投影的图片由8 bit的灰度图变为1 bit的二值图,提高了投影的速度,并且解决了非线性gamma的影响;文献[3]提出了利用脉宽调制(pulse width modulation,PWM)技术在投影仪离焦时产生正弦分布光栅图像进行三维测量;文献[4]提出了优化脉冲调制技术(optimal pulse width modulation,OPWM),通过轻微的离焦使得较宽的二值条纹具有高质量的正弦性;文献[5]提出了新的三角PWM技术(tripolar pulse-width-modulation,TPWM),进一步优化了条纹离焦投影的测量;文献[6]提出了抖动二值离焦技术,抖动技术可以对高频和低频的正弦光栅进行二值化,且不影响其调制度;文献[7]通过使用一个改进的数字投影仪(digital light processing,DLP)和快速三步移相算法,以40帧/s的速度获得了实时三维形貌测量;文献[8]提出了一种只使用4幅投影条纹和1个改进的DLP投影仪以及 FPGA开发板的方法,达到了120帧/s的速度,但其精度相对较低,达到0.527%。

针对三维测量用参考图进行相位展开[9]中测量速度限制的问题,本文使用离焦投影二值图片的方法,对测量速度和精度进行改进。本文的技术贡献如下:

(1) 介绍一种新的三维成像系统,只需投影3幅二值条纹图和1幅二值散斑图就可以完成深度测量的方法,只使用4幅二值图片就实现了快速、高精度的三维成像和形貌测量。

(2) 数字投影仪投影8 bit的灰度图一般速度在120 帧/s,投影3幅相移条纹图和1幅二值散斑图的理论速度不超过40 帧/s。而采用离焦投影仪的方法,在投影仪Lightcrafter 4500上投影二值图片可以达到4 000 帧/s,投影3幅二值条纹图和1幅二值散斑图的方法,在理论上其投影速度可以达到1 000 帧/s。

(3) 在相位展开算法上,本文使用图形处理单元(graphics processing unit,GPU)对算法进行并行加速计算,在Nvidia GTX1060上进行加速实验,整个相位展开的速度达到195 帧/s。

1 相位展开原理

1.1 相移法

相移法条纹分析技术是相位恢复最常用的一种方法,通过在被测目标表面投影一组相移条纹图,利用相机采集的被测目标表面形变的光场计算深度信息。通常需要最少投影3张条纹图像,投影的条纹图案数量越多,对测量准确度的改善越大,但是投影条纹的数量越多,所需要的时间越多。

考虑到测量的速度,本文采用的是三步相移法[10-11],其计算过程为：

I2(x,y)=I′(x,y)+I″(x,y)cos(φ(x,y))，

(1)

其中:Ii为第i幅相移图像的灰度值;I′为平均灰度值;I″为调制灰度值;φ为点P的相位值。相位值φ与投影仪坐标系下X轴上的坐标关系为：

(2)

其中：φ为相位值;xP为对应坐标值；N为条纹数;ω为投影条纹的水平分辨率。当确定了相位值φ,可以得到坐标xP,进而可以利用三角关系得到其深度。

对(1)式进行求解只能得到包裹相位或者范围在(0,2π)之间的相对相位,即

(3)

由(3)式将相对相位恢复到绝对相位φ，即

φ(x,y)=φ′(x,y)+2Kπ

(4)

其中，k为待确定的条纹序列的周期数。

1.2 参考图相位展开

本文采用一种利用散斑参考图进行相位展开的框架[9]。该框架只需投影3幅相移条纹图和1幅散斑图就可以实现深度测量。该框架的具体测量是需要首先向参考平面投影3幅相移条纹图、1幅散斑图和1幅左边全白右边全黑的二值条纹图,来完成参考平面的相位展开[12]；然后得到参考平面的相对相位图、绝对相位图和参考平面的散斑图。完成准备工作后,接下来进行正式测量,对被测物体投影3幅相移条纹图和1幅散斑图。利用相移法可以得到1张当前的相对相位图,接着利用立体匹配算法对当前参考图和参考散斑图进行立体匹配,得到1张稠密视差图。此外,利用相位约束条件进一步提高匹配的准确度进行相位展开。

2 二值图案三维成像方法

2.1 二值图案结构光系统

数字投影仪利用DMD微镜工作原理,通过控制微镜开关状态之间切换的速率控制投影图片像素的亮度。文献[9]采用正弦相移条纹图,图像为8 bit的灰度图,用采集到的条纹图计算相位信息。在一般的商用投影仪上,投影8 bit灰度图的速度限制在120 帧/s,投影3幅灰度相移条纹图加上1幅散斑图,其速度在40 帧/s以内。另外,由于结合使用了相移法,该方法具有精确度高的特点，但缺点是对投影仪的非线性gamma比较敏感,任何非线性效应都会使理想的正弦条纹图案变形为非正弦的,并引入误差。由这种非正弦波形引起的相位误差是测量的主要误差来源。然而,为了获取更好的视觉效果,现在的商业DLP投影仪会设置为非线性的,从而使得测量误差必须进行补偿才能获取较为精确的结果。为了消除投影仪非线性gamma引起的测量误差,文献[9]采用常用的“查表法”对非线性误差进行标定和校正。

针对文献[9]中存在的不足,本文对该框架进行改进,采用离焦投影二值条纹图的方案，将投影3幅相移条纹图和1幅散斑图的方案改为离焦投影3幅二值条纹图和1幅二值散斑图。由于针对1 bit的二值图投影速度可以突破投影灰度图速度的限制,在投影仪Lightcrafter 4500上可以将投影速度提升到4 000 帧/s。

投影3幅二值条纹图和1幅二值散斑图的理论速度可以达到1 000帧/s,极大地提升了三维测量的速度。通过让投影仪适当离焦,可以使二值条纹图离焦近似为正弦条纹图,既保持了相移法的优点,又消除了非线性gamma的影响,不再需要额外的查表补偿,使得测量过程中减少了计算补偿校正的时间。本文的方法不但保证了测量的精度,而且极大地提高了测量的速度。

2.2 投影仪离焦生成条纹图

二值条纹在数学上可以视为一个方波,二值方波的傅里叶级数展开式[13]为：

(5)

(5)式中一阶谐波代表理想正弦波,而高阶谐波代表方波的详细特征。在频域中,由于方波只有奇数次谐波而没有偶数次谐波,若使用低通滤波器消除或抑制高阶谐波,则可以近似理想正弦波。投影仪离焦技术可以对图像产生平滑效果,因而可以将其建模为高斯滤波器。如果投影仪适当散焦到一定程度,投影的二值图像将会模糊,从而生成近似正弦条纹图案。

投影仪离焦投影二值条纹图时,随着离焦程度的加深,二值条纹越来越近似正弦条纹,但同时图像会变得越来越模糊,对比度也会逐渐下降。不同离焦程度下的二值条纹图及剖面图如图1所示。

图1a～图1d所示为不同离焦程度下相机采集到的条纹图像,图1e～图1h所示为采集图像的剖面图,通过剖面图可以直观分析二值图像离焦投影后正弦化的效果以及图像对比度的变化。

图1 不同离焦程度下的二值条纹图及剖面图

在同一离焦程度下,不同宽度的二值条纹图所表现出的正弦性也是不同的。当二值条纹宽度较窄时,所表现出的正弦效果好;当条纹宽度较宽时,正弦性效果较差，如图2所示。

图2 不同宽度二值条纹图及剖面图

通过上述实验发现,投影仪不同离焦的程度和条纹图的宽度均直接影响着二值条纹图在物体表面投影的正弦化效果,同时随着离焦程度的增加,条纹图的对比度不断地下降。因此,本文采用宽度为9 pixel的二值条纹图,在投影仪轻度离焦的状态下,离焦投影的二值条纹有较好的正弦性且相机采集的图像具有高对比度。

2.3 散斑调优

本文使用的参考图相位展开框架中,需要向参考平面和被测物体投影设计好的散斑图案来进行匹配。因为投影仪处于离焦状态,相机采集的散斑图案也处于离焦状态,散斑图案的质量直接影响匹配的结果，所以需要对散斑图进行优化设计,以更好地实现散斑匹配。

二值散斑投射到物体表面时,可以有效地对空间信息进行编码。散斑编码已经成功应用到许多消费产品中,如Microsoft Kinect V1和iPhone X。本文所使用的散斑图是根据Kinect里面的散斑进行设计的,具有较强的独特性和抗干扰能力。实验中,当散斑的颗粒较小、间距较密集时,离焦投影的结果比较模糊,会影响后续的散斑匹配。当散斑的颗粒或间距较大时,又无法对被测物体进行有效地信息编码,导致匹配不可靠。因此,本文设计了一系列不同颗粒大小和间距的散斑图用以散斑调优匹配实验,采用不同密度的散斑图进行匹配实验，得到的视差结果如图3所示。其中:图3a～图3d为设计不同颗粒大小的散斑图;图3e～图3h为散斑离焦投影在被测物体的效果图;图3i～图3l为散斑匹配的视差图。当使用图3a所示的密集散斑,轻微的离焦就会使得散斑变得非常模糊,如图3e所示。模糊的散斑无法对被测物体进行有效地信息编码,散斑匹配无法得到正确的结果,其视差图中的大卫无法计算出来,如图3i所示。当根据离焦情况选择颗粒大小与间距适中的散斑,散斑会均匀清晰地覆盖在被测物体表面,对被测物体进行有效地编码,立体匹配会获得正确的视差图,如图3f所示。当散斑变得逐渐稀疏时,散斑编码丢失的信息也越来越多,立体匹配产生的视差图中出现越来越多的噪点及错误区域,如图3g、图3h所示。

图3 不同颗粒大小的散斑图

通过一系列实验发现,在投影仪轻度离焦状态下,根据离焦情况选择颗粒大小与间距适中的散斑,可以对被测物体进行有效编码来获取被测物体的正确视差图。

2.4 匹配算法

在本文的三维成像系统中,利用了与文献[9]类似的一种基于PatchMatch Stere[14-16]的简化算法进行散斑匹配。原始的算法需要优化随机的3D平面,使得匹配代价的计算开销很大,而只需要优化一维视差的简化的PatchMatch Stereo[15-16]算法被广泛应用于实时测量的系统中。

本文的PatchMatch算法,将代价函数的计算用Census变换来代替，Census变换通过比对窗口像素与中心像素的大小进行图像信息的编码,其优点是对环境光照变化具有较强的鲁棒性[17]。本文将中心像素P的灰度值IP替换为整个矩形窗口WP的平均灰度值IP,可以增加代价匹配的鲁棒性。在P点的Census变换计算公式为：

(6)

参考散斑图中的点Q和当前散斑图中对应点P,它们之间的视差值为d,则P点的匹配代价可以通过汉明距离来计算,公式如下：

C(P,d)=Hamming(Census(P),Census(d))

(7)

最后利用相位约束条件可以提高散斑匹配的精度,即当前散斑图和参考散斑图中对应点的相位是相同的。

改进的PatchMatch算法主要由随机初始化、视差传播和后处理3个部分组成。利用这3个部分得到目标视差信息,之后利用框架进行相位展开,再利用相机和投影仪的内参矩阵、外参矩阵以及相机、投影仪之间的关系,计算求解出三维空间坐标,得到相应的点云图。

3 实验及结果分析

本文采用轻度离焦的数字投影仪，投影分辨率为1 024×768的二值条纹图和散斑图。其中二值条纹图的宽度为9 pixel,散斑图根据Kinect里面的散斑图设计,具有较强的独特性和抗干扰能力。

本文设计的快速高精度三维成像的结构光系统主要包括1个 CCD 相机和1个分辨率为1 024×768 的 DLP 投影仪。结构光系统中基线长度为 196.34 cm,从相机到参考平面的距离为105.4 cm。相机上安装了1个焦距为8 mm的Computar M0814-MP2镜头,相机的分辨率为 640×480。 测试程序采用VS2015编写,运行在处理器为Intel(R) Core(TM) i5-7300HQ和搭载了图形处理器为Nvidia GTX1060的计算机上。

(1) 采用本文所设计的三维成像系统去测量1个高度为30 cm、表面几何形状复杂的大卫雕像。大卫雕像的重建过程如图4所示。

图4 大卫雕像重建过程

(2) 为了验证本文方法对多个分离物体的有效性,本文测量了2个不同位置相互独立的大卫雕像,如图5所示。其中，一个高30cm,距离相机110 cm；另外一个高15 cm,离相机100 cm。。

图5 分离物体的重建过程

(3) 为了验证系统对具有多反射率表面物体的有效性,用系统对彩色布进行测量,其重建过程如图6所示。结果表明本文方法对于复杂纹理物体的测量也是有效的。

图6 多反射率目标实验

为了验证该系统的精确度,本文在距离110 cm处测量了一个光滑的平面板,获得该平面的点云,将点云数据中的背景部分除去,然后对点云拟合一个平面,平面拟合的均方根误差为0.27 mm。

在速度上,通过在图形处理器Nvidia GTX 1060上对PatchMatch相位展开算法进行加速,整个相位展开的速度为195 帧/s。

4 结 论

本文提出了一种基于二值条纹的快速高精度三维重建系统。采用基于参考图像的相位展开框架,只需要投影4幅二值图片,即可实现全场三维重建。采用Lightcrafter 4500投影仪,投影4幅二值图片的理论速度可以达到1 000 帧/s,极大地提升了投影速度。通过在图形处理器Nvidia GTX 1060上对PatchMatch算法进行加速,相位展开速度为195 帧/s。在精度上,用该方法测量一个光滑平面板的均方根误差为0.27 mm。本文验证了基于参考图像的相位展开框架、离焦投影3幅二值条纹图片和1幅二值散斑图实现三维重建方法的有效性。在未来的工作中,将采用高速相机和Lightcrafter搭建高速三维测量系统。