结构光中心提取中的条纹灰度退化调整

陈波,张英杰,张佳瑞,代愽超

(西安交通大学机械工程学院,710049,西安)

结构光三维测量技术具有非接触性、测量系统简单、测量效率高和易于实现等特点,被广泛应用于产品快速成型、在线测量、故障缺陷检测等诸多领域[1-3]。基于三角法原理进行结构光测量时,获取结构光条纹中心的高精度图像坐标是测量过程中的核心步骤[4]。

线结构光的光强特性表明,条纹的灰度在横截面上基本服从高斯分布[5],条纹中心位于截面灰度最大值附近。因此,学者们提出了极值法、几何中心法、曲线拟合法、灰度重心法[6]和Steger法[7]等常用的条纹中心提取方法。极值法和几何中心法实现简单但是精度不高;曲线拟合法、灰度重心法和Steger算法均为亚像素中心提取方法,且抗噪效果较好。无论对于哪种中心提取方法,提取精度都依赖于条纹的截面灰度分布特征。实际上,结构光条纹灰度会受到各种因素的影响而不再近似服从高斯分布,特别是当被测物体表面的曲率和反射率变化较大时,条纹的截面灰度分布会发生严重退化[8],引起条纹亮度不均匀、灰度最大值发生偏移等问题,从而导致条纹中心提取精度降低。针对这一问题,周兴敏等提出基于双三角光路修正投影光束反射光斑重心偏移的方法[9],但该方法需要一个左右对称设计的双三角测量头,测量系统硬件复杂且对标定要求高。Yin等提出一种基于自适应卷积技术的方法[10]去修正条纹的灰度畸变,但该方法只局限于单根条纹的中心提取,并且需要对整幅图像进行卷积运算。刘振等提出利用邻域条纹的相关性建立相关系数来解决灰度分布退化的问题[11],但对灰度分布发生突变的条纹提取效果不佳,且相关系数计算复杂。

本文首先根据结构光能量传播原理,建立了高斯结构光的条纹灰度退化模型,分析并推导了条纹灰度退化的过程表达式,然后提出了一种通过消除条纹灰度退化项的灰度调整方法。

1 测量模型与灰度退化分析

结构光测量系统由投影仪、摄像机和被测物体组成,测量原理如图1所示。投影仪投射出带有高斯条纹的图像,条纹遇到被测物体产生变形,在摄像机端通过CCD图像传感器接收条纹信号,对摄像机和投影仪进行三维世界坐标与二维图像坐标转换关系的标定之后,计算机利用条纹中心的图像坐标,采用线面求交法得到物体表面的三维信息。

图1 测量系统图

理论上可以认为,结构光条纹的灰度在横截面上服从高斯分布,但在实际情况下,条纹的灰度分布受到各种因素的影响会产生退化,导致条纹中心位置提取不准确。这些因素包括图像采集系统的随机噪声、外界环境光影响和被测物体的表面特征调制[12]。其中,随机噪声和环境光的影响可以选用合适的滤波方式与背景相减去除[13],而被测物是整个测量环节中最不具确定性的部分,其复杂的表面形状、反射率系数等特征是引起条纹灰度退化的主要原因。因此,分析并减小物体表面特征对条纹灰度的影响有利于提高条纹中心提取的精度。

一般测量物体表面均由平面和曲面组成,为了分析物体表面特征对条纹灰度分布的影响,将结构光系统模型简化为图2所示的二维模型。图中将被测物简化为一个半径为r的圆,圆心为Oc(x0,y0),假设物体表面为理想漫反射表面,且物体表面由具有不同反射率系数的曲面组成;图中的高斯曲线S1表示投射条纹的截面灰度分布,不规则曲线S2表示拍摄条纹的截面灰度分布。测量系统中,设投影仪投射面平行于X轴,投射方向沿Y轴,θ为投射方向与物体表面法线的夹角,β为拍摄方向与物体表面法线的夹角,α为投射方向与拍摄方向的夹角。

图2 条纹灰度退化分析模型

已知投射条纹的截面光强分布曲线为高斯曲线,数学表达式为

(1)

式中:A表示投射条纹灰度的幅值;σ为标准差,表示条纹的跨度;Xc为条纹中心的X坐标,并且满足Xc=3σ+1。

(2)

(3)

式中:Kd1和Kd2分别表示图2中被测物体表面上不同颜色区域的漫反射率系数;Xk为物体表面反射率突变处的X坐标。

式(3)表明,摄像机接收到的条纹光强分布受到物体表面反射率系数、入射光线角θ和拍摄光线角β的调制。图3显示了图2模型中被测物体表面上不同反射率系数分布情形下对拍摄条纹光强的影响,图3a表明物体反射率均匀,此时得到的条纹灰度符合高斯分布,图3b表明物体反射率由高向低突变,此时条纹灰度极大值向左偏移,图3c表明物体反射率由低向高突变,此时条纹灰度极大值向右偏移。此外,式(2)表明,对于固定的测量系统,θ和β由物体的曲率半径r决定。图4显示了曲率半径在X方向对入射角和拍摄角的余弦比值的影响,图4表明曲率半径越小,物体表面法线变化越剧烈,两夹角的余弦比值曲线变化越明显,反映到式(3)中,对条纹灰度退化的影响程度越大。

(a)Kd1=Kd2=0.8

(b)Kd1=0.8,Kd2=0.4

(c)Kd1=0.4,Kd2=0.8图3 反射率对条纹灰度分布的影响

图4 曲率半径对θ与β余弦之比的影响

以上分析表明,结构光经过物体表面特征调制后,拍摄条纹的灰度会产生复杂的退化,进而引起条纹断线、灰度丢失以及重心偏移等问题。若直接采用中心提取算法,对中心坐标会造成较大的测量误差,所以要提高三维测量精度,必须对退化的条纹进行灰度调整。

2 条纹灰度调整与中心提取

图1表明,结构光三维测量实质上是结构光能量的传递过程,设P为被测物表面上任意的一点,令该点的表面反射率为KdP,入射光线角为θP,拍摄光线角为βP,由式(3)导出P点的灰度调制系数为

(4)

根据三角测量原理,假设P点对应于投影图像坐标中的Pp(ξP,ηP)点和拍摄图像坐标中的Pc(uP,vP)点。设投影图像上Pp点的灰度值为I(ξP,ηP),拍摄图像上Pc点的灰度值为I(uP,vP),实际拍摄中,需要考虑环境光分量的影响,根据式(3)和式(4),可以推导出

I(uP,vP)=f(KdP,θP,βP)I(ξP,ηP)+Ia

(5)

式中:Ia表示环境反射光强,由拍摄环境决定,一般在固定拍摄场景下可以认为Ia为常数。

式(5)表明,灰度调制系数f(KdP,θP,βP)是引起拍摄条纹灰度退化的主要原因,在已知物体表面上各点反射率系数Kd、入射角θ、拍摄角β的情况下,可以通过式(4)直接计算出各点的调制信息,再消除环境光的影响,便能实现退化条纹的灰度调整。调整公式为

(6)

式中:I′(uP,vP)表示图像坐标中Pc点经灰度调整后的灰度值,满足I′(uP,vP)=I(ξP,ηP),所以对拍摄条纹横截面上各像素点进行灰度调整后,条纹的截面灰度分布基本与投射条纹一致。

在实际测量过程中,Kd、θ、β均与被测物体上各点的空间位置有关,并且被测物体相对于结构光测量系统的空间关系是未知的,所以无法直接计算出灰度调制信息。如果已知I(uP,vP)和I(ξP,ηP),则可以通过式(5)反求对应点的灰度调制信息,但事实上无法通过单幅拍摄图像找到Pc点和Pp点的匹配关系。

考虑到在固定测量环境下多次对被测物体进行拍摄,物体上各点的表面特征参数不发生改变。本文采用增加投影单色灰度图像的方式来间接计算各点的灰度调制信息,其中单色灰度图像指图像中各点的灰度值相等,即I(ξ,η)=C,C为常数且C∈(0,255),此时拍摄图像可以表示为

I(ui,vi)=f(Kdi,θi,βi)C+Ia,i=1,2,…,N

(7)

式中:N表示测量点的个数;(ui,vi)表示第i个测量点映射到拍摄图像中的像素坐标,因此图像像素点和测量点具有一一对应的关系。式(7)表明,投影单色灰度图像后,由于环境光Ia为常数,从而可以通过拍摄图像的灰度信息反求出与各像素点所对应的灰度调制信息。

基于上述思路,本文提出一种条纹灰度退化的调整方法,具体的实现步骤如下。

(1)在固定测量系统与拍摄环境下,投影仪分别投射两幅单色灰度图像和一幅高斯条纹图像,其中单色灰度图像的灰度值分别为C1、C2,并且满足C1≠C2。此时,相机分别拍摄得到两幅单灰度调制图像I1与I2和一幅高斯条纹调制图像I3,则有

I1(ui,vi)=f(Kdi,θi,βi)C1+Ia,i=1,2,…,N

(8)

I2(ui,vi)=f(Kdi,θi,βi)C2+Ia,i=1,2,…,N

(9)

I3(ui,vi)=f(Kdi,θi,βi)I(ξi,ηi)+Ia,

i=1,2,…,N

(10)

式中:(ξi,ηi)表示第i个测量点映射到投射的高斯条纹图像中的像素坐标。

(2)在3次相机拍摄过程中,认为环境光分量是不变的,由于C1、C2已知,联立式(8)、式(9),可以逐点计算出每个像素点对应的灰度调制信息为

i=1,2,…,N

(11)

得到灰度调制信息后,将其代入式(8)中,得到环境光分量为

i=1,2,…,N

(12)

(3)将求得的灰度调制信息和环境光分量代入式(6),逐点对高斯条纹调制图像I3进行灰度调整,计算式为

i=1,2,…,N

(13)

经过上述灰度调整之后,基本消除了因物体表面属性引起的条纹灰度退化问题,即调整后的条纹截面灰度基本满足高斯分布,于是本文选择计算效率较高、可达到亚像素级精度的灰度重心法进行条纹中心提取,其表达式为

(14)

式中:ok,j为图像上第k行中第j根条纹的中心坐标;(p,q)为该条纹所在的位置区间;Ii为第i个像素的灰度值。

3 实验与分析

为检验本文方法的有效性,进行了实物实验,本实验系统由一个数字投影仪(Optoma DN322,分辨率为1 024×768像素)、一个工业相机(Point GX-FW-28S5C/M-C CCD,分辨率为1 600×1 200像素)和一台计算机(Pentium 3.2 GHz CPU,4 GB内存)组成。

为了得到不同反射率条件下的条纹图像,在白色纸上打印出黑白相间的模板,并平贴在一平板上作为被测物体。在暗室环境下,调整曝光参数以保证相机CCD处于不饱和状态,然后固定摄像机参数,在同一场景内分别由投影仪投射两幅单色灰度图像和一幅高斯条纹图像。图5为相机拍摄到的部分受调制的图像,图5a对应于投影仪投射高斯条纹图像,图5b对应于投影仪投射灰度值为200的单色灰度图像。图5a表明物体表面反射率大大影响了拍摄条纹的质量,其中横线标记处依次代表低亮度条纹、反射率突变处条纹以及正常条纹。对其截面灰度分布进行分析,结合单灰度退化图像中相同像素位置的灰度分布,利用本文所提方法对条纹灰度进行调整,得到图6所示的条纹灰度经调整前后的分布曲线,以及调整后的条纹图像。表1给出了横线标记的截面经过灰度调整前后利用灰度重心法得到的条纹重心位置。

表1 灰度调整前后的截面条纹重心

(a)高斯条纹退化图

(b)单灰度退化图图5 相机拍摄到的部分受调制的图像

图6a所示低亮度条纹处于反射率较低的黑色区域,平均灰度低。虽然其灰度分布对称,重心基本没有偏移,但是对整幅图像提取中心时,需要设定一个灰度阈值对条纹进行分割,导致该类条纹因为特征不明显易被当成背景处理,从而无法提取条纹中心。经过灰度调整之后,条纹亮度增加,便于提取条纹中心。图6b所示条纹处于黑白交界区域,该区域反射率产生突变,灰度值也在交界处突然变大,导致条纹重心向反射率大的一侧偏移,经灰度调整之后,消除了条纹灰度畸变,灰度分布基本符合高斯分布,条纹重心坐标也得到了较大的修正。图6c所示正常条纹处于反射率较高的白色区域,条纹质量较好,灰度调整前后灰度值和中心位置变化不大。图6d所示图像表明,经过灰度调整后,条纹图像的整体质量得到改善,相比于图5a中的原图像,条纹沿其延伸方向灰度分布均匀,基本不会产生突变。

此外,为了进一步验证该方法的适用性,以表面曲率变化较大的人脸石膏模型进行对比实验,条纹中心提取结果如图7所示。图7a为拍摄图像直接经过灰度重心法得到的条纹中心提取结果,在物体表面曲率和法线方向变化较大的区域,如图7a中矩形标记处,严重影响了结构光的入射角和拍摄角,使得条纹亮度降低。对该区域放大,如图7b所示, 可以观察到条纹中心产生大量断线的现象,并且在中心线断裂端(椭圆标记处),伴随着许多噪声中心点,严重降低了测量精度。图7c为经本文方法调整后再提取的条纹中心结果,为了便于分析对比,将其表面曲率变化较大的区域进行放大,如图7d所示,结果表明,调整后的条纹特征更加明显,条纹亮度显著提高,提取的条纹中心没有产生断线和噪声现象,并且与条纹的延伸方向更加吻合。

(a)低亮度条纹

(b)反射率突变处条纹

(c)正常条纹

(d)灰度调整后的图像图6 条纹初始及调整后的灰度对比

(a)灰度调整前 (b)局部放大图

(c)灰度调整后 (d)局部放大图图7 人脸模型条纹中心提取结果

由上述实验结果分析可知,本文提出的灰度调整方法能有效降低物体表面反射率对条纹质量的影响,改善了条纹在其横截面上的灰度分布,修正了因为条纹灰度突变引起的中心偏移。同时,本方法可以对复杂曲面的变形条纹进行灰度调整,解决了复杂曲面图像中因条纹亮度不均匀而引起的中心线局部断线问题。

4 结 论

本文对结构光经物体表面特征调制后的灰度分布模型进行分析,提出了一种对条纹灰度退化的调整方法。所提方法根据光线能量传递模型,通过投影单色灰度图像间接计算出摄像机采集图像上各像素点对于物体表面特征的调制信息,并将其代入实际变形条纹以消除灰度退化项,实现了对退化图像的灰度调整,降低了物体表面曲率与反射率对条纹灰度分布的退化影响。实验结果表明,本方法能有效地提升条纹质量,并消除条纹横截面上的灰度突变,同时能解决复杂物体图像中因为亮度太低而引起的条纹中心局部断线问题,从而保证了测量数据的完整性与可靠性。

[1] USAMENTIAGA R, MOLLEAD J, GARCIA D F. Fast and robust laser stripe extraction for 3D reconstruction in industrial environments [J]. Machine Vision and Applications, 2012, 23(1): 179-196.

[2] 李凤娇, 李小菁, 刘震. 基于多尺度分析的激光光条中心点坐标提取方法 [J]. 光学学报, 2014, 34(11): 103-108. LI Fengjiao, LI Xiaojing, LIU Zhen. A multi-scale analysis based method for extracting coordinates of laser light stripe centers [J]. Acta Optica Sinica, 2014, 34(11): 103-108.

[3] XUE Q, WANG Z, HUANG J. Improving the measuring accuracy of structured light measurement system [J]. Optical Engineering, 2014, 53(11): 112204.

[4] 江永付, 江开勇, 林俊义. 线结构光光条中心亚像素精确提取方法 [J]. 激光与光电子学进展, 2015, 52(7): 179-185. JIANG Yongfu, JIANG Kaiyong, LIN Junyi. Extrication method for sub-pixel center of linear structured light stripe [J]. Laser & Optoelectronics Progress, 2015, 52(7): 179-185.

[5] 贺俊吉, 张广军. 结构光三维视觉检测中光条图像处理方法研究 [J]. 北京航空航天大学学报, 2003, 29(7): 593-597. HE Junji, ZHANG Guangjun. Study on method for processing image of strip in structured-light 3D vision measuring technique [J]. Journal of Beijing University of Aeronautics and Astronautics, 2003, 29(7): 593-597.

[6] TRUCCO E, FISHER R B, FITZGIBBON A W, et al. Calibration, data consistency and model acquisition with a 3-D laser striper [J]. International Journal of Computer Integrated Manufacturing, 1998, 11(4): 293-310.

[7] STEGER C. An unbiased detector of curvilinear structures [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(2): 113-125.

[8] 王顺, 徐静珠, 张益昕, 等. 结构光光条中心点信度评价方法与应用 [J]. 光学学报, 2011(11): 203-209. WANG Shun, XU Jingzhu, ZHANG Yixin, et al. Reliability evaluation method and application for light stripe center extraction [J]. Acta Optica Sinica, 2011(11): 203-209.

[9] 周兴敏, 刘恒彪, 葛剑敏. 激光三角测量中物面反射光斑重心偏移的修正 [J]. 光学学报, 2015, 35(5): 153-157. ZHOU Xingmin, LIU Hengbiao, GE Jianmin. Reflected spot center offset correction in laser triangulation measurement [J]. Acta Optica Sinica, 2015, 35(5): 153-157.

[10]YIN X Q, TAO W, FENG Y Y, et al. Laser stripe extraction method in industrial environments utilizing self-adaptive convolution technique [J]. Applied Optics, 2017, 56(10): 2653-2660.

[11]刘振, 李声, 冯常. 基于互相关算法的激光条纹中心提取 [J]. 中国激光, 2013, 40(5): 197-202. LIU Zhen, LI Sheng, FENG Chang. Laser stripe center extraction based on cross-correlation algorithm [J]. Chinese J Lasers, 2013, 40(5): 197-202.

[12]李莹莹, 张志毅, 袁林. 线结构光光条中心提取综述 [J]. 激光与光电子学进展, 2013, 50(10): 9-18. LI Yingying, ZHANG Zhiyi, YUAN Lin. Survey on liner structured light stripe center extraction [J]. Laser & Optoelectronics Progress, 2013, 50(10): 9-18.

[13]许宁. 线结构光光条图像处理方法研究 [D]. 哈尔滨: 哈尔滨工程大学, 2007: 17-21.

[14]陆枫, 何云峰. 计算机图形学基础 [M]. 北京: 电子工业出版社, 2008: 288-292.

[本刊相关文献链接]

刘涛,杨树明,蒋庄德.超振荡透镜的三维全矢量电磁分析方法.2017,51(8):1-5.[doi:10.7652/xjtuxb201708001]

陈冬,王亚宁,刘亚雄,等.双投影光固化成型方法研究.2017,51(2):149-154.[doi:10.7652/xjtuxb201702023]

何徽,温伟峰,张登洪,等.条纹相机扫描速度调节电路.2013,47(12):66-70.[doi:10.7652/xjtuxb201312012]

赵一博,韩妙飞,闫相国.几种漫射光学成像图像重建算法的比较研究.2012,46(4):106-111.[doi:10.7652/xjtuxb201204 018]

秦玉伟,赵宏,庄仲琴.热光源谱域光学相干层析成像系统.2011,45(11):63-67.[doi:10.7652/xjtuxb201111013]