基于信度评估的线结构光多重曝光条纹提取

李佐超,郭 威,景春晖,张代聪,马训鸣

(西安工程大学机电工程学院,陕西 西安 710600)

0 引言

随着计算机视觉与光电技术的迅速发展,基于机器视觉的检测技术得到检测行业的高度重视。其中,线结构光[1]主动视觉测量技术以其测量精度高、抗环境干扰能力强的优势,在缺陷检测[2]、目标定位[3]、逆向工程[4]等众多领域得到了广泛应用。结构光测量系统的精度受到设备标定、传感器性能环境光等众多因素的影响,尤其是面对表面反光特性复杂的被测物体时,如何获取可靠的光条图像,对于保证测量精度具有重要意义。为了提升条纹图像的质量,国内外学者针对结构光测量系统的不同环节开展了深入研究。文献[5]提出了1种实时曝光调节技术,以获取稳定的灰度图像。文献[6]研究了图像传感器的参数标定对测量精度的影响。文献[7]研究了直方图的自适应曝光控制方法,以提高测量精度。文献[8]通过分析曝光时间与条纹信度评估结果,获得最优曝光时间。文献[9]通过连通域分析,实现图像感兴趣区域(region of interest,ROI)的提取及滤噪。文献[10]提出了1种基于自适应窗口的灰度中心法,解决了条纹图像受光照变化与噪声干扰的问题。但在上述各项研究中,参数标定研究不能解决被测物体表面反光特性的复杂性问题,且自适应曝光控制以及图像预处理等方法对受欠曝光与过曝光双重影响的测量场景适应性较差。文献[11]提出以光条截面所具有的能量和作为条纹可信度评估依据。能量越高,即条纹存在的可信度越高。但这种方法存在的问题是过曝光下条纹的信度值较高,会导致条纹灰度过饱和;同时,伴随干扰条纹与散斑的产生,所以实际条纹可靠性较低。

本文结合文献[11]的可信度评估方法,在改进的条纹信度评估基础上,实现了1种通用型的多重曝光条纹提取法。

1 条纹信度评估数学模型

单线结构光三维测量利用三角测量原理,通过相机、激光发生器、被测物体的空间三角位置来计算光条中心位置的三维坐标,以达到获取物体表面三维数据的目的。

条纹截面的灰度分布直接影响条纹中心提取的准确性。在固定拍摄角度下,被扫描工件表面各处的反光程度不同,实际的条纹图像中往往存在多种低可信度的条纹图。低可信度条纹灰度图像如图1所示。

图1 低可信度条纹灰度图像Fig.1 Low confidence striped gray scale images

根据条纹的能量水平和截面宽度可将其分为2类,分别为欠曝光条纹和过曝光条纹。欠曝光条纹处可能存在轮廓线,但截面能量密度处于低水平,灰度分布不均匀,一般认为可信度较低。过曝光条纹处存在轮廓线,但条纹截面灰度过饱和且产生的散斑使条纹干扰严重,条纹宽度已超过正常范围。

根据上述分析可知,可靠的结构光条纹应该具有2个特征。

①能量特征,即达到一定的能量水平,避免重建图像中出现欠曝光条纹。

②合理条纹宽度特征,即防止过曝光下产生高能量但低可信度的条纹。

由此,本文选定条纹能量密度与宽度作为条纹可信度水平的评估依据。

单线结构光图像采集过程中,需尽量使条纹法向在图像中水平分布,即条纹法向横截面垂直分布。在此前提下,光条图像上任意1列的能量密度计算方法如下。

①条纹截面宽度估计。

在M行N列的光条图像f中,对于其中任意1列x,以某种方法得到条纹中心点的纵坐标yC。中心处灰度值为Pmax,结构光条纹边缘最小灰度值为Pmin≤50%。以yC为中心向光带两端搜索首个Pmin值的像素点a和b,则a、b分别为条纹两端边界像素。其中像素个数wx被定义为条纹宽度。

②环境噪声与基底噪声。

由于环境光线及电荷耦合器件(charge conpled device,CCD)热噪声的影响,实际光条图像中必然具有一定的噪声,从而影响能量计算的准确性。本文从条纹两端a、b分别向外延伸w个像素,以其灰度累计作为条纹总噪声。图像f中单个像素灰度值为f(xi,yi),则第x列的条纹总噪声为:

(1)

式中:Nx为第x列像素的总噪声;wx为第x列像素的条纹截面宽度;yj为第x列像素的条纹截面像素的横坐标。

③光条截面能量和。

条纹截面能量即条纹截面宽度范围内像素的灰度值之和。图像中第x列像素的能量可表示为:

(2)

式中:Ex为条纹截面能量累计和;ya、yb为条纹截面边界像素横坐标。

④光条能量密度及归一化处理。

条纹能量密度即条纹截面宽度范围内灰度值之和与截面像素宽度的比值。本文以最大像素值进行归一化处理。第x列的能量密度可表示为:

(3)

式中:Rx为第x列像素的归一化能量密度;Dmax=255。

根据上述计算方法,本文以图1中的条纹图像为例,分别标记出4种不同灰度分布状态的条纹区域。其各包含50列像素。待评估条纹区域如图2所示。

图2 待评估条纹区域Fig.2 Striped areas to be assessed

区域①中的条纹形态较好,具有较高的可信度,故将此处条纹作为其他条纹的参照。区域②为过曝光区域。区域③为欠曝光区域。区域④中灰度分布较为正常。 本文将图2中4种不同灰度分布状态的条纹区域分别输入信度评估体系,得到不同条纹区域能量密度和宽度分布图。不同条纹区域能量密度分布如图3所示。

图3 不同条纹区域能量密度分布图Fig.3 Distribution of energy density in different stripe regions

图2中区域②由于过曝光导致条纹灰度值饱和,并且在条纹周围产生了散斑。此处条纹的实际可信度较低,但处于过曝光下的条纹具有较高的能量水平。图3中的过曝光条纹曲线相应体现了这一状况。由此可知,仅通过能量密度评估指标不容易区分过曝光与形态较好的条纹。

对于图2中区域③,即处于欠曝光状态下的条纹,条纹灰度值和可信度均较低。图3中对应的欠曝光条纹曲线也验证了这一情况。

对于图2中区域④,从图3的条纹图像中可以直观看出此时的条纹形态较好。其在图3中所对应的正常条纹曲线与参照条纹的能量密度曲线最接近。

不同条纹区域宽度分布如图4所示。

图4 不同条纹区域宽度分布图Fig.4 Width distribution of different stripe areas

由图3可知,能量密度可以有效识别条纹图中曝光不足区域,但存在明显的不足,即能量密度在过曝光区域同样表现出较高的值。为了解决这一问题,本文增加了条纹截面宽度参数来标记过曝光区域。在图4中直观体现出:参照条纹与正常条纹的宽度基本位于5～6个像素、过曝光区域的条纹宽度基本在7个以上像素。显然,条纹宽度与条纹灰度分布的可信度同样具有非常直接的联系。

由此可知,基于条纹能量密度与宽度双参数对条纹截面灰度分布信度进行评估的方法符合实际情况。

2 双参数多重曝光条纹拼接

基于上述分析,本文设计了1种适用于单线结构光可信条纹提取的多重曝光法。

(1)设定区域标记原则。

本文设定能量密度为条纹下限参数,将条纹截面宽度设定为截面上限参数,以此标记适用于测量的可信条纹。本文将图像输入信度评估体系,以输出图像评估结果。条纹图像中:满足评估标准的像素列标记为“可信条纹”,其列号统计为集合Q;不满足评估标准的像素列标记为“不可信条纹”,其列号统计为集合U。

(2)设定曝光时间控制参数。

①条纹可信度阈值(能量密度Rt、条纹截面宽度Wt)。

②首次曝光时间t0。t0可以设定为0 ms,或者使得表面反光最强处条纹特征处于设定的信度阈值范围内。

③曝光时间调节单位步长Δt、步长系数λ。扫描反光特性复杂的表面时,曝光量往往与条纹灰度呈现非线性关系。通过设置步长系数实现可调步长。λ值由上一次曝光中可信条纹集合中素列增量ε确定。

ε定义为:

ε=Cn-Cn-1

(4)

式中:Cn为第n次曝光融合后图像中的可信条纹计数。

λ定义为:

(5)

④拍摄停止标志。图像中可信条纹所包含的序列占整幅图像序列的比例为k。k的设定用于判断拍摄是否停止,以及保证重建条纹图像的全局可信度。

(3)条纹图像重建。

本文创建M行N列的图像序列It作为模板图像,存储可用于测量的条纹序列。相机采集到的条纹图像序列储存在It中。每次曝光后标记图像中的可信条纹序列,将其替换到模板图像IT中对应位置,并进行图像信度评估。替换式为:

IT(x,yj)=It(x,yj),x∈Qn且x∈Un-1

(6)

式中:Qn为第n次曝光图像的可信条纹集合;Un-1为第(n-1)次曝光重建后模板图像中的不可信条纹集合。

对于已经替换到模板中的合格像素列,其将一直保留在模板图像中,不再更新。每次曝光后随即进行图像评估与重建,直到模板图像中的k达到设定阈值,则图像采集结束。多重曝光流程如图5所示。

图5 多重曝光流程图Fig.5 Multiple exposure flowchart

图像重建原则如图6所示。

图 6 图像重建原则Fig.6 Principles of image reconstruction

3 试验与分析

为验证所提方法的可靠性,本文搭建了单线结构光测量平台,被测物体需要具备反射特性复杂的表面。由于使用后的铁轨同时存在锈蚀、摩擦高亮等不同表面状态,故将其选为被测对象。试验中采用了自行设计的线激光3D相机。CCD图像传感器为30万像素。线激光发生器波长为45 mW、线宽为0.15 mm。

针对铁轨段固定位置,本文分别采用双参数信度多重曝光法、能量信度法[11]多重曝光、传统最优曝光法提取条纹图像。通过试验分析可知:曝光在2.0 ms时,过曝光区域的条纹达到单次曝光下质量最优;曝光在10 ms时,条纹达到单次曝光下最优。双参数信度多重曝光、单次最优曝光10.0 ms与能量信度多重曝光效果对比如图7所示。

图7 效果对比Fig.7 Effect comparison

铁轨表面反射强度变化复杂,同时存在锈蚀、摩擦、高亮等不同表面状态。试验中通过在铁轨表面使用3D扫描显影剂获取理想条纹,使用灰度重心法分别提取不同方法所获取条纹的中心位置,并分别计算双参数信度重建、能量信度重建、单次最优曝光与理想条纹中心的偏移距离,以此作为条纹中心误差。试验以误差数据的均值与方差来表征曲线的精度。均值代表测量所得的中心曲线与理想曲线的接近程度、方差代表测量所得曲线的稳定性。

不同条纹提取方法的误差均值与方差如表1所示。

表1 不同条纹提取方法的误差均值与方差Tab.1 Error mean and variance of different stripe extraction methods

由表1中均值与方差数据对比可知,相对于单次曝光条纹,通过基于信度评估的多重曝光法所提取的条纹,其中心曲线的精度与稳定性都得到了显著提升。

4 结论

针对单线结构光条纹轮廓条纹提取时,复杂反射特性表面受到欠曝光与过曝光双重影响的问题,本文提出了1种基于信度评估的线结构光多重曝光条纹提取方法。基于对条纹的能量密度与宽度模型的分析,本文建立条纹可信度评估标准。在多重曝光下,依据此评估标准,本文提取各帧图像中的可信条纹序列,并重建为全局可靠的条纹图像。本文利用所提方法进行了对比试验。由试验数据可知,在使用相同的条纹中心计算方法时,相对于能量信度方法与传统的最优曝光法,所提条纹提取方法的误差均值分别降低了0.17与0.45个像素,其方差对应降低了0.17与0.07。试验结果表明,所提方法有效解决了过曝光与欠曝光双重影响下条纹图像信度不足的问题,保证了最终光条纹图像的全局可靠性,有效提升了条纹中心计算的精度与稳定性。