高动态范围条纹结构光在机检测技术及应用进展

2024-02-05 09:06刘泽隆李茂月卢新元张明垒
中国光学 2024年1期
关键词:条纹测量图像

刘泽隆,李茂月,卢新元,张明垒

(哈尔滨理工大学 先进制造智能化技术教育部重点实验室,黑龙江 哈尔滨 150080)

1 引言

航空发动机涡轮叶片、核电汽轮机大叶片、大口径光学镜面等典型的复杂曲面零件,几何精度和物理性能要求高,在机械加工过程中极易产生变形[1]。因此,对零件进行在机不拆卸检测,高效地检测加工质量,确保其加工精度满足要求,成为近年来先进制造领域的研究热点。传统的测量方式是将零件从机床上卸载,置于三坐标测量机(Coordinate Measuring Machine,CMM)上,通过接触式测量原理进行检测。这种方法需要将工件多次拆卸重新装夹,容易带来定位误差和装夹变形,且测量探头易对工件表面造成损伤。随着先进制造技术的推进,出现了可对零件进行非接触式的在机检测,可有效避免上述缺点,在机检测技术即在工件装夹定位状态不变的情况下,对工件进行原位检测。以光学检测为代表的非接触式测量可有效避免反复拆卸带来的影响,同时测量速度快,具备一定的实时性,测量结果可用于指导加工参数的修正[2]。

光学测量设备主要有激光干涉仪、结构光测量仪、显微共焦仪、白光干涉仪等。其中,结构光技术具有测量原理简单、硬件成本低、测量精度高、测量速度快等优点,在工业和医学等领域受到广泛应用。另外,结构光技术算法易于集成,相关硬件可以通过与机械臂配合进行测量视点和路径规划[3],受待测件尺寸的影响较小。

基于结构光技术的测量效果受到相机分辨率、投影分辨率、标定精度等因素影响。其测量精度很大程度上取决于被测物体表面的光学反射特性。由于加工过程中环境光线复杂,且金属表面具有较强的镜面反射,使用传统结构光方法测量时,工业相机拍摄的条纹图像易出现过饱和,导致条纹数据信息丢失,造成重建的点云出现大面积的波纹和孔洞,无法准确得到待测物的三维信息。在商用设备市场中,著名测量系统供应商德国GOM 和瑞典Hexagon 通过在待测件表面喷涂一种抑制强反射的涂层,来改变材料的反射特性,使其表面由镜面反射变为漫反射,从而削弱反光,但是涂层的厚度和均匀程度主要取决于操作者的经验,极容易带来测量误差,降低测量精度。国内外学者为了解决这一问题,进行了多方面的研究。研究发现相机所拍摄条纹图像呈现过饱和现象,是因为待测件的反射强度变化程度高于相机的0~255 灰度强度范围。因此用于高反光表面测量的方法被称为高动态范围(High Dynamic Range,HDR)技术。

在结构光检测方面,现有的综述大多介绍了不同的检测原理和方法[4-5],针对HDR 结构光测量技术,现有文献虽然进行了技术总结,讨论了不同技术的优缺点[6-7],但未与在机加工检测结合,且随着智能技术的成熟,近两年国内外学者将深度学习等智能算法应用于结构光检测中,解决了实时在机检测、动态物体检测和HDR 检测等问题。本文以机械加工在机检测为背景,对近年来用于测量高反光表面的HDR 技术进行了全面综述。本文将现有技术方案归纳为基于硬件设备的HDR 技术和基于条纹算法的HDR 技术两大类,针对不同方法的特点,结合对加工场景在机检测的需求,总结了不同方法的技术特点,并且对HDR 结构光在机检测进行了技术展望。

下文安排如下:第二部分介绍HDR 条纹测量原理和在机检测关键问题;第三、四部分分别介绍基于硬件设备的HDR 技术和基于条纹算法的HDR 技术;第五部分结合加工在机检测方面面临的问题,对现有方法进行分析比较,总结特点;第六部分介绍HDR 结构光在机检测技术的潜在应用和技术展望;第七部分为结论。

2 HDR 条纹结构光在机检测原理及关键问题分析

2.1 条纹结构光测量原理

与传统接触式测量技术相比,三维视觉测量技术具有速度快、成本低的特点,为我国先进制造、精密工程发展战略提供新的技术支撑。如表1所示,三维视觉测量技术根据测量过程中是否投射光源,可分为被动视觉测量和主动视觉测量。其中,面结构光式测量方法在所有结构光方法中测量效率最高,广泛应用于物体的三维测量领域。

表1 三维视觉测量技术分类Tab.1 Classification of three-dimensional visual measurement technology

结构光测量系统主要由工业相机、投影仪和计算机组成,其原理示意图如图1(彩图见期刊电子版)所示。

条纹轮廓术(Fringe Projection Profilometry,FPP)是常用的面结构光测量方法。其通过计算机获得编码条纹,经投影仪投射到待测物表面,解析变形条纹即可得到相位信息。在经典的FPP测量系统中,常采用相移法求解相位,条纹图案为正弦光栅,条纹强度Ii(x,y)可以表示为:

式中,(x,y)是图像像素坐标,a(x,y)是条纹图像的背景光强;b(x,y)是受物体表面反射率影响的调制光强;i表示相移步数;N表示相移总步数;φ(x,y)为待求相位主值,其表达式为:

得到相位主值后,通过多频外差法获得连续相位,将连续相位与标定数据相结合,即可得到待测物的三维信息。

2.2 HDR 结构光在机检测技术关键问题分析

在信息互联的智能制造背景下,利用AGV小车和六自由度机器人搭载结构光测量设备,对加工过程中的零件进行在机检测(如图2 所示)。该方法可避免反复拆卸产生定位误差和装夹变形,同时可提高零件整体的加工效率,有助于推进智能化加工(如图3 所示)。

图3 结构光在机检测系统架构Fig.3 Architecture of on-machine detection system of structured light

在加工环境中,传统结构光技术易受到复杂环境光线和金属零件高反光的影响。但将HDR技术应用于结构光在机检测中,可有效抑制相关影响,提升测量精度。结构光系统中,相机成像模型如公式(3)所示[8]:

式中:I是图像像素强度;α是相机灵敏度系数;t是相机的曝光时间;β是待测物的反射系数;Ip是投影仪的光强;Iα1是被测物体反射的环境光;Iα2是直接进入相机的环境光;µ是相机的噪声误差。

根据该模型可知,通过改变相机的曝光量、条纹的光强和物体的反射特性,可以改进拍摄条纹图像的成像效果。基于此原理,国内外学者通过改变相机曝光度、调整投影图案强度,加置偏振滤光片,利用相位测量偏折术、光度立体技术,更改编码解码方案和深度学习智能算法等多种方法,对HDR 测量技术进行研究。在使用HDR 结构光技术进行在机检测时,需重点考虑如下问题:

(1)零件加工时,整体处于暗房环境,但受到环境光和金属工件镜面反射影响,光线条件较为复杂,在抑制高反光的同时,不能忽略暗区域的影响。

(2)测量系统的硬件设备不能过于复杂,要易于配合机床、机械臂、AGV 小车,同时零件检测的路径要易于规划,使检测方案更加集成化、智能化。

(3)测量方案简单的同时,对测量速度和效率要求较高,要具有实时性,可及时反馈测量结果,指导加工参数的补偿修正。

下面结合在机检测需求,详细综述各类方法的研究进展。

3 基于硬件设备的HDR 结构光在机检测技术

基于硬件设备的HDR 技术是通过对结构光硬件设备进行改进,从而降低高反光对其测量结果的影响,主要可分为相机曝光法、偏振滤光片法、相位测量偏折术以及光度立体技术。

3.1 基于相机曝光技术

相机的曝光是成像质量的重要影响因素,若曝光过度,则图像整体过饱和;若曝光不足,则图像整体过暗,两者都会使图像丢失细节,无法准确获得条纹信息。Zhang 等人[9]提出了一种快速自动曝光的方法。通过捕获一次曝光的条纹图像,来确定最佳曝光时间。所提方法虽然可以快速找到最佳曝光时间,但是适用范围受限,对于整体偏亮或偏暗的图像有较好的效果,对于加工过程中明暗混合的复杂场景,难以确定一个统一的最佳曝光时间,影响在机检测质量。

多重曝光[10-11]技术是指将不同曝光时间下采集的图像,融合成一幅图像以避免图像饱和,从而达到较高的信噪比(Signal Noise Ratio,SNR)。Zhang等人[12]提出将多重曝光技术应用于三维测量,通过调整相机镜头光圈获得一组不同曝光程度的条纹图像。对陶瓷花瓶检测时,将高曝光的饱和像素用低曝光下相应的像素替换。所提方法不仅适用于相移法,对于莫尔条纹、激光干涉法同样适用。

在传统多重曝光技术中,对于曝光度的选择主要依靠经验。若曝光范围选取不好,直接影响最终测量结果。为了避免依据经验选择曝光度的不可靠性,国内外学者通过相机响应函数曲线选择适合的曝光时间。Song 等人[13]提出利用相机响应函数来压缩动态范围,使用中等曝光数据作为参考进行图像融合。对不锈钢冲压件通过6 次曝光进行检测实验,平均偏差(Mean Absolute Error,MAE)为0.06 mm。Feng 等人[14]基于灰度直方图分布将测量出的表面反射率细分为几个组。根据相机响应函数自适应地预测每个组的最佳曝光时间。Cui 等人[15]利用不同曝光时间的序列图像,标定相机响应曲线函数。基于最高灰度值和最低灰度值双阈值原理,提出了曝光时间的自适应选择算法。实验表明,所提方法自动计算了4 次曝光时间,避免了基于经验调整曝光时间的缺点,提高了曝光的自动化水平和测量精度。

考虑获取相机响应曲线并记录曝光时间较为繁琐,且相机响应曲线受环境光影响较大,存在误差。Rao[16]通过分析每个像素的条纹调制强度,设定调制阈值来自动计算多个曝光时间。实验表明,该方法最多在5 次曝光下,即可完成HDR 三维测量。Wu 等人[17]提出了一种曝光融合方法,在水平和竖直两个方向投射二值格雷码,算法流程如图4 所示。通过拉普拉斯金字塔分解图像的加权平均值,以高斯金字塔分解图像权重,得到融合金字塔,从而获得最终图像。实验对圆柱形电池通过8 次曝光进行检测,MAE 值为0.088 0 mm,测量时间为1 436 s,所提方法虽然无需拟合相机响应曲线,但是需要多组曝光数据,较为耗时。

图4 曝光融合算法流程[17]Fig.4 The process of exposure fusion algorithm[17]

基于相机曝光技术进行结构光在机检测时,无需额外添加硬件,只需对图像进行融合处理。其核心在于曝光参数的选择,单次最佳曝光难以适用于复杂场景,而利用多重曝光的方式,需要合理选择曝光时间实现对待测工件的多次测量,影响了检测效率,且曝光时间不能随意设定,应保证与投影仪的刷新率精确同步。

3.2 偏振滤光片法

自然光经物体反射会变为部分偏振光,利用偏振成像获得反射光的偏振状态成为近年来计算机视觉的热点方向。将偏振片置于工业相机镜头前进行在机检测,可有效地达到过滤高光的目的。

使用单组偏振片会将图像整体的亮度降低,影响图像的SNR,国内外学者采用多组偏振片和图像融合的方式,来实现对高光的抑制并提高条纹图像的SNR。Salahieh 等人[18]通过选择不同的偏振测量值或偏振角和曝光时间的正确组合,消除饱和或低对比度条纹区域,以保持条纹良好的可见性。平茜茜等人[19]在两个CCD 相机前加装偏振片,将一个固定成0°,另一个调成4 个角度。通过4 幅图像的偏振信息得到梯度信息,对其积分后得到用于重构的深度信息。根据杂散光和漫反射光具有不同的光谱特性和偏振特性,郝婧蕾[20]对待测目标进行高光消除预处理,从而提高三维重构精度。Wang 等人[21]基于条纹图像生成辅助图像,确定最佳曝光时间和偏振方向,在适当的曝光时间内提取4 种偏振方向生成复合相移图像,消除饱和以及低对比度区域。Zhu 等人[22]建立了相机在偏振系统下的强度响应函数,避免了复杂的偏振双向反射分布模型,可直接计算偏振片之间的角度,通过图像融合算法生成最佳条纹。该方法显著消除了高光的影响,并减少了黑白条纹之间的模糊过渡区域。

上述方式与多重曝光类似,需要相机进行多次拍摄,影响在机检测的效率。因此,国内外学者利用不同偏振方向的多组相机和投影仪,同时获取不同偏振角度的条纹图像。Maeda 等人[23]将偏振相机前的偏振片以0°、45°、90°和135°放置,通过1/4 波形板和空间光调制器与投影仪组合产生空间变换的偏振图案。偏振相机可同时获取4 个偏振方向的相移图像,从而得到三维信息,MAE 结果为0.04 mm。Xiang 等人[24]设计了一种由两个相机和两个投影仪构成的偏振测量系统,如图5 所示。在测量过程中,利用入射光偏振的特性,使用两个同轴排列的偏振相机同时捕获被测表面上的变形条纹。采用两步相移算法计算相位,得到三维形状。实验均方根偏差(Root Mean Square Error,RMSE)为0.17 mm。

图5 Xiang 设计的偏振测量系统[24]Fig.5 Polarization measurement system designed by Xiang[24]

基于偏振滤光片的HDR 技术易降低图像的整体亮度。这是因为其在削弱镜面反射的同时也削弱了漫反射,导致图像SNR 下降。由于加工环境光线较为复杂,此类方法不适用于加工现场的在机检测。虽可通过选择多组偏振片进行数据融合的方式得到较好的条纹图像,但是降低了整体的测量效率。另外,对于偏振片角度的选择,需依靠人为经验并仔细调整光路,整体结构较为复杂。

3.3 相位测量偏折术法

工业生产中的镜面和类镜面零件具有极强的镜面反射,传统结构光技术中,工业相机无法直接清晰捕获投影仪投射的条纹结构光。相位测量偏折术(Phase Measuring Deflectometry,PMD)是基于条纹反射原理,将传统的结构光测量系统中的投影仪用一个LCD 显示屏代替,使计算机生成的条纹图显示在LCD 显示屏上。相机通过被测物的镜面反射,捕捉所显示条纹图案的反射图像,再通过对捕获的图像求解相位信息,来重建被测物形状[25]。

传统的PMD 技术中,LCD 显示屏必须与被测物平行放置,占用了很大的测量空间,不适合紧凑的在机测量。Zhuang 等人[26]提出了一种紧凑的在机PMD 技术。该方法将液晶屏垂直于被测镜面放置,用于实时测量表面形状畸变(如图6 所示)。该方法显著扩展了传统PMD 方法的应用范围,适用于封闭式激光设备和组装式激光系统中的实时测量。Gao 等人[27]利用平板分束器使系统更加紧凑。与传统配置相比显著减小了系统体积,测量精度在0.001 mm 之内。传统的PMD 系统中,通常采用平面LCD 显示屏,这限制了被测表面的可测量曲率。针对这一问题,Han 等人[28]将弯曲的液晶显示器用于PMD 系统中,并利用标定参数和种子点将两个摄像头视角下重建的三维模型进行点云配准。通过仿真分析,验证了系统的曲率测量范围大于平面LCD 显示屏的曲率测量范围。

图6 封闭激光腔内COPMD 测量系统[26]Fig.6 COPMD measurement system in an enclosed laser cavity[26]

在大口径光学镜面的加工检测领域,美国亚利桑那大学Su 等人[29]在2010 年基于条纹反射原理,首次提出了软件可调式光学检测系统(Software Configurable Optical Test System,SCOTS)。在对130 mm 离轴抛物面进行测量时,得到了RMSE 为1 μm 的测量结果。中国科学院长春光学精密机械与物理研究所的邵山川团队[30]利用条纹反射法对超精密金刚石车削反射镜进行在位面形检测。对口径为100 mm 凹球面金属反射镜进行检测,结果表明:面形检测精度(峰谷值)优于1 μm;与干涉仪检测结果相比,RMSE 测量结果为0.089 μm,其检测系统装置如图7 所示。在大口径非球面镜面测量方面,袁婷[31]等人用条纹反射法对口径为821.65 mm 抛物面反射镜进行了检测,实验装置如图8 所示。检测结果与干涉测量结果偏差仅为0.183 μm。这证明条纹反射法应用于大口径非球面检测的可行性。Navarro 等人[32]利用SCOTS 对直径为4.2 m 的Daniel K.Inouye太阳望远镜进行检测,其RMSE 结果小于20 nm。

图7 条纹反射在位面形检测系统中的装置[30]Fig.7 Fringe reflection setup in on-machine surface measurement system[30]

图8 大口径抛物面反射镜实验装置图[31]Fig.8 Experimental device diagram of large diameter parabolic reflector[31]

由于PMD 技术测量原理特殊,一般用于测量连续的镜面工件,如手机屏幕、天文望远镜镜面等时,测量精度较高,可达到亚微米级别,且不需太多的前期准备和后续处理工作。通过合理设计硬件布置方案,即可实现镜面工件的在机检测。但对于具有复杂特征的金属零件的加工过程,零件表面反射特性表现为镜面反射与漫反射相结合,此时,无法反射出变形的条纹,在这种情况下,此类方法不适用。

3.4 光度立体技术

光度立体(Photometric Stereo,PS)技术于上世纪80 年代由Woodham 提出[33],其原理是保持观察方向不变,在不同方向照明下,将多个图像的深度信息与法向信息相结合,重建物体表面的三维形貌。

光度立体技术的重点在于对物体表面法向量的计算。Lu 等人[34]使用卷积神经网络(Convolutional Neural Network,CNN)预测物体的初始法线,在多光谱光度立体框架中进行迭代优化。近年来,国内外学者将双向反射分布函数(Bidirectional Reflectance Distribution Function,BRDF)应用于光度立体技术中,进行法向量求解,用于检测和分离高反射成分[35-36]。

国内外学者还对照明系统进行了重点研究,通过合理设计光源数量和角度,得到准确的法线信息。Pei 等人[37]提出的测量系统由投影仪、工业相机和29 个发光二极管构成。利用FPP 测量得到待测物点云,通过近场光度立体系统得到像素的法向信息,将两者融合,进而得到完整的点云。测量结果与CMM 测量数据相比,RMSE仅为0.006 9 mm,峰谷值偏差为0.009 4 mm。Meng等人[38]将照明系统放置在30 个不同方向上,所得均方根误差为0.005 3 mm。然而,由于系统测量角度约为±7°,限制了可以重建的曲面范围。

光度立体技术具有多个照明光路,能够实现相互补盲,精度可达到0.01 mm 之内,有助于实现HDR 测量。但是,测量结果依赖于反射模型,对于加工过程中的零件,由于其表面的反射情况复杂及形状未知,对反射模型进行标定不具有普适性,容易带来测量误差,且测量系统较为复杂,测量场景具有较大的限制性,难以与加工机床和机械臂配合实现在机测量。

基于硬件设备的HDR 技术在硬件上对传统FPP 技术进行了改进,使相机可以拍摄到较为清晰的条纹图像,从而降低了反光对测量精度的影响。表2 分析了上述技术的测量精度以及有无额外硬件方面的对比情况。对于测量精度,本文仅对各参考文献中的精度进行了总结。由于不同实验时,所测工件尺寸、表面反射属性和测量环境不同,因此测量精度的比较不具有普遍性。

表2 基于硬件设备的HDR 技术对比Tab.2 Comparison of HDR technologies based on hardware devices

4 基于条纹算法的HDR 结构光在机检测技术

基于条纹算法的HDR 结构光在机检测技术不依赖于硬件设备,主要是在算法层面改进条纹成像质量,从而提高测量精度。目前,国内外学者通过改变条纹图案亮度、颜色、频率以及更改条纹编码和解码等方式展开了深入研究。

4.1 调整条纹强度的HDR 技术

调整条纹图案强度是根据物体表面反射强度的不同,逐像素确定投影条纹的灰度,从而使整体图像具有较好的SNR 且未达到饱和状态,也称为自适应条纹法。

Waddington 等人[39]首次提出自适应调整投影条纹图最大输入灰度的方法,并合成了不同强度的图像,以避免图像饱和。然而,机械加工环境大多属于暗房环境,仅改变条纹的最大灰度值虽可削弱金属工件反光的效果,但同时也降低了暗区亮度,导致在机检测精度降低。该团队还根据物体的局部反射率,将适当强度的条纹投影到物体的相应区域[40],但这需要进行复杂的预校准。Jiang 等人[41]开发了一种自动选择参数(曝光时间、条纹颜色、条纹调制强度)的方法。他们通过调整不同相机曝光时间和不同强度的条纹,提高最终条纹图像的SNR,算法处理参数及效果如图9 所示。

图9 Jiang 所提方法的测量结果[41]Fig.9 The measurement results by Jiang’s method[41]

实验测量结果的MAE 为0.003 mm,并且对环境光不敏感。但是此种方法需要6 组条纹才能合成出一组SNR 较好的条纹,基于三频四步相移的方法,双目相机需要拍摄144(2×6×12=144)张图像,需30 s 完成,测量效率低且参数选择的程序较为复杂。Wang 等人[42]在测量前先投影48 幅图像,以建立投影与捕获图像之间的像素映射关系,然后投影了两幅图像灰度分别为0 和100 的图像,来估计反射率和背景强度。该方法的测量实验结果显示RMSE 为0.109 mm。这种方法的测量效率依赖于硬件设备,为了满足在机检测的实时性需求。需要高速相机以及高刷新率的投影仪才能在短时间内完成映射关系。Sun 等人[43]通过对投影仪像素建立投影强度模型,在高曝光和低曝光下分别拍摄两幅图像,以计算投影强度,再将亚像素坐标映射到投影仪图像上,并对其进行滤波,以实现精确的坐标对应。同时,提出了点云完整性(Point Cloud Integrality,PCI)作为评价量化指标。在采用三频四步相移方法的情况下,通过38 幅图像获得了被测物的完整三维信息,高反射区域PCI 指标达到94.1%。

除了通过投影一系列条纹计算最佳强度外,国内外学者还提出利用多次迭代和多项式拟合等方法获得最优的投影强度。Babaie 等人[44]使用多次迭代来计算适当的投影强度,并在小范围内测量有光泽的物体,但测量精度取决于迭代次数。Chen 等人[45]通过拟合多项式函数将捕获的强度转换为投影强度,确定每个饱和像素簇对应的最佳投影强度。当簇中饱和像素对应的曲面区域反射率变化较大时,该函数将不准确。冯维等人[46]首先估计物体表面反射率、环境光和表面结构相互作用产生的反射光后,建立相机-投影仪间的强度关系式,以求解像素点的最佳投影灰度值。相较于传统方法,该方法的平均误差减少了61.9%,标准偏差减少了67.7%。李乾等人[47]依据待测元件表面的反射率分布情况,利用相机响应曲线逐像素计算元件上每一点对应的投影灰度值范围和最低投影灰度。实验RMSE 值为0.103 mm,可完成金属材质高光工件的三维形貌测量。

调整投影图案强度的优点在于无需额外添置硬件,算法容易集成,可以逐像素地进行灰度调整,避免了图像SNR 整体降低的问题,因此测量精度较高,但由于需要投影多组条纹来确定最佳强度和映射关系,影响了测量效率,实时性较差。随着硬件设备的提升,可通过采用高刷新率的投影仪和相机改善这一问题,以满足在机检测的要求。

4.2 基于颜色信息的HDR 技术

通过颜色特征的镜面反射分离方法是由Shafer[48]提出的。该方法基于双色反射模型,对光线和颜色进行了讨论,认为像素点的颜色由物体表面的颜色和光源的颜色决定,由此分离出像素点的镜面反射部分。

彩色图像通过拜耳滤波器可分离成R、G、B 三个通道,不同通道的亮度衰减程度不同。对于单色照明,以蓝光为例,如图10(彩图见期刊电子版)所示,其量子效率存在以下关系eb>eg>er,高衰减红色通道可以接受非常高的亮度而不饱和,而低衰减蓝色通道则对低亮度更敏感。因此,国内外学者研究了彩色条纹和彩色相机,用于HDR测量。

图10 彩色图像不同通道亮度衰减原理图[51]Fig.10 Schematic diagram of brightness attenuation in different channels of color image[51]

Wang 等人[49]在保持相机曝光度不变的前提下,通过投射7 组不同颜色的条纹,从中选择灰度范围分布较大的4 组条纹(蓝色、黄色、青色和白色)进行合成。该方法的缺点是对于投影仪的刷新率有较高的要求。Chua 等人[50]使用RGB 通道控制投影强度,来隔离不同颜色通道,将通道分为最高强度通道(蓝色通道)、中等强度通道(绿色通道)和最低强度通道(红色通道)。在每个通道下都可独立计算3D 数据,达到增加测量动态范围的目的。

使用不同颜色条纹进行多次投影时,需要高刷新率的投影仪才能保证测量效率,对硬件要求较高。因此,国内外学者还提出利用彩色相机拍摄单色条纹,再通过分离不同颜色通道实现HDR 测量。Yin 等人[51]从条纹图像中分离出R、G、G 和B 通道的4 个单色子图像,校准R&G、G&B 通道之间的衰减比后,用4 个子图像合成一幅HDR 的图像,从而避免了不良曝光的影响。实验分析相位平均误差(Phase Average Error,PAE)在0.03 rad 内。Zheng 等人[52]将绿色二值条纹投射到被测物上,使用彩色相机拍摄两张不同强度的条纹图像,进而分离出6 张单通道图像,合成出1 幅HDR 图像后进行解码。Liu 等人[53]将蓝色条纹投影到待测物上,并利用彩色相机采集图像。利用R、G、B 三通道对光线的响应不同这一特性,将1 幅条纹图像和1 幅常规图像分成6 幅具有不同亮度级别的单色图像。从每组图像中选择最亮但不饱和的对应像素生成最终的HDR 图案,对其进行傅立叶解码,可以对具有光泽表面的动态物体进行测量,实验对撕A4 纸的过程进行测量,测量效果如图11(彩图见期刊电子版)所示。

图11 Liu 所提方法的动态物体测量结果[53]Fig.11 The measurement results of dynamic objects by Liu’s method[53]

基于颜色信息的HDR 技术需要对不同颜色通道进行条纹编码,后续还需逐个通道对相位信息进行求解,再最终融合,因此算法编程复杂程度较高。但编程后算法运行较快,可在一定程度上抑制反光的影响,满足在机检测的需求。当被测的加工件具有复杂的纹理特征和多种颜色时,此类方法会受到限制,测量精度有所下降。

4.3 基于图案编码、解码方案的HDR 技术

除了对条纹图案亮度进行调整之外,国内外学者还通过对投影图案的编码和解码进行调整,从而防止高反射引起的相位丢失。

Zhang 等人[8]首次提出了混合质量的概念,以更全面地评估相位质量。在混合质量这一概念的指导下,对所有初始相位进行加权融合,以获得更精确的相位作为最终相位。Chen 等人[54]提出了一种相位求解方法,将同一频率下存在饱和现象的帧去除,至少保留3 张有效条纹,用余下条纹进行相位求解,其PAE 结果可在0.01 rad 内。Jiang 等人[55]利用反向条纹和常规条纹的组合代替饱和条纹进行相位恢复,以减少相位误差,相位RMSE 结果从0.29 rad 减少到0.02 rad。然而,在估算饱和像素时,缺乏通用的公式。在Jiang 方法基础上,Wang 等人[56]将反转条纹和常规条纹的互补技术与广义相移算法相结合,投影规则条纹和反向条纹两组互补相移条纹。从两组条纹图中选择相同相机像素处的所有非饱和强度值,并使用广义相移算法检索相位,可以同时减少因饱和像素和伽马效应引起的误差。

使用正弦条纹投射时,与条纹图像在饱和区域的灰度值达到255 时,出现截断现象,不满足正弦规律,使该区域的相位信息丢失,引起相位求解误差。对于这一情况,在文献[57]中提到,当绝对相位范围在[0,2π)时,相位误差σΦ可以表示为:

式中,σ是高斯分布噪声的方差;N是相移步长;f是条纹频率;B是条纹调制。

根据式(4)可知,在条纹调制固定的情况下,可以通过增加相移步长和条纹频率的方式降低相位误差。基于此原理,Chen 等人[58]通过模拟分析得出以下结论:当相移步数N与条纹频率P满足整数倍关系时,饱和情况下的条纹也可恢复精确的相位。He 等人[59]设计了一种棋盘式的高频条纹图案,在解码过程中,通过交叉位置而不是单个图像强度来提取编码信息。所提方法具有较好的鲁棒性,其测量精度在0.04 mm 内。对于显微结构光三维测量方法,由于其景深较小,密集的高频条纹容易出现散焦,从而影响测量结果。针对这一问题,Hu 等人[60]提出一种多频相移方案,采用相位融合的方式,用密度较低的条纹图像计算绝对相位,代替饱和区域中不可用的相位,从而降低相位误差的影响。所提方法可有效用于手表零件、封装的芯片等微小反光物体的测量,测量结果如图12(彩图见期刊电子版)所示。

图12 Hu 所提方法对微小反光物体测量结果[60]Fig.12 The measurement results of tiny reflective objects by Hu’s method[60]

除此之外,国内外学者还曾通过投射格雷码图案,解决因高反光引起的解码误差。格雷码采用的是二值编码方式,具有较好的保边性,能很好地测量具有非均匀反射率和高亮区域表面的三维形貌[61]。Song 等人[62]在传统格雷码的基础上,额外投影了一组黑白翻转的条纹图像。他们利用改进的边缘检测算法实现了亚像素定位,解决了因高反光导致条纹周期性模糊的问题。Lu 等人[63]提出一种错位格雷码的编码策略。通过获取边界相互交错的编码图案,并通过降低单周期解码次序的子域解相阶数,获取正确的条纹阶次顺序。该方法有效降低了不均匀反射所导致的格雷码边界相位的阶跃误差。

对于条纹图像编码和解码的方式,虽然无需复杂的算法,但是对于加工场景的复杂光线环境适用性较差。格雷码作为一种二值化编码方式所含信息量较少,且边缘部分易产生阶跃误差,不适合高精度的测量。此外,利用高频率正弦条纹和增加相移的方法,会使整体测量时间增加,不利于在机检测。

4.4 基于智能方法的HDR 技术

近些年,随着人工智能的快速发展,国内外学者将深度学习等方法应用于结构光测量领域[64]。在图像预处理[65-66]、彩色条纹颜色通道分离[67-68]、高速动态测量[69]等方面进行了大量研究。深度学习的应用,将基于物理模型的传统思维转为基于数据模型驱动的智能化思维,为HDR 结构光在机测量提供了新的解决方案。

Liu 等人[70]提出了一种基于支持向量机算法的智能条纹投影技术。通过训练不同表面的曝光时间和饱和像素数,仅将一个灰度模式投影到测试表面上,即可预测合适的曝光时间。所提方法用于电子束增材制造(Electron Beam Additive Manufacturing,EBAM)的在机检测中(如图13 所示),该方法可以有效测量高反光曲面的金属粉末熔化状态和表面缺陷,并将测量结果反馈到制造过程中,从而提高了加工质量。

图13 EBAM 机床结构光在机检测设备[70]Fig.13 On-machine detection equipment with structured light in EBAM machine tool[70]

彭广泽等人[71]基于CNN 对条纹高光图像进行修复。将两个曝光条件下的条纹图像进行融合,确定迭代修复算法的初值,然后通过所提算法对局部高光区域进行快速修复。Yang 等人[72]设计了一种基于条纹调制的“检测-修复”网络结构(如图14 所示)。该结构由低调制区检测模块和条纹增强模块组成。通过低调制区检测模块准确分割出低调制区域,然后引入到条纹增强模块中,再将条纹图的高阶特征和低阶特征进行融合,从而可以预测低调制区的条纹分布。两个模块的结合可以恢复条纹图的饱和区,增强暗区的条纹信息。对量块的测量结果表明,采用该结构可以使RMSE 结果由0.55 mm 降至0.06 mm。

图14 高动态范围条纹图像改善网络[72]Fig.14 High dynamic range fringe pattern improvement network[72]

上述文献是通过深度学习的方法对高动态条纹图像进行修复,以消除高反射和低亮度的影响,从而根据修复的条纹图像求解准确的相位,得到三维模型。除此类方法之外,国内外学者还提出通过直接预测相位的方式实现HDR 测量。Qiao 等人[73]将深度学习应用于PMD 技术中,从单个条纹图中提取镜面的相位信息,该方法用到两个神经网络(CNN1 和CNN2)。CNN1 用于预测输入条纹图像的背景强度,再将原条纹和背景强度输入到CNN2 中,预测相位主值的分子和分母。Zhang 等人[74]利用深度学习强大的计算能力,基于CNN 预测相位主值,消除HDR 引起的相位误差。训练的数据集为2 880 个条纹图像。所提方法不仅适用于高反射率的被测物,而且对低反射率物体也适用。RMSE 测量结果为0.057 8 mm,与三步相移法相比降低了53.5%,同时满足高速动态测量要求。

通过深度学习方法解决HDR 测量,可以提高测量效率,并在一定程度上提高测量精度,可用于加工时的在机检测。但是,相关算法的复杂程度较高,建立数据集和神经网络模型需要大量时间。而且,前期准备工作量较大,且测量结果过于依赖训练模型的种类和数量;训练模型少会导致测量精度降低;当训练模型足够多时,又会增加训练时间以及其他成本。

根据算法思路、算法复杂程度和测量精度,对基于条纹算法的HDR 技术对比列于表3。由于不同学者采用的精度指标有所差异,根据不同文献从平均偏差、相位偏差、均方根偏差方面对精度范围进行了总结。

表3 基于条纹算法的HDR 技术对比Tab.3 Comparison of HDR technologies based on fringe algorithm

5 各类HDR 在机检测技术的比较

上述已对HDR 结构光测量技术从硬件设备和条纹算法两方面进行了分类和综述。表4 结合加工零件在机检测的关键问题,如光线条件适应性、系统硬件设备和检测效率,对技术特点进行总结。

表4 各类HDR 测量技术总结Tab.4 Summary of various HDR measurement technologies

6 潜在应用及技术展望

将HDR 结构光测量技术应用于在机检测中,与传统的FPP 技术相比,该技术更为灵活,可实现对复杂场景的检测。应用于机械加工、航空航天、汽车装备等领域时,可提高作业效率,推动工业智能化,具有较高的应用价值。

6.1 潜在应用

(1)智能制造加工-检测一体化

机械制造业是工业发展的基础,将结构光设备与机床配合,应用于工件的切削、抛光、轮廓识别、装配等工艺中,实现加工-检测一体化,避免了零件反复拆卸产生变形和定位误差,从而提高了加工效率和精度。HDR 技术可有效抑制反光带来的不利影响,有助于判断刀具磨损、零件过切、欠切和表面质量,实现超精密加工和无人化智能工厂。

(2)极端尺寸工件的精密测量

对极大和极小零件进行精密测量是仪器测量领域的难点。对于飞机机翼、汽车车身、汽轮机叶片等极大尺寸的待测件,无需将零件拆卸,可通过结构光设备与机械臂配合,进行路径规划后逐视点检测,所测数据再通过点云拼接得到完整三维模型;而对于芯片、光学镜片等毫米级尺寸的待测件,可将FPP 技术与显微镜结合,实现小视场高精度的测量[75]。HDR 技术可有效提高测量精度,为零件缺陷检测及维护、增材制造提供准确的三维数据。

(3)医工结合领域的精密测量

FPP 技术广泛应用于生物医学领域,为人脸识别、医学诊断提供了新的技术支持。相关学者采用双目结构光自适应光栅算法对术中肝脏表面进行三维重建,并对肿瘤进行精确定位[76]。使用HDR 条纹投影技术对口腔、骨骼等部位进行三维重建,可直接应用于临床诊断和手术中,无需指定暗房场地进行扫描,提高了诊断效率和建模精度,为后续治疗提供了新的途径。

(4)大口径镜面、类镜面物体精密测量

天文望远镜镜片、反射镜镜片等大口径镜面、类镜面物体在军用、民用、天文等领域起到重要作用,其加工主要包括铣磨成型、研磨和抛光三个阶段,每道工序完成后,都需对表面进行精密测量,判断是否满足加工要求。研磨阶段后常采用轮廓检测法进行面型测量,抛光后采用光学干涉法进行测量。对于从研磨到抛光的过渡阶段,轮廓检测仪受到精度限制,且测量时间较长;而光学干涉仪动态范围小,难以覆盖全口径检测,两种方法都具有局限性。此时,考虑到条纹反射法具有成本低、精度高、测量速度快的特点,可有效衔接轮廓检测和光学干涉检测的面形误差测量范围,实现对大口径镜面、类镜面物体的全口径在机检测。

6.2 技术展望

(1)复杂属性及复杂光照环境的适应性

复杂属性表面和复杂光照环境对HDR 结构光技术的影响是具有重要研究意义和挑战性的课题。在未来技术研究中,针对被测物尺寸(极大、极小)、表面属性(如纯镜面反射、镜面反射与漫反射结合、大曲率镜面以及透明属性等)和测量环境(日光环境、暗房环境、环境光影响等)进行参数选择,使所研究技术具有更高的适用性是重要突破方向。

(2)使用机械臂进行视点、路径规划

结构光设备与机械臂配合是实现在机检测的重要条件,对待测件进行合理的视点、路径规划,可提高检测效率。在已知CAD 模型的条件下,需要综合考虑视点数量和测量精度,要在保证测量精度的前提下保证测量效率。在未知CAD 模型的条件下,需要准确预判下一视点范围,保证视点选择的合理性。同时,如何在机械臂运动时避免机床颤振、机械臂抖动对测量精度的影响,也是近些年的研究热点。

(3)深度学习智能算法的应用

深度学习技术的成熟也为工业领域提供了新的解决方案。在HDR 结构光技术中,将深度学习应用于位置标定、图像处理和相位预测,对于数据集的采集、训练机制和优化等方面都是重点研究对象。目前,此类方法处于研究初期,虽然给结构光测量技术带来了实质性的改进,但同时也需评估在特定任务中使用大量数据和计算资源的经济性与可靠性。

(4)动态测量与在机检测结合

结合结构光系统的测量原理,目前的在机加工测量更多是针对某道工序结束后,暂停加工,在短时间内进行形貌等质量检测。使用现有的商用硬件设备进行在机检测时,常采用相移法模式,且对于具有高反光特性的金属零件需在表面喷涂层,影响了加工效率、自动化和智能化程度,实时性较差,不利于及时反馈测量结果以及对加工参数进行补偿修正。将动态测量应用于在机检测中,可边加工边检测,克服了现有力传感器等的安装尺寸的局限,有助于进一步提高效率并及时修正加工参数。使用傅立叶轮廓术(Fourier Transform Profilometry,FTP),可通过单张条纹图像求解得到三维模型,但是测量精度较低。在未来的研究中,可将高速相机、高速投影仪的硬件设备与深度学习、HDR 技术、FTP 技术等算法相结合。在完成动态测量的同时,进一步提高测量精度。

7 结束语

近年来,FPP 测量技术广泛应用于航空发动机叶片、汽轮机叶片等复杂曲面零件的在机检测中,是以满足国家需求为导向的先进制造技术。针对金属零件加工时,所处环境光线复杂且自身具有高反光的问题,采用HDR 技术与FPP 在机测量技术结合,可有效抑制相关影响。

本文首先介绍了条纹结构光的测量原理,总结出HDR 结构光在机检测面临的重点问题。其次,回顾了国内外学者近几年对HDR 结构光技术的研究进展,将其综述为基于硬件设备的HDR 技术和基于条纹算法的HDR 技术两大类。然后,结合在机检测的条件需求,对各类技术进行总结,比较不同方法的优缺点和在机检测的适用性,为不同技术的应用提供一定的指导。最后,结合近年来工业制造和精密测量的研究热点,进行潜在应用分析,并提出技术展望。HDR 结构光在机检测技术是一种极具研究价值的测量技术,对智能制造、精密测量的发展起到推动作用。在未来,进一步提高HDR 结构光在机检测技术的测量效率和精度,具有更高的研究价值和发展潜力。

猜你喜欢
条纹测量图像
改进的LapSRN遥感图像超分辨重建
有趣的图像诗
把握四个“三” 测量变简单
谁是穷横条纹衣服的人
滑动摩擦力的测量和计算
别急!丢了条纹的斑马(上)
别急!丢了条纹的斑马(下)
滑动摩擦力的测量与计算
测量
条纹,条纹,发现啦