基于机器人焊枪倾角变化的熔池图像分析*

徐梓惠 姚屏,2 梁道赞 唐贺清

基于机器人焊枪倾角变化的熔池图像分析*

徐梓惠1姚屏1,2梁道赞3唐贺清1

（1.广东技术师范大学，广东 广州 510665 2.广东技术师范大学天河学院，广东 广州 510540 3.广东奇正科技有限公司，广东 广州 526854）

熔池是工艺规范综合作用的结果，熔池形状特征与焊接质量密切相关。建立基于熔化极气体保护焊平台的机器视觉监控系统，设计图像处理程序，对采集的熔池图像进行预处理、形态学处理和Canny算子提取边缘，得到边缘轮廓平滑的熔池图像，并计算出其面积以及长宽比。根据提取的熔池图像，分析焊枪前倾和后倾角度变化对熔池形状变化的影响规律，为指导机器人焊枪工艺参数选择提供参考。

GMAW；焊枪倾角；熔池边缘提取；Canny算子

0 引言

熔化极气体保护焊是一种高效优质的焊接方法，具有良好的稳定性及熔池可见特点，广泛应用于车辆、船舶、容器、自动化设备连接结构间的焊接。为掌握该工艺特点，研究人员围绕焊接过程质量监控进行了大量研究，利用电信号[1]、声音[2]、焊缝形貌[3]、图 像[4]等信息对焊接成形质量进行分析，并取得丰富的研究成果。随着机器人焊接技术的发展，研究人员越来越重视倾角对焊接质量的影响。通过调整焊枪倾斜角度适应焊接工艺条件的变化，但角度改变会给焊缝成形质量带来影响，因此，探索焊枪倾角变化对熔池形态的影响对焊接质量研究具有重要意义。本文利用电弧监控相机获取图像，对机器人焊接过程中焊枪倾角变化时的熔池形状进行研究分析，更深入地了解焊缝成形过程，并指导焊接工艺参数的选取。

1 熔池图像的获取及其特征分析

目前，弧焊熔池边缘提取方法主要包括灰度变换和形态学处理，常用的边缘检测算子有Robert，Sobel，Prewitt，Laplacian-Gaussian，Canny等。通过分析熔池图像灰度直方图确定边缘灰度值，进而利用Canny算子提取边缘的方法可获得完整的熔池边缘[5]；但基于熔化极气体保护焊（gas metal arc welding ,GMAW）熔池边界与母材融合处灰度梯度小，该方法易丢失有用信息。利用数学形态学方法对图像进行灰度形态学上的4种基本运算：膨胀、腐蚀、开运算和闭运算，实现了从预处理到边缘检测形态学算法提取[6]；但对微小的点噪声滤波效果不理想。相位一致性模型利用局部能量不变原理和阈值分割对熔池区域初步定位，并采用Sobel对该区域进行精分割提取[7]。基于灰度搜索方法的局部最大梯度和线性插值算法是比较完善的边缘检测算法[8-9]。多尺度多结构元素形态学算法运用并集获得完整边缘，并在此基础上研究自适应阈值方法，对实时熔池图像处理效果较为理想[10-11]。上述算法既涵盖了焊接领域传统算法，又提出了新方法，对本文探索机器人焊枪倾角变化熔池图像提取极具借鉴意义。

本文考虑到GMAW焊接过程弧光辐射干扰强，点状噪声不确定性的特点，利用中值滤波与形态学处理相结合方法优化熔池区域；在焊枪倾斜情况下，针对焊枪弧光区与熔池区域分离问题，采用阈值分割法及Canny算子提取熔池边缘；经验证分析，该算法适用于焊枪倾角变化的GMAW系统。

试验使用FANUC焊接机器人和Mecaweld超级宽动态电弧监控相机获取和拍摄熔池，相机采用侧拍方式，保证每组试验拍摄时间、起点和终点一致，每个像素点的长度为0.036 mm/pix。机器人焊枪倾角示意图如图1所示。

图1　焊枪倾角示意图

1.1 熔池图像获取

基于熔化极气体保护焊平台的机器视觉监控系统主要由焊接平台和图像采集系统组成。焊接平台包括电源、焊机、控制箱等。图像采集系统包括计算机、电弧监控相机、相机支架等。焊接模式为直流高速电弧焊，焊丝直径为1.2 mm；保护气体成分为98%Ar+ 2%CO2的混合气体；气体流速为15 L/min；母材选用304不锈钢板，尺寸为200 mm×40 mm×2 mm，本系统采集到的原始熔池图像如图2所示。

图2　原始熔池图像

1.2 熔池图像特点

熔池图像如图3所示，其特点有：1）熔池形状为不标准的半椭圆形，椭圆中心最大长度为熔池熔宽；2）电弧相机获取的是RGB图像，需进行灰度转换，在电弧弧光作用下，熔池区域和背景区域之间的灰度梯度变化量大，对比强烈；3）熔池边缘附近较熔池区较暗的小块是飞溅的金属液滴，焊枪弧光区与熔池区域之间为保护气体。通过上述分析可知，应尽可能滤除熔池边缘处的干扰，增强对比度，充分利用灰度梯度信息来提高边缘提取的准确性和可靠性。

2 基于Canny算子的熔池边缘提取方法

图像本质是不同灰度值像素点组成的矩阵，对图像进行的各种运算（平移、旋转、镜像、分割、边缘提取）都是基于矩阵操作实现的。本文基于机器人焊枪倾角变化的熔池图像算法处理流程如图4所示。

图3 熔池图像

图4 图像处理流程

2.1 图像预处理

由图2可观察到：采集的熔池图像存在许多噪声，为突出熔池边缘区域，降低噪声对边缘提取的影响，对图像进行预处理十分必要。首先，采用加权平均算法对图像进行灰度化，将图像色调和饱和度降低，保留亮度；其次，对图像进行中值滤波，可过滤边缘点附近大部分点状噪声，效果图如图5所示。从图5(e)可以看出：边缘处的小点虽然没有消失，但像素值比原来减小，经过阈值变换可把这些像素点转换为背景点。

图5　中值滤波效果图

线性滤波器的输出取决于输入加权和，滤波器同时降低了噪声和边缘的像素值，对于需要提取边缘的熔池图像而言，这是需要避免的。本试验选取3×3的中值滤波模板进行滤波，如表1所示。中值滤波算法原理：以第二行第二列像素点为中心，与其8邻域内各点的像素值进行降序排列；若位于中心位置的点像素值为(,)，则中心点(0, 0)的像素值为(,)。熔池边缘介于焊枪弧光区与背景区之间，故边缘点邻域内的像素值分布按由大到小排列得到的中间值十分接近边缘真实值。

表1 中值滤波模板

烟尘处的灰度值与熔池区域灰度值存在较大差异，采用灰度阈值变换法去除熔池边缘附近烟尘。经过阈值变换后即可转换成形态学处理所需的二值图像，其变换表达式为

式中，为变换临界值，该值是通过分析灰度直方图得到的阈值分割参数，本试验取0.9。由此，计算出图像临界值为230（= 255×0.9），当< 230时，像素点为黑（0），而> 230像素值为白（255）。

灰度阈值变换结果如图6所示，位于上方的区域为焊枪弧光区，该区域与熔池区之间已经断开。经过上述两步处理，基本上已滤除对熔池影响较大的噪声，但图像边缘点附近很小的噪声点还不能完全消除，故需作进一步处理。

图6 灰度阈值变换结果

2.2 二值图像的基本形态学处理

图7 形态学处理后的二值图像

2.3 Canny算子边缘提取

边缘可以反映出物体的整体形貌，提取边缘是图像处理的最基本操作，常用于目标跟踪和特征提取。边缘定位准确，不受噪声干扰是边缘提取的基本要求，然而选用不同算子提取出来的边缘效果也不一样，主要表现在受噪声影响的程度。GMAW焊接弧光强烈，存在细小飞溅，经综合考虑，选取Canny算子提取熔池边缘。

Canny算子检测原则包括信噪比原则、精准定位原则、单边缘响应原则。

单边缘响应原则：检测出来的边缘只有一条闭合的边界最佳，不应出现虚假边缘，这就要求滤波只有一个响应值。为此，利用式(4)对滤波器的极大值取平均；由于系统中人为设置响应次数为，故利用式(5)确定极大值的个数。

Canny检测步骤：

方向为

3）非极大值抑制。利用求出的梯度幅值和方向，将图像内的点归类为上、下、左、右、左上、左下、右上、右下8个位置区间。比较每个区域各点像素值，保留局部最大值，其余值置为零，得到细化边缘。

4）运用双阈值变换连接边缘。在步骤3）中得到的极大值，有的比较小而有的比较大，从中确定最小阈值和最大阈值；所有极大值与,两值比较，极大值小于认为是非边缘值，置零；极大值大于认为是边缘值，保留；<极大值<时，如果与边缘值有连接则归为边缘，无连接则置零。经过反复判断可得到连接起来的边缘。Canny算子对边缘经过反复确认，比较再提取，边缘连接连续光滑，无噪声干扰，提取结果如图8所示。

图8 Canny算子边缘提取

3 熔池图像的特征及误差分析

提取熔池图像的边缘后，测量边缘图像的长度和宽度。测量时，对边缘图像进行行扫描和列扫描，以提取熔池左、右边界点和上、下边界点。将对应的两点连接成线段，并计算出两点之间的像素值即可得到两线段的长度，然后再转化成以mm为单位的长度与实际测量值比较。测量值与焊缝实际熔宽和余高对比的结果如表2、表3所示，测量最大误差仅为0.01 mm，从被测的8组数据中计算最大误差百分比为12.5%，则可以认为利用此方法测量的数据是可靠的。熔池的面积定义为边缘区域中的像素总数，直接利用regionprops函数计算连通区域的面积。熔池长度对应焊缝实际熔宽，熔池宽度对应余高，从表2、表3还可分析出前倾角增大，熔池长度减小，宽度增加；后倾角增大熔池长度和宽度均增加，与前者相比，增幅较小。

表2 焊枪前倾误差对比

表3 焊枪后倾误差对比

熔池参数特征的长宽比和面积如表4所示，可以看出：随着前倾角增加，长宽比减小，面积也减小，可以分析出熔池区域逐渐变小；后倾角增加，长宽比和面积均增大，可知熔池区域呈增大趋势，但变化量都不大，因此，倾角对熔池的参数特征影响轻微，但影响熔池形貌，焊缝的外观也会随倾角变化发生较大变形。

表4 熔池参数表

4 结论

1）本文针对机器人焊枪倾角变化作用下对熔池的边缘进行提取，首先，采用滤波方法减小部分噪声干扰，然后，进行形态学运算优化边缘，最后，用Canny算子进行边缘提取，边缘连续光滑，误差小。

2）焊枪倾角焊接最重要的是把焊枪弧光区与熔池弧光区分开，且随着倾角增大，两区域之间的连接更紧密，本试验运用灰度阈值的变换将两者之间连接部分分开，精确还原熔池形貌，使熔池的特征参数更接近实际测量值。

3）前倾角焊接时，随着倾角增大，熔池的长度减小、宽度增大，面积减小；后倾角焊接时，随着倾角增大，熔池的长度、宽度和面积都增大，但增加的幅度较小；表明焊枪后倾焊接比前倾焊接稳定性更好。

[1] Yao Ping, Xue JiaXiang, Zhou Kang, et al. Symmetrical transition waveform control on double-wire MIG welding[J]. Journal of Materials Processing Technology,2016(229):111-120.

[2] Yao Ping, Zhou Kang, Zhu Qiang. Quantitative evaluation method of arc sound spectrum based on sample entropy[J]. Mechanical Systems and Signal Processing,2017(92):379-390.

[3] Yao Ping, Zhou Kang, Huang Shuwei. Process and parameter optimization of the double-pulsed GMAW process[J]. Metals, 2019,9(9):1-22.

[4] 薛家祥,张丽玲.MAG焊熔池图像的灰度形态学分析[J].焊接学报,2006,27(4):13-16,113.

[5] 王欢,高向东,张瑞.分段线性灰度变换在熔池边缘提取中的应用[J].焊接技术,2012,41(4):11-13.

[6] 郑相锋.基于形态学的焊接区熔池图像的处理与识别[D].合肥:合肥工业大学,2006.

[7] 刘坚,向超前,王方华,等.基于相位一致性的激光熔覆熔池边缘提取方法[J].机械工程学报,2018,54(5):166-172.

[8] Zou Yanbiao, Chen Tao. Laser vision seam tracking system based on image processing and continuous convolution operator tracker[J].Optics and Lasers in Engineering,2018(105):141–149.

[9] Masiyang Luo, Yung C. Shin. Vision-based weld pool boundary extraction and width measurement during keyhole fiber laser welding[J]. Optics and Lasers in Engineering,2015(64):59-70.

[10] 刘晓刚,闫红方,张荣.基于形态学多尺度多结构的熔池图像边缘检测[J].热加工工艺,2019,48(5):216-219.

[11] 肖宏,宋建岭,刘宪力,等.基于形态学算法的2219铝合金钨极氦弧焊熔池图像特征提取[J].宇航材料工艺,2019,49(1): 78-81.

Image Analysis of Molten Pool Based on Inclination Variation of Robot Welding Gun

Xu Zihui1Yao Ping1,2Liang Daozan3Tang Heqing1

(1.Guangdong Polytechnic Normal University, Guangzhou 510665, China 2. College of Tianhe, Guangdong Polytechnic Normal University, Guangzhou 510540, China 3.KITSEN Technologies Co., Ltd. Guangzhou 526854, China)

The molten pool is the result of the comprehensive action of process specifications. The shape characteristics of the molten pool are closely related to the welding quality. The thesis establishes a machine vision monitoring system based on the GMAW platform, designs an image processing program, pre-processes the collected molten pool image, morphological processing and Canny operator to extract the edges, and the edge contour is smooth, calculate its area and aspect ratio. According to the proposed graph, the influence of the forward and backward tilting angles of the welding torch on the shape of the molten pool was analyzed, which provided a reference for guiding the selection of the welding torch process parameters.

GMAW; torch angle; edge extraction of molten pool; Canny operator

徐梓惠，女，1996年生，硕士研究生，主要研究方向：自动控制，计算机图像等。E-mail: xzh110592@163.com

姚屏（通信作者），女，1978年生，教授，博士，主要研究方向：工业机器人及智能控制等。E-mail: ypsunny@163.com

国家自然科学基金（51805099）；广东省省级科技计划项目（2017B090914005）；广东省研究生教育创新计划项目（2017QTLXXM38），2018年广东省联合培养研究生示范基地项目；广州市科技计划项目（201805010001）；阳江市科技计划（SDZX2019022）。

TP301.6

A

1674-2605(2020)04-0002-07

10.3969/j.issn.1674-2605.2020.04.002