工件外观识别与视觉检测技术的研究*

秦豆豆，卢 军，宋岳秦

(陕西科技大学 机电工程学院，西安 710021)

0 引言

机器视觉技术融合了图像处理、模式识别、精密测量等技术，具有非接触，定位柔性好，采样周期短，信息量大，成本低，稳定性好，精度高，智能化等特性而被广泛应用于工业生产作业。由于冲压件材料性能的波动，工况环境的变动，工件反复搬运等多种因素影响，其质量和良品率难以精确的保证[1]。传统的外形尺寸和外观缺陷检测技术存在效率低成本大，全检程度低，产品良品率低，难以满足大批量作业等难题，将机器视觉技术运用到冲压流水线作业中具有效率高，速度快，优越的实时性，智能化集成度高等优势，可有效的解决上述难题[2]。视觉检测技术不仅促进复杂表面识别和特征检测的研究，更在通过工件位姿控制机器人抓取码垛，检测成品良率，分拣各类成品，在线装配作业等方面具有至关重要的作用[3]。美国Cognex、日本Keyence、德国ISRA等公司拥有完整的视觉检测系统，Kumar B M、Brosnan T等学者在加工工件的非触接视觉检测算法等方面也进行了深入的研究[4]。国内视觉行业起步晚，需引进国外先进技术及自主产权的视觉检测系统。然而许多高校学者在视觉领域进行了科研的投入，大恒、康耐视、凌云、海康威视等国内视觉产业链也应运而生。由于冲压件检测较为复杂，徐信、黄柳倩等已研究了表面缺陷检测系统的研究与开发，但在视觉检测技术及算法方面研究较少。视觉在线检测的精度衡量取决于标准件参数，因此研究选择标准椭圆形大小冲压件作为检测对象提出了一种冲压件外观识别与视觉检测的方法。基于德国MVTec公司的视觉软件HALCON,应用图像与ROI、预处理与形态学、Blob特征分析、几何定位、卡尺测量、边缘检测等技术完成冲压件的在线外观尺寸及定位的检测。为更好的凸显边缘细节，提出一种新的拟合直线边缘对算法。通过在旋转平台上进行定向实验验证和冲压件外触发实时监测，可实现实时和精确的识别与检测功能。

1 旋转平台在线检测原理

1.1 旋转平台系统设计

旋转平台系统由图像获取硬件及图像处理软件组成[5]。平台系统结构如图1所示。软件为HALCON12和Visual studio 2012。

相机采用德国巴斯勒相机acA4600-10uc，采样最高频率可达60Hz,水平/垂直分辨率为4608像素×3288像素，水平/垂直像素尺寸为1.4μm×1.4μm,帧速率为10fps,像素位深为12bits。光学镜头采用焦距为12mm的定焦镜头。系统设计结构如图1所示。

1.公控机 2.工作台 3.专用机器视觉测试台架 4.旋转平台 5.电机驱动元件 6.圆盘 7.外触发元件 8.照明光源 9.光学镜头 10.工业相机 11.相机光源伸缩支架图1 旋转平台系统设计结构

1.2 冲压件检测流程

针对冲压件的检测，首先将工件放置于圆盘上，连接视觉系统并驱动旋转平台，其次在相机外触发和传感器有效感应信号状态下采集静态和动态实时图像，随后以以太网连接将图像样本传输至公控机，最终在视觉软件中完成冲压件的外观检测、尺寸检测等并将位姿信息反馈给下位机。旋转平台外观图如图2所示。

图2 旋转平台外观图

2 工业相机的标定

相机标定是精确测量目标的必要过程，主要功能为矫正图像可能出现的桶形或枕形等畸变。通过标定获取相机坐标系与空间坐标系的位置关系，从而求取相机的内外参数[6]。

相机标定采用张正友棋盘标定法，棋盘标定板交点为6×6，单个方格的尺寸为 8×8mm。通过改变标定板的位置采集标定样本，为保证标定精度，借鉴理论值选取25张效果较好的图像完成标定[7]。根据标定获取相机参数fx，fy,u0,v0径向畸变参数k1,k2,k3，切向畸变参数p1,p2，参数结果如表1所示。

表1 相机标定参数结果

3 冲压件图像Blob分析

为了对冲压件闭合轮廓进行特征分析，拟定Blob算法检测图像2D形状，将大小件、侧立件或重叠件各类目标识别分类。Blob算法内容:冲压件图像采集、图像各类阈值分割、形态学处理、目标区域连通性分析、2D形状特征提取[8]。

3.1 冲压件阈值分割

阈值分割主要用于获取图像的信息，并提取图像中与感兴趣的目标对应的区域。分割操作以一幅图像作为输入而返回一个或多个区域及亚像素轮廓作为输出。

研究通过Halcon12的采集助手检测相机接口GigEvision实时采集冲压件样本，为消除噪点并凸显轮廓特征需先对图像进行灰度化、增强滤波等预处理。实验中针对预处理后的图像分别进行全局阈值、自动全局阈值、动态阈值、局部均值和标准偏差分析、分水岭盆地分割，各类方法分割效果如图3所示[9]。对比分析可知：全局阈值分割通过灰度直方图确定分割阈值效果最为显著；局部均值因受噪声干扰执行时间长效果仅次于全局；分水岭盆地能有效分割出多数目标效果良好；自动全局阈值仅能分割少数目标效果较差；动态阈值无法有效分割目标与背景效果最差；综合考虑确定全局阈值分割方法分割出冲压件。

(a)全局阈值 (b)自动全局阈值 (c)局部均值 (d)分水岭图3 各类阈值分割效果图

全局阈值分割采用迭代算法实现自动估计最佳阈值，多用于灰度存在波峰波谷的情况，简单快速因而被广泛使用。数学模型如式(1)所示:

Rt={gmin≤g(x,y)≤gmax,(x,y)∈R}

(1)

式中，R为分割区域图像，Rt为分割输出图像，gmin为灰度值下限，gmax为灰度值上限。全局阈值分割是基于灰度直方图的区域直接划分技术，目标与背景分别对应直方图的波峰与波谷。

3.2 图像形态学处理

图像形态学基本代数算子由膨胀(dilation)、腐蚀(erision)、开运算(opening)、闭运算(closing)、骨架(skeleton)组成。形态学利用了点集合的性质、积分几何的结果和拓扑学，其变化是量化的，满足的4个原则为：与平移相容、与尺度缩放相容、局部知识、上半部连通[10]。研究过程中使用半径为50的结构元素，结果显示膨胀是抑制噪声和填补全局阈值分割的冲压件空洞最有效方式，形态学处理效果如图4所示。

(a)膨胀 (b)腐蚀 (c)开运算 (d)闭运算图4 形态学处理效果图

3.3 连通性分析

为方便标记目标，将相同像素且位置相邻的前景像素区域作为连通域，使用connection和fill_up算子进行8邻域连通性分析。如图5所示。

图5 连通性效果图

3.4 冲压件区域特征提取

特征代表区域的特征属性，区域形状特征代表几何特征即面积，面积是区域矩的广义特征范例。矩既称几何矩，又因具有旋转、平移、尺度等不变性和光照三维相机视点变换下的部分不变性而称不变矩。Blob中通过零阶矩M00和一阶矩M10,M01计算质心，二阶矩M20M02M11计算形状方向，表达式如式(2)所示:

(2)

质心坐标为(xc，yc)形状方向为θ，计算公式如式(3)所示:

(3)

结合冲压件存在的大件、小件、侧立、重叠4种分类特征，确定各形状特征对应的参数，即面积area、行坐标row、列坐标column、宽度width、高度height、矩形度rectangularity。如表2所示。

表2 冲压件的形状特征参数

4 冲压件图像几何定位

为了对冲压件进行精确分类，可基于形状或边缘轮廓等几何信息完成几何匹配[11]。广义上而言，几何匹配主要包括基于灰度相关和基于几何特征两大类。HALCON自身具有最强大而前沿的匹配算法，主要分为基于形状的匹配、基于组件的匹配、基于互相关匹配、变形匹配、三维匹配。研究采用了基于4类形状的多模板的匹配算法，其详细流程如图6所示。

图6 多模板几何定位流程

冲压件研究样本的图像共8个目标，其中小件4个，大件2个，重叠1个，侧立1个。软件测试自动标记顺序如图7所示，参数如表3所示。

图7 测试标记图

标记原特征行坐标列坐标角度分数结果1大件1475.792739.05-1.830.9999大件2重叠2475.842155.041.280.9998重叠3侧立2263.51371.03.810.9995侧立4小件15991529.51.260.9993小件5小件830.9152151.45-1.550.9946小件6小件1739.272294.45-0.700.9938小件7小件1352.73285.88-0.990.9857小件8大件2312.83126.56-0.360.6908大件

5 空域微分法边缘检测

图像边缘指周围像素灰度有阶跃变化的像素集合，其检测原理是获取在像元中具备灰度空间梯度最大的直线、边特征。常见边缘点分为：阶梯型、屋顶型、线性边缘。梯度最大值边缘检测方法主要通过HALCON中空域微分法的相关算法实现，如frei算子、kirsch算子、prewitt算子、sobel算子[12]。Kirsch边缘检测算子由8个卷积核组成，需获取8个方向的平均差分及边缘方向的响应，对冲压件的边缘检测效果最佳，其检测结果如图8所示。

图8 Kirsch边缘检测

6 二维边缘测量

考虑到冲压件的外观特征，在工业中用游标卡尺检测边缘。在机器视觉中，边缘则是分割图像明暗区域的边界，可借助测量助手测量边缘对确定边缘。HALCON的卡尺二维边缘检测遵循4大原理，即执行投影处理、执行微分处理、设置边缘敏感度及极性、执行亚像素处理。

投影处理获取每条投影波形，可降低测量感兴趣区域的噪点导致的失败率；微分处理可消除因测量区域绝对值变化而造成的影响；预设边缘敏感度可滤除干扰边缘，设置极性可定向选择指定的边缘对象。执行亚像素处理可根据最高差异波形的临近像素插值计算并测量边缘；该边缘检测算法具有较强的抗干扰性，精度高，鲁棒性好。

亚像素边缘模型是理想边缘模型与高斯函数卷积得到的高斯型边缘函数。算法采用拟合法获取边缘连续曲线，边缘梯度近似呈高斯分布，如图9所示，顶点对应亚像素边缘位置。

图9 高斯分布拟合图

高斯曲线函数模型如式(4)所示：

(4)

为降低计算难度和运算量，可根据二次抛物线从临近像素强度中获取顶点位置，像素梯度值表达式如式(5)所示：

(5)

式中,f0为边缘点0的梯度值，f-1、f1分别为边缘点相邻两点的梯度值，由此可求解精确的亚像素边缘位置xt表达式,如式(6)所示：

(6)

针对检测到的精确边缘进行二维测量，获取尺寸参数，拟合流程步骤为：

(1)采集大件小件图像，独立进行二维测量；

(2)按顺序创建边缘测量ROI，借助卡尺工具；

(3)在每个边缘测量ROI测量一个边缘，连接成XLD多边形轮廓，保证其唯一性和可控性；

(4)拟合直线边缘，使用自行封装的rake工具获取边缘对坐标和距离。

研究提出一种新的边缘对检测算法，其原理为随机选取最少数量的点拟合一条直线，查找存在与解一致的点，不断迭代重复直到正确解概率为特定参数的解即为最佳拟合结果。对应算子为：draw_rake(画边缘直线)、rake(边缘测量)、pts_to_best_line(边缘连接为XLD轮廓并拟合直线)，与此同时角度测量采用最小外接矩形的方法获取。边缘测量的直边缘对measure_pairs效果及角度测量结果如图10所示，测量参数结果如表4所示，其中左右距离为宽度的像素值，上下距离为长度的像素值。

(a)测量边缘对效果图 (b)最小外接矩角度测量图10 二维测量

特征坐标距离大件左(1450.63,2611.0) 右(1503.77,2862.92)257.468上(1175.49,2780.34)下(1782.32,2684.01)614.42小件左(1344.52,3192.88) 右(1292.13,3365.55)180.439上(1099.41,3212.83)下(1607.72,3376.24)533.931

冲压件通过 PD-151 数字型的游标卡尺进行理论测量，其误差为±0.02mm/±0.001″(<100mm)。采用多次测量取平均值的方法得到小片的理论参数。根据相机标定像素当量将图像参数换算为物理参数，可完成相应的精度验证实验。研究中分别对50幅样本图像进行检测，数据统计结果发现视觉测量参数与游标卡尺测量参数基本保持一致。

7 结束语

通过旋转平台在外触发状态采集并处理样本图像，可实现平台的24h稳定运转，系统精度可达到0.04mm。实验中针对静态和动态进行多次测量，对比重复性精度，可达到冲压件在线识别与实时性检测的要求。在二维边缘检测中基于空域微分法边缘检测算法提出一种新的拟合直线边缘对算法，该算法可准确快速拟合边缘细节特征，实现大小冲压件的边缘测量。本文对工件外观识别与视觉检测技术的研究，缺少侧立重叠特征的测量，有待研究相应算法。由于研究处于实验室开发环境下，为更好验证冲压件检测的精确度，后续可二次开发识别与检测系统，并应用于实际工业冲压流水线调试现场。