面向机械分拣系统的电子元件自动识别算法

潘美莲，陈 洁，陈赣浪

（1.广州工程技术职业学院信息工程学院，广东广州 510000；2.华南师范大学软件学院，广东佛山 528225）

1 引言

现今家电产业发展迅速，产品的更新迭代速度也随之加快，造成大量废弃家电产品的堆积。为了避免资源浪费，组件级别的电子废物管理正引起研究人员的关注[1]。在组件级别进行电子废物管理的方法之一是促进再利用。重复使用电子元件有助于减少电子废物。由于手工分拣的效率较低，机械化分拣电子器件的研发与应用成为主流趋势。

在相关研究中，文献[2]设计了一种插件元器件分拣机器人系统，采用了改进的自适应阈值的Canny算子提取了目标的边缘信息，利用采用SURF算法进行二进制元件描述，实现了器件分拣。文献[3]设计了基于树莓派的元器件检测系统，在电路板图像预处理的基础上读取坐标文件，通过霍夫变换检测图像定位点，再采用图像分割方法提取器件表面文字，完成了电子元件的识别。但器件图像灰度值沿半径方向的分布识别精度有待完善。文献[4]提出了一种利用转移学习和深度卷积神经网络对电子样机上的分立元件和表面贴装元件进行分类的方法。使用这种方法提供了便捷的部署，实现了电子器件分类，但在分类精度上有待提高。

针对上述问题，为了进一步提高电子元件的机械分拣效率，提出了一种利用监督式机器学习识别电子元件参数的方法。通过分割图像和标记色号，来修正图像的灰度形态，计算坐标系，来获得图像具体坐标系与电子元件边缘轮廓。

最后引用核分类器改进监督式机器学习中的度量学习模型，以提高大规模电子元件识别效率，融合拉格朗日乘子计算图像坐标点，完成对电子元件的自动识别。

2 监督式机器学习下电子元件自动识别

2.1 电子元件图像灰度形态学修正

在机械分拣的过程中，准确识别电子元件是精准分类的前提。在进行电子元件图像自动识别之前，为了可以获得更好的效果，需要突出图像内预识别物体的特征，需要对图像进行预处理。这里预处理的流程即：通过光照增强图像的色彩对比度，随后将图像灰度化处理，并将光照不均匀的位置校正，统一化图像背景成黑色。同时电子元件的特征非常复杂，其主色大多数是黑色，中心部位存在少量的白色标记，其反面主色大多数是白色，且边缘较短。因为要识别的图像内存在数量较多的电子元件，所以在识别前，需要将图像内的电子元件进行灰度形态学校正，以此删除可能对后续识别产生影响的特征，凸显电子元件的边缘特征。灰度形态学，是一种图像分析学，其中较为常见的就是开操作，这种操作是一种膨胀与腐蚀算法相融合的算法，开操作能够将图像的边缘轮廓变得更为平滑且突出，同时还能够分离不同物体之间存在的细小连接。

开操作需要凭借架构元素B以及图像A作为基础运行条件，在开始运行时，需要将上述两种条件转换成A ⋅B，其定义如下所示：

开操作首先需要对图像进行腐蚀，然后对腐蚀结果，通过相同的架构元素进行膨胀。由于电子元件的架构算子存在旋转不变性，因此需要将架构元素拟定为A ⋅B=(AΘB)⊕B。

2.2 电子元件图像坐标系计算

通过分拣系统的摄像机标定电子元件的四种坐标系，以下就是对四种坐标系的详细介绍以及参数求解。

（1）图像坐标系

图像坐标系位于电子元件参数图像的左上角，其初始点即像素的直接坐标u−v。

（2）成像平面坐标系

摄像机拍摄得到的图像会构成成像平面坐标系，该坐标系的初始点o1就是摄像机光轴中心的主点，并且该坐标系的x、y轴与图像坐标系的u、v轴为平行状态，那么把这两种坐标系的点进行转换能够得到：

式中：dx—电子元件元件沿着x单元尺寸；dy—y方向的单元尺寸。

为了使之后的坐标转换更为便捷，把式（2）转换成齐次方程即：

（3）摄像机坐标系

摄像机坐标系的初始点Oc位于光轴的中心处，其与成像坐标系呈平行状态。图像坐标系以及摄像机坐标系的点进行转换能够获得：

将该坐标转换为齐次坐标即：

（4）机器坐标系

机器坐标系即根据现场实际状况构建的坐标系，在电子元件拍摄的过程内，构建的机器坐标系为OWXWYWZW，XW轴以及摄像机坐标系的Yc轴、摄像机坐标系的Xc轴均呈现平行状态，图像左下角即机器坐标系的初始点，把分拣系统中摄像机坐标系和机器坐标系的点进行转换能够得到：

式中：Q—机器坐标点；Q()Xc，Yc，Zc—摄像机坐标系；R—旋转矩阵；t—平移向量。

式（7）代表旋转矩阵R的描述公式：

为了便于理解旋转矩阵，这里将三维空间的旋转分解转换成分别围绕Xc，Yc，Zc轴的二维旋转。

利用欧拉角α，β，γ描述绕x，y，z轴的逆时针旋转数值［5］，这三个坐标旋转矩阵分别是Rx(α)，Ry(β)与Rz(γ)获得，如式（8）～式（10）所示。

2.3 电子元件参数图像的像素边缘检测

2.3.1 基于二次多项式差值算法的粗检测

凭借多项式差值公式，拟定坐标系点集为：

在n=2 时，x处的差值即二次多项式差值，拟定已知总量为3。

假如式（12）是导数曲线［6］，那么边缘处的曲线就能够被描述成0，在获得边缘点集后，如果(x，y)确定为边缘点，就在X轴方向删除取临近的两种边缘点(x−1，y)与(x+1，y)，把三点梯度幅值g(x，y)，g(x−1，y)，g(x+1，y)引入式（12）内［7］，然后对其进行求导，就能够得到X轴像素边缘的位置x，同理，能够获得Y轴像素边缘位置y，如式（13）所示。

使用删除检测方法时，存在一个先决条件即：g0>g−1同时g0>g1，其保证了梯度幅值在区间中存在极大值，也就是说在图像的某区域存在像素边缘位置。

2.3.2 基于高斯曲线拟合法的细检测高斯曲线描述式即：

在使用高斯曲线拟合边缘导数曲线的时候，高斯曲线顶点坐标确定了像素边缘。

直接通过式（15）难以运算，因此对其两侧同时取对数为：

式（15）能够描述成一种二次多项式，1nf(x)=ax2+bx+c，凭借二次多项式插值方程，利用基于梯度方向的运算方法[8]，能够得到像素的具体位置如下：

2.4 监督式机器学习图像识别

2.4.1 度量学习模型

度量学习模型即监督式机器学习算法内的一种，度量学习的任务就是学习一个度量两种样本xi与xj内的相似度函数d(xi，xj)，同时满足以下条件：

（1）三角不等式：d(xi，xj)+d(xj，xk)≥d(xi，xk)；

（2）非负性：d(xi，xj)≥0；

（3）对称性：d(xi，xj)=d(xj，xi)；

（4）可区别性：d(xi，xj)=0 ⇔xi=xj。

度量两种样本之间距离的算法有很多，当前较为常见的即马氏距离[9]，马氏距离定义如下：

式中：xi—训练的样本；M—度量矩阵，同时M需要拟定成半正定矩阵。在M代表单位矩阵时，马氏距离会转变成欧式距离。因为M被拟定成半正定矩阵，那么该矩阵内就会具有矩阵L，其满足M=LTL，所以，式（17）也能够被描述成：

从式（18）能够得知，两种样本xi与xj之间的马氏距离等同于Lxi与Lxj之间的欧式距离。

2.4.2 改进度量学习模型

当前的度量学习在很大程度上决定了当前识别结果是否精确，而度量学习在解决大规模问题上存在效率低下的问题。因此这里引用核分类器[10]来优化对大规模元件识别时度量学习效率较低的问题，同时依靠改进后的度量学习实现对电子元件参数图像的自动识别。通过二步贪心算法进行度量学习，首先，剔除半正定约束，利用Frobenius范数对M进行正则化处理，并依靠铰链损失当作间隔损失项，所以，基于电子元件参数图像能够通过核分类器完成度量学习。

式中：‖·‖F—范数，因为上述问题不易计算。所以融入拉格朗日函数即：

式中：a1，β1—拉格朗日乘子；ξ—正则化项；M—单位矩阵；b—线性函数，由于其在运算M，b以及ξ时偏导数会等于0，所以需要把原始的电子元件参数图像识别问题，转换成对偶问题，即：

通过式（23）～式（25）的计算公式，对电子元件参数图像的像素坐标点进行计算，就能够完成对电子元件参数图像的自动识别。

3 实验分析

为了证明所提方法的实用性，进行实验，仿真实验平台为MatlabR2019b。选择电子元件数据库用数据集作为实验样本，其中包括电阻器、电感器、电容器、二极管等元件，每种元件的数量及用于训练与测试的数量，如表1所示。

表1 数据集划分Tab.1 Dataset Division

首先在数据库中随机挑选6幅电子元件图像，并依照名称对应标记序号：贴片电阻（1#），贴片网络电阻（2#），单层陶瓷电容（3#），BGA器件（4#），二极管（5#），三极管（6#）。通过所提算法对该图像进行识别，其识别结果，如图1所示。

图1 电子元件图像识别结果Fig.1 Electronic Element Image Identification

通过图1能够看出，所提方法能够在复杂的电气器件内，有效剔除所有不相关部分，精准识别出所有微小的电子元件，并且元件轮廓清晰。这是因为所提方法会依靠二次多项式差值与高斯曲线拟合法对电子元件图像进行预识别目标的像素边缘轮廓识别，以提高后续识别结果的质量。

使用所提方法对图1的识别结果进行数值测试，拟定实验参数为，监督式机器学习的学习次数为20、30、50，测试的迭代上限即300。表1中，迭代次数与计算时间此时都是算法运行10之后的平均结果，如表2所示。

表2 电子元件图像数值测试结果Tab.2 Numerical Test Results of Electronic Component Images

通过表2能够看出，随着拟定机器学习次数的逐渐提升，计算时间也会随之增加，但算法的迭代次数会慢慢降低，算法的精确判断率随之增高，从这点能够看出，所提算法的识别精确性也是较高的。

为了进一步证明所提方法的优越性，基于上述实验环境，通过所提方法、文献[3]方法、文献[4]方法对电子元件参数图像的灰度值沿半径方向的分布进行识别，并与事先拟定的结果进行对比，对比结果，如图2所示。

图2 电子元件沿半径方向的灰度分布对比结果Fig.2 Comparison Results of Gray Scale Distribution of Small Electronic Elements Along the Radius

通过图2能够看出，文献[3]方法和文献[4]方法与事先拟定的结果存在较大的差别，且灰度值变化趋势与拟定结果相差较大。而所提方法识别结果与事先拟定的灰度分布结果相近，且灰度值的变化趋势与拟定结果相同。这是因为所提方法会依靠标记特征修正图像灰度形态，计算图像的所有坐标，以此明确电子元件的具体位置以及大致轮廓，为后续的识别提供依据，以此提升识别结果的精确度。

4 结论

为了提升电子元件机械分拣效率，提出了一种利用监督式机器学习的电子元件图像自动识别算法。该方法通过灰度形态学以及度量学习模型，能够完成精准地参数图像自动识别。但所提方法的识别结果无法精确到0.01mm，此外因为环境与条件的限制，所提方法针对的都是图像内静止的电子元件，并不能对视频或生产线内的电子元件进行动态识别。因此，下一步需要研究的课题即：使用更为精密的图像采集算法，提升图像采集的效果，提高图像的清晰度与图像质量，使算法能够连续地自动化处理动态电子元件参数图像的识别。