基于机器视觉的五轴点胶机工件定位算法研发

周庆懿，瞿佳伟，张春雷，

（1.四川大学 机械工程学院，成都610065；2.成都乐创自动化技术有限公司，成都610041）

在电子产品生产中，点胶机扮演着极其重要的角色[1]。例如PCB 电路板的电子元件粘结、智能手机外壳和摄像头的固定等工业制造任务中无一不用到点胶机。由于工业产品中出现了越来越多的异形面、复杂空间曲线、曲面，导致普通的三轴点胶机不能很好地完成点胶任务，只能使用五轴点胶机来完成这样的复杂任务，而五轴点胶机的工件定位和示教的任务复杂度和难度较大，使用传统的专用定位夹具做工件定位和人工示教所带来的成本高。结合当下机器视觉的应用领域和发展现状，机器视觉技术是解决上述难题的不二选择。

目前机器视觉工件定位的研究主要是针对于两大类工件，一是平面工件[2-3]，主要用于流水线扁平工件的分拣工作，适用范围有限，只能进行工件的二维平面定位；二是立体工件[4-5]，由于使用纯视觉技术的限制，造成精度不够高，一般在毫米级，因此主要用于机器手分拣任务。而在数控机床中的相关应用研究较少，且适用范围比较局限，比如针对特定工件的特定加工环节视觉定位，如在花键加工中的应用[6]。

本文研究基于机器视觉的双转台五轴点胶机床运动学模型，并选取工件表面定位特征点，结合运动学模型进行求解特征点的工件坐标，完成工件定位，求得的定位特征点两两实际物理距离与理论物理距离的平均误差为7.5 μm。数控机床很多基本的结构相似，所以该定位方法还可以很容易地应用在其它数控机床中，可移植性较高。该方法部分研究结果已于2021年在成都乐创自动化技术有限公司正式投入使用。

1 工件定位算法原理

研究对象为双转台五轴点胶机床，如图1所示，相机安装在Z轴滑台上，它与五轴机床其它关键运动部件有着确定的运动关系，为了实现对工件的精确定位，求解工件在加工平台上的位姿，首先需要使用张正友标定法[10]进行单相机标定，确定工业相机的相机内参与畸变系数，该方法比较成熟，可直接使用，然后确定相机和五轴机床中各个运动部件的运动学信息，建立运动学模型，最后基于该模型，结合工件定位特征点建立优化目标函数，使用LM优化方法求解特征点的工件坐标，完成工件定位。

图1 双转台五轴点胶机结构Fig.1 Structure of dual turntable five-axis machine

1.1 基于齐次坐标变换的理想运动学建模

基于视觉的五轴机床上的关键部件运动学关系可视为一条串联运动链，如图2所示，实线连接部分属于物理连接，即运动部件之间的固联关系，它们之间仅存在刚体变换运动，其中相机和针头都安装在同一滑台上，相对位姿固定，可简化为同属一个部件；点画线部分属于非物理连接，由相机模型联系[10]。加工平台上的标定板世界坐标信息可以通过两个途径变换到相机坐标下，一是通过物理连接部分获得，二是通过非物理连接部分获得，非物理连接部分获取的信息可以作为先验信息应用于标定环节，因此首先需要对物理连接部分进行运动学建模，确定用于描述物理连接部分运动关系的数学模型，才能利用非物理连接部分的先验信息对其进行关键参数的标定。

图2 五轴机床运动链Fig.2 Kinematic chain of five-axis machine

齐次坐标变换可以描述空间中任意坐标系之间的相对位姿关系[7-8]，也可以表示空间点在不同坐标系下的描述之间的转换关系。本文采用齐次坐标变换法来描述机床中各个关键部件之间的运动关系，即相对位姿关系，通过在各个部件上建立标准笛卡尔右手坐标系，用坐标系之间的齐次变换来描述部件之间的关系，坐标系示意图如图3所示。

图3 五轴机床上的关键部件固联坐标系示意图Fig.3 Coordinate system of critical components in five-axis machine

理想运动学模型如式（1）所示，忽略所有机床误差，若知道坐标系之间的相对位姿关系，便可知道它们之间的齐次变换矩阵，而物理连接部分属于串联关系，因此可以利用这些齐次变换矩阵，从标定点世界坐标出发，逐级变换到标定点在相机坐标系下的坐标。

式中：pV为空间点在｛V｝下的坐标；pW为世界坐标；为空间点从｛W｝下变换到｛C｝下的齐次变换矩阵，同样也表示｛W｝坐标系相对｛C｝的位姿，以此类推。

标定板可看作加工工件，当把标定板固定在加工平台上后，标定板与加工平台的相对位姿不再发生改变，因此标定板坐标系｛W｝即是加工坐标系，不难看出，在五轴机床的运作过程中，标定点的世界坐标pW将不会发生改变。实际加工过程中，标定点在｛V｝下的坐标pV会因五轴机床的运动发生改变，而式（1）的齐次坐标变换模型中，齐次变换矩阵D描述了五轴机床运动链节点的静态位姿关系和运动关系。

1.2 耦合PIGE 的五轴机床运动学建模

机床的几何误差按照与各运动轴位置的相关性分为两类，一是位置无关几何误差元素PIGE（position-independent geometric error，PIGE）；二是位置相关几何误差元素PDGE（position-dependent geometric error，PDGE）。在本文中将忽略PDGE，仅考虑机床的PIGE。PIGE 误差主要包含机床各运动轴的安装误差，包括平动轴的3 项垂直度误差，旋转轴的4项垂直度误差以及4 项轴间距误差[9]。

为了便于将误差模型耦合到理想运动学模型中，同样采用齐次坐标变换法进行误差模型建模。考虑到五轴机床中平动轴和旋转轴的误差项不同，因此可以将式（1）分解为式（2），分别对平动轴部分和旋转轴部分进行误差分析与模型建立：

式中：pY为标定点在坐标系｛Y｝下的坐标。

1.2.1 平动轴误差运动学模型

在理想情况下，无PIGE 误差，｛X｝，｛Y｝，｛Z｝三个平动轴滑台固联坐标系中的三坐标轴线均与机床基座坐标系｛M｝的坐标轴平行，机床复位时，以上各坐标系重合。此时考虑PIGE 误差[9]，即运动轴安装误差，该误差实质上是造成了运动轴相对于机床基座做刚体变换，部件上固联的平动轴坐标系｛X｝，｛Y｝，｛Z｝同样将产生相对｛M｝的刚体变换。因此在平动轴误差运动学模型中，将乘上对应平动轴PIGE误差项所带来的刚体变换矩阵。平动轴误差运动学模型如式（3）所示：

式中：EX，EY，EZ分别为PIGE 误差所带来的相对｛M｝的刚体变换矩阵。

由齐次变换矩阵的特性可知，该模型中的齐次变换矩阵可以耦合为一个齐次变换矩阵T，模型简化为

式中：RM的物理意义为｛Y｝坐标系相对于相机坐标系｛V｝的旋转。相机安装好后，在机床运动中，相机与Y轴滑台之间只做平动运动，不发生旋转运动，因此可以想象RM是一个旋转矩阵常量；tM的物理意义为｛Y｝相对于｛V｝的平移向量，该向量包含了两个因素，一是由于机床做平动运动时引起的平移变换，二是由于PIGE 几何误差项引起的静态误差。因此tM是一个关于机床输入坐标的线性函数，如式（5）所示：

式中：M3×4为映射矩阵。因此，对于平动轴误差运动学模型只需标定出RM和M3×4两个矩阵参数。

在实际标定过程中，机床仅作平动运动，旋转轴不做转动，Y轴滑台与加工平台相对静止，假设此时的坐标系｛Y｝与标定板坐标系｛W｝重合，因此可以使机床仅作平动运动，拍摄足够数量不同平动参数下的标定板图像，用已经标定好的相机内参作为初始值，使用张氏标定法[10]求解对应图像的单应矩阵，再根据相机内参矩阵解耦出每张图像的外参矩阵，即｛W｝相对｛V｝的刚体变换矩阵，又因为｛Y｝与｛W｝重合，该变换矩阵实质也是｛Y｝相对相机｛V｝的变换矩阵。此时不难想象，由于机床仅作平动运动，每张标定板图像对应旋转矩阵RM理论上应该是常量，但由于图像处理和计算会带来随机噪声，导致这些旋转矩阵存在微小偏差，因此可使用平均法求出所有旋转矩阵的平均值作为标定结果，而求解出来的平移向量则是tM，根据式（5）和多组变换矩阵的平移向量，可构建超定方程组，最后利用最小二乘法可以求解出M3×4。

1.2.2 旋转轴误差运动学模型

旋转轴运动将会导致原本重合的｛Y｝与｛W｝产生刚体变换，因此旋转轴误差运动学模型需要确定该刚体变换的具体形式。旋转轴坐标系｛A｝与｛C｝的原点建立在实际旋转轴线上的一点，假设｛A｝原点在｛Y｝下的坐标为ta，｛C｝的原点在｛A｝下的坐标为tc，旋转轴A的实际旋转轴线在｛Y｝下的方向向量为va，C的实际轴线在｛A｝下的方向向量为vc。不难想象，在这种模型条件下，若求解出原点ta，tc和方向向量va，vc，便能确定A，C轴的实际旋转轴线分别在｛Y｝和｛A｝下的位置，两直线之间的相对位姿则包含了PIGE 误差项中的旋转轴垂直度误差与轴间距误差。

假设机床旋转轴的旋转度数分别为a和c，由旋转轴引起的｛Y｝与｛W｝之间的坐标变换可看作｛W｝绕直线（ta，va）旋转a度，再绕（tc，vc）旋转c度，并且在a，c为0 时｛Y｝，｛A｝，｛C｝坐标系三轴线分别相互平行。又因｛Y｝在未作旋转运动时与｛W｝重合，有pY=pW，因此可以通过仅旋转一根旋转轴实现对相应旋转轴的轴线参数标定。以A轴为例，标定过程推导如下：

｛W｝与｛Y｝的变换公式如式（7）所示，其中旋转矩阵可由罗德里格斯公式求得，如式（6）所示：

式中：a为A轴旋转度数；vaX，vaY，vaZ为va的分量。

此时相机拍下标定板的照片，根据相机成像原理可得：

联合式（7）与式（8）：

根据前一步的标定结果，令机床此时的平动轴参数为［X，Y，Z，1］T，则：

根据式（9）和式（10）可得：

式中：R和t为每张图像对应的外参矩阵，可同样根据张正友标定法求得，RM和M3×4可由平动轴误差模型标定求得，平动轴参数［X，Y，Z，1］T为已知量。因此采集n组仅做A轴旋转的标定板图像，可根据式（11）建立n个方程求出ta，RA，进而利用罗德里格斯公式反求出va。同理，在仅旋转C轴时，可求得C轴轴线的方向向量vc，以及轴线上一点tc，完成旋转轴误差模型的标定。

1.3 综合误差运动学模型

此时增加两个坐标系｛A0｝与｛C0｝。｛A0｝表示A轴未旋转时的坐标系，｛C0｝表示C轴未旋转时的坐标系，并且当旋转轴参数a，c为0 时，｛A0｝，｛C0｝分别与｛A｝，｛C｝重合，此时以上坐标系的轴线分别与｛Y｝的三根轴线平行，因此通过上小节标定的旋转运动轴实际旋转轴线分别在｛Y｝与｛A｝下的方向向量va，vc，结合机床的串联运动模型，不难想象无论A，C是否旋转，它们的实际旋转轴线在｛A0｝，｛C0｝下数值上是不变的。｛A0｝，｛C0｝分别与｛A｝，｛C｝之间的关系如式（12）所示，显然，它们之间仅存在因旋转产生的旋转变换。

式中：Ra和Rc为对应旋转轴旋转动a，c产生的旋转矩阵，对应旋转轴线为上一小节标定所得的va，vc。综合误差运动学模型如式（13）所示：

由于该运动链包含视觉系统，因此可以通过相机模型建立像素坐标到加工坐标的齐次坐标变换模型，如式（14）所示：

基于该模型可建立优化目标函数，其中相机内参K的初始值可通过张正友相机标定法标定得出[10]，其余优化参数为齐次变换矩阵中的未知参数，如表1所示。pW为标定板信息，是已知量，pp可由图像处理提取标定板Mark 点像素坐标获得，因此可以通过图像处理获得的像素坐标作为先验信息，使用非线性优化方法求解优化参数。

表1 综合误差运动学模型的齐次变换矩阵Tab.1 Homogeneous transfer matrix of integrated-error-kinematic model

1.4 工件定位算法

从综合误差运动学模型可推导出像素坐标与工件坐标之间的齐次变换关系，如式（14）所示，基于该模型建立工件定位优化目标函数，如式（15）所示：

其中，在上述运动学模型标定完成后，K相机内参和D变换矩阵为已知量，Zc深度信息和pW工件坐标，为未知量，作为优化参数，再对实验零件4 个定位特征分别拍摄多张多视角图像，通过图像处理得到定位点像素坐标，作为先验信息，通过LM 非线性优化可以得到定位特征的加工坐标信息，实现工件定位。实验零件如图4所示。

图4 测试零件Fig.4 Test workpiece

2 实验结果

2.1 五轴机床运动学模型标定实验

该实验通过RANSAC 法对数据样本进行去噪[11]，并在此基础上增加了RANSAC 参数搜索环节，利用处理后的数据样本，使用LM 非线性优化方法进行各参数的优化以及未知参数的求解，算法流程如图5 和图6所示。

图5 增加参数搜索环节的RANSAC+LM 算法流程Fig.5 Flow chart of RANSAC+LM algorithm adding parameters searching

图6 LM 非线性优化流程Fig.6 Flow chart of LM nonlinear optimization

实验迭代两次时平均重投影误差就从175 下降到了0.5 以下，最终得到平均重投影误差为0.17像素的五轴机床综合误差运动学模型，迭代误差如图7所示。

图7 运动学模型标定LM 迭代误差Fig.7 LM errors of kinematic model

2.2 工件定位实验

该实验通过对建好的优化目标函数进行LM 非线性优化，得到工件定位特征点的工件坐标值最优解求解。定位结果如表2所示。

表2 工件定位特征点求解结果Tab.2 Solution result of workpiece-positioning-feature points

从标定结果的平均重投影误差可以看出，该算法的重投影误差在1 个像素左右。根据实验工件的3D 模型可以得到4 个定位特征点之间的相对距离长度，以该长度作为理论长度，最后根据定位结果计算对应定位特征点之间的实际长度，做误差分析得到长度平均误差为0.0075 mm，也就是7.5 μm。

3 结语

本文提出了一种基于机器视觉的五轴机床运动学模型标定算法，以及基于该模型的工件定位算法，该算法可解决五轴点胶机的工件定位问题，减少专用定位夹具的必要，降低工件装夹定位要求，该方法稍加修改后可应用于三轴或四轴等其它类型数控机床、工业机器人、抓取机械臂等场景，为刚体变换场景中运动模型标定以及目标定位问题提供了一种基于机器视觉技术的解决方案。但该方法标定过程中需要人工采集大量标定图像，并且最后仅用到了求解出的加工坐标信息，而深度信息未利用到，因此在今后的工作中可以继续围绕图像采集自动化、充分利用该算法中求解的深度信息解决其它合适的工程问题这两个问题深入研究，进一步改进和扩展该算法。