基于双目图像融合的孔轴配合间隙监视

徐智涵，袁道成，李璐璐

(中国工程物理研究院 机械制造工艺研究所，四川 绵阳 621000)

0 引 言

随着现代制造业的快速发展，装配成功率过低的问题越来越突出。由于人工装配效率较低，所占的生产面积较大，并且装配质量容易受到操作人员主观因素的影响[1]，因此实现装配自动化是提高装配效率、提升产品质量的重要手段。为了提高自动化装配质量，需要提高装配系统的装配精度。一般而言，提升装配精度的关键在于保证装配件与装配基础件之间的相对位姿精度，并精确控制装配件与装配基础件之间的装配间隙[2]。装配精度直接影响了装配任务的难易程度和装配效率，因此在产品的装配作业中起着举足轻重的作用。此外，在装配过程中，还需要要求装配件在装配路径上不发生运动碰撞，以造成装配件与装配基础件的表面划伤和工件变形，因此对装配系统的装配精度提出了进一步的要求。

然而随着装配间隙的不断缩小，受到机器人定位精度的限制，系统的装配精度无法满足实际装配需求。因此需要改进装配策略，提高装配系统的定位精度，并实现对孔轴装配质量的实时监视。随着计算机技术与光电技术的快速发展，视觉传感器在自动装配中得到了广泛的应用。基于视觉伺服的控制策略以视觉传感器的输出作为反馈信号，可以对装配环境进行实时动态的监视，并有效提升零部件的对准效率[3]。Kim等提出了一种基于虚拟视觉的零件对准与形变测量系统，该系统可以实时获得多视角下的孔轴图像，实现对工件相对偏移量的测量，并可以有效测量轴件的形变量[4]。视觉传感器的引入显著提高了装配系统的效率与灵活性。

然而，由于相机标定误差，图像噪声以及目标边缘提取误差的存在，基于视觉伺服的装配系统的定位精度受到了限制。因此在自动化装配中，视觉伺服通常与其他装配策略相结合。Huang等结合视觉引导与PID控制，使用Baxter机器人成功实现了间隙为1 mm的装配任务[5]。Lin等设计了一种基于孔轴位姿测量的自动装配系统，在视觉伺服的基础上引入了DMP控制策略，显著提高了孔轴配合的成功率[6]。Zheng等提出了一种结合视觉/力引导与双臂协调的装配策略，实验表明，当装配间隙在0.5 mm时，工件的配合成功率可达90%以上[7]。Song等提出了一种面向复杂形状工件装配的装配控制策略，结合目标工件的CCD模型，可以从图像中获得工件的几何参数和相对位姿，结合阻抗控制就可以成功引导孔轴配合[8]。Lanzetta等提出了一种基于视觉与力觉混合控制的装配策略，视觉反馈提供的孔轴相对位姿的估计值可以为六轴F/T传感器提供初始位姿信息[9]。

当装配间隙的尺度小于机械臂的定位精度时，装配系统难以实现精确的装配。装配间隙反映了装配零部件间的相对位置关系，进而反映了装配过程的质量。因此为了提升装配质量和效率，需要在装配过程中实时动态地监视装配间隙的变化。此外，对于高精密的工业产品，还需避免装配过程中零部件间的相互接触，以防止划伤产品表面或引发工件形变，因此基于力控制的装配策略难以适用于这类装配场合。为了提升装配间隙的测量精度，降低后续图像处理难度，要求图像上间隙的尺寸足够大。然而，现有的测量系统一般通过缩短物距的方式增大配合间隙在图像上的尺寸，然而这会带来严重的视场受限与遮挡问题，导致测量系统难以在装配过程中获得完整的配合间隙信息。

为了解决孔轴配合监视中的视场遮挡问题，消除视场盲区，并对小配合间隙进行实时监视，该文提出一种基于双目图像融合的孔轴配合间隙监视技术。通过图像中的圆孔边缘信息可以计算圆孔所在的支撑平面与像面之间的单应变换关系，从而可以将双视角下拍摄的图像同时重映射至同一个测量平面上，以便进行双目图像融合。融合后的图像包含了两个视角下的图像信息，因此可以有效解决视场受限与遮挡问题。由于二次曲线的切点-切线关系经过平面单应变换后仍能保持不变，该文基于Nelder-Mead单纯形搜索法计算轴件与圆孔支撑平面间的虚拟交线的几何参数。确定几何参数后，虚拟交线与圆孔轮廓共同反映了完整的孔轴配合间隙信息。

1 平面单应变换下二次曲线的相切不变性

不变量作为计算机视觉中的重要研究领域，是对物体三维结构的本质描述与高度概括[10]。图像中的不变量不会随着成像条件，如相机内参、相机视角、环境光照等因素的变化而变化，在不同图像中仍保持不变，具有高度的可靠性和稳定性[11-13]。由群论的定义可知，不变量指的是图像在某种变换群下保持不变的性质。计算机视觉中的不变量可以按照不同的分类方式进行分类：根据变换群的类别不同，可以将不变量分为射影不变量、仿射不变量、相似不变量等；根据不同的数学构造方式，可以将不变量分为代数不变量、几何不变量、微分不变量与积分不变量等[14]。通过构造并提取二维图像中的不变量，可以为计算机视觉应用提供稳定的信息来源，实现相机参数的自标定[15-16]、恢复目标物体的三维结构[17]、实现目标或动作识别[18-19]等任务。

相切关系作为二维图像中常见的几何关系，可以为求解平面曲线方程、目标识别与定位提供辅助信息。为了求解图像中的待求二次曲线，通过在图像上提取该二次曲线的切点或切线方程，可以辅助求解二次曲线方程，进而获得该二次曲线的几何参数。由于图像中二次曲线的相切关系在平面单应变换下是一个不变量，即二次曲线的切点切线经过平面单应变换后仍能与投影二次曲线保持相切关系，因此可以将像面上的源图像重映射至易于观察和处理的其他平面，从而降低二次曲线几何参数的求解难度。平面单应变换下的二次曲线相切不变性表述如下：

(1)

可以得到，平面Π0上的二次曲线、切线、切点经过平面单应变换后仍满足以下关系[20]：

(2)

(3)

(4)

公式(2)表明，二次曲线C0上一点p0，经过单应变换后，投影点p1仍在投影二次曲线C1上；公式(3)表明，若直线l0为二次曲线C0的一条切线，则经过单应变换后，投影直线l1仍为投影二次曲线C1的切线；公式(4)表明，若点p0为切线l0关于二次曲线C0的切点，则经过单应变换后，投影点p1为投影切线l1关于投影二次曲线C1的切点。

综上所述，二次曲线的切点切线在平面单应变换下保持不变，即平面上二次曲线的一对切线切点，经过平面单应变换H后，在像平面上的投影直线与投影点仍是关于投影二次曲线的一对切线切点。因此可以通过平面单应变换将某平面上的二次曲线与切线切点同时变换至另一个平面上，降低平面曲线几何参数的求解难度，并方便后续的观察和处理。

2 基于双目图像融合的孔轴间虚拟交线提取

2.1 平面单应矩阵计算

为了实现图像融合，首先需要将不同视角下拍摄的图像重映射至同一测量平面。在进行图像重映射之前，需要获得相机内部参数，以及像面与测量平面之间的单应变换关系H。相机的内部参数可以通过准确的相机标定得到。为了计算像面与测量平面之间的单应变换关系H，该文将圆孔所在支撑平面作为测量平面，坐标系建立方式如下：

以支撑平面上圆孔的几何中心为世界坐标系的原点Ow，支撑平面为世界坐标系Zw=0平面建立世界坐标系，如图1所示。以左相机坐标系1为例，世界坐标系相对于相机坐标系之间的刚体变换关系为(R,t)，其中R为旋转矩阵，R=[r1,r2,r3]，t为平移向量。在上述坐标系建立方式下，相机坐标系下圆孔所在支撑平面的法向量与圆心位置为(r3,t)。

图1 世界坐标系与相机坐标系

像平面上的一点(u,v)T与世界坐标系下Zw=0平面上的一点(Xw,Yw)T之间的射影变换关系为:

(5)

其中，λ为非零常数；Kc为相机的内参矩阵；ri,i=1,2,3为旋转矩阵R的第i列向量。通过计算相机坐标系下圆孔的相对位姿(r3,t)，可以获得圆孔支撑平面与像平面之间的单应变换关系H=Kc[r1,r2,t]。根据圆的投影方程，像面上投影椭圆的对偶C*满足[21]：

(6)

其中，k为非零常数；r为圆半径；对方程等式右边进行奇异值分解，可以反求圆孔的相对位姿(r3,t)。具体的计算方法在文献中已经得到详细的阐述[22]，在此不再赘述。

在根据圆的投影方程求解的圆孔空间位姿参数(r3,t)中，r3的可能解有两个。通过双视角下测量的圆位姿参数在同一个测量坐标系下的一致性[21]，可以消除计算结果中的冗余解。在实际测量中，由于图像噪声、标定误差的存在，左右相机的测量结果在同一个测量坐标系下不可能完全一致。因此通常设置一个阈值ε，当不同视角下测量的法向量在同一测量坐标系下的夹角大于阈值ε时，对应的法向量为冗余解。

在获得圆孔所在平面法向量r3=(r31,r32,r33)T与圆心位置t的唯一表示后，根据右手定则，支撑平面上的向量r1,r2的一组可能解可以通过如下方式计算得到：

(7)

2.2 图像重映射与双目图像融合

图像重映射是指将源图像按照指定的映射函数进行映射，从而形成新的目标图像的过程[23]。通过选择合适的映射关系，图像重映射可以将源图像映射至其他平面。相比于源图像，生成的目标图像易于观察和处理。图像重映射还可以将多个视角下拍摄的图像映射至同一测量平面，以便进行后续的图像融合。假设源图像与目标图像之间的映射关系为：

g(uw,vw)=f(h(uw,vw))

(8)

其中，g(·)表示目标图像，f(·)表示源图像，h(uw,vw)表示像素间的映射函数。由公式(5)可知，当源图像上一点(u,v)T坐标已知时，世界坐标系Zw=0平面上的对应点(Xw,Yw)T可以通过公式(9)计算得到：

(9)

在获得源图像上的一点在世界坐标系Zw=0平面上的对应点坐标后，此时坐标单位仍属于物理长度单位，还需要经过进一步采样转换为图像像素单位：

(10)

其中，s为采样常数，表示目标图像上单像素代表的实际物理长度；u0,v0表示世界坐标系的原点在目标图像上的像素位置。在计算过程中出现非整数坐标的像素值可以利用双线性插值法计算得到。在获得映射图像g1,2后，对映射图像加权平均，得到最终的双目融合图像。

左右视角下的源图像、映射图像与最终的融合图像如图2所示。如图2(c)所示，在双目融合图像中，双视角下拍摄的圆孔轮廓完全重合。融合图像中两个圆柱图像区域互相交叠，因此在双目融合图像中可以观察到两个圆柱共四条边缘直线。

图2 双目图像融合过程

2.3 孔轴间虚拟交线几何参数优化

孔轴间虚拟交线指的是孔轴配合过程中轴件与圆孔所在支撑平面间的虚拟交线，该虚拟交线在图像上不可见，虚拟交线与圆孔轮廓可以共同反映圆孔支撑平面上的孔轴配合间隙。孔轴配合过程如图3(a)所示，其中，E1为圆孔的边缘轮廓，E2为圆柱与圆孔支撑平面Π之间的虚拟交线。由空间几何关系可知，虚拟交线在像面上的投影一定与圆柱的两条投影边缘相切。

图3 孔轴配合过程与双目融合图像上的虚拟交线的几何参数

由第一节可知，二次曲线的切线切点经过平面单应变换后在像面上仍保持相切关系。因此在利用平面单应变换进行图像重映射和双目融合后，双目融合图像中两个圆柱的四条边缘投影直线li,i=1,2,3,4仍与虚拟交线相切。如图3(b)所示，在双目融合图像中，圆孔边缘为e1，半径为b1，虚拟交线为椭圆e2，椭圆e2的半长轴、半短轴分别为a2,b2，中心坐标为(u2,v2)，偏转角为θ2。由空间几何关系可知，虚拟交线E2的半短轴与圆柱半径R2相等，因此在双目融合图像上虚拟交线的半短轴b2满足线性关系R1/R2=b1/b2，其中R1为圆孔边缘E1的半径。

当确定虚拟交线半短轴长度b2后，虚拟交线方程的剩余自由度为4。为了求解虚拟交线e2的其余几何参数(u2,v2,a2,θ2)，根据双目融合图像中存在的相切关系，将参数求解问题转换为最小化目标函数:

(11)

该最小化问题为一个无约束的多参数优化问题，该文基于Nelder-Mead单纯形搜索法对该问题进行迭代求解。Nelder-Mead单纯形搜索法是一种用于优化无约束多参数问题的搜索算法，其基本原理为在n维参数空间中用初始值随机构建包含n+1个节点的凸多面体，即单纯形，通过各节点目标函数值的比较排序来决定对多面体各节点采取反射、扩张、收缩与压缩操作，最终通过不断迭代优化使得该单纯形逼近最优解[24-25]。Nelder-Mead单纯形搜索法具有搜索速度快，无需求解目标函数梯度值，对初始值的选择不敏感等优点。当Nelder-Mead算法陷入局部最优时，仅需重启优化算法即可[26-27]。优化算法框图如图4所示。

图4 虚拟交线几何参数优化流程

3 实验验证

该文首先通过计算机仿真方法验证基于双目图像融合的孔轴间虚拟交线提取算法的可行性。首先在计算机中生成虚拟的双目立体视觉系统，系统结构为：左右相机的光轴互相平行，其中世界坐标系与左相机坐标系重合，右相机坐标系的原点在世界坐标系中的坐标为(0.01,0,0)，两相机内部参数相同，内参矩阵为:

同时在世界坐标系中生成圆柱与圆孔的三维模型，其中圆孔的半径R1=1.75 mm，圆柱的半径R2=1.5 mm。仿真实验研究当孔轴轴线间有一小角度夹角，且孔轴相对位置发生偏移时，虚拟交线几何参数的求解结果。圆孔相对于世界坐标系的旋转矩阵与平移向量为：

圆柱轴线相对于世界坐标系OwZw坐标轴的旋转矩阵为：

生成孔轴三维模型后，将三维模型投影到指定内参与位姿的相机像平面上。左右相机拍摄的源图像与最终的双目融合图像如图5所示。

图5 双目融合示意图

图5(a)～图5(c)中，长短轴较短的椭圆代表孔轴间虚拟交线在像面上的投影椭圆，而长短轴较长的椭圆代表圆孔边缘在像面上的投影椭圆。在图5(c)双目融合图像中存在四条直线边缘，分别为左右图像中两个圆柱区域图像经过映射融合形成的。从图像中可以看出，虚拟交线均与圆柱边缘满足相切关系。对双目融合图像进行亚像素边缘提取，并分离得到的圆边缘和直线边缘。在对直线边缘和圆边缘进行进一步的非线性拟合后，可以得到四条边缘直线与圆孔边缘在图像上的方程。输入Nelder-Mead优化算法对圆柱与圆孔支撑平面的虚拟交线几何参数进行迭代优化。图6为仿真实验中虚拟交线的最终优化结果。

图6 虚拟交线优化结果

在设置的实验参数下，对应的圆柱与圆孔支撑平面的虚拟交线几何参数理论值与迭代计算结果如表1所示。

表1 虚拟交线几何参数实验结果对比

仿真实验结果表明，该文提出的算法可以很好地收敛到最优值，几何参数的计算结果与理论值接近。虚拟交线与圆孔轮廓共同反映了孔轴配合间隙信息。为了进一步验证算法可行性，对真实环境下孔轴配合虚拟交线的几何参数进行求解。参与配合的轴件半径R2=1.5 mm，圆孔半径R1=1.75 mm，最大配合间隙为0.5 mm。图7(a)～图7(c)分别为左右相机下的源图像、世界坐标系Zw=0平面上的映射图像以及经双目融合得到的图像。孔轴间虚拟交线提取算法结果如图8所示。从图像中可以看出，几何参数经由Nelder-Mead算法迭代优化后，虚拟交线与双目融合图像中轴件的四条边缘基本满足相切关系，算法可以收敛至最优值。

图7 图像重映射与融合图像

图8 优化算法提取的孔轴虚拟交线

在真实环境下的孔轴配合虚拟交线提取实验中，由于相机内外参数标定误差的存在，在图像重映射过程中，算法难以将不同视角下拍摄的图像完全映射至世界坐标系的同一个测量平面上；此外由于亚像素边缘提取算法精度限制以及图像噪声的存在，与仿真实验的结果相比，优化后的孔轴间虚拟交线的几何参数与理论值相比有所偏差。

4 结束语

该文提出了一种基于双目图像融合的孔轴配合间隙监视技术。算法通过图像中的圆孔轮廓计算圆孔支撑平面与相机像平面之间的单应变换关系，从而将双相机获得的图像重映射至圆孔支撑平面上，并进行双目图像融合。由于二次曲线的切点切线关系经过平面单应变换后仍能保持相切关系，在双目融合图像中使用Nelder-Mead算法对孔轴间虚拟交线的几何参数进行迭代优化。实验结果表明，提出的方法可以有效收敛，优化后的虚拟交线几何参数与理论值接近，虚拟交线与圆孔轮廓可以共同反映圆孔支撑平面上的孔轴配合间隙信息，可以对装配间隙0.5 mm以下的孔轴配合进行监视。