基于计算机视觉技术的皮革边缘抓取点的定位

陈传旗 ，张辉 ，强西怀 ，2＊，樊小蒲

（1.陕西科技大学轻工科学与工程学院，陕西 西安 710021；2.轻化工程国家级实验教学示范中心，陕西 西安 710021；3.陕西科技大学机电工程学院，陕西 西安 710021）

我国是全球皮革的主要生产加工国，在皮革加工过程中绷板干燥是不可或缺的工序[1]。传统的皮革绷板主要采用人工方式将皮革固定在绷板框上，由伸缩气缸进行拉伸，这种绷板方式不仅效率低，而且工人劳动强度大[2]。目前国外已有皮革自动绷板机械，这种绷板机主要通过安装在绷板框支撑座的光电传感器检测皮革边缘抓取点位置，将获得的位置信息通过控制器传输给电机，驱动夹钳实现皮革自动绷板，但是由于皮革大小、形状和摆放位置各不相同，使得该设备在抓取皮革时精度较低，容易产生脱抓或抓取距离过长。因此，实现皮革边缘抓取点的准确定位是皮革自动绷板的关键。

随着计算机技术的快速发展，计算机视觉已经广泛应用于皮革加工领域[3-6]。Taglio 公司在皮革裁剪系统中加入扫描仪，实现皮革缺陷检测；Gerber 公司在皮革裁剪系统中加入CCD 相机，在检测皮革缺陷的同时提高了裁剪效率；Lectra 公司在皮革裁床中引入视觉检测，实现了对皮革的分类[7]。近年来，基于计算机视觉的目标定位逐渐成为研究热点[8-9]。Ji等[10]提出了一种苹果识别定位的方法，通过对苹果图像进行预处理，利用支持向量机实现苹果目标定位。Meng 等[11]利用边缘检测算法提取目标物与图像背景间的边界线来检测目标，采用Canny 算子和霍夫变换对目标轮廓进行检测，实现对果实的精确识别定位。李致金等[12]对采集的图像进行预处理，采用主轴法对工件轮廓进行识别，计算出工件的矢量位置。王丹丹等[13]首先利用K-mean 聚类算法得到苹果轮廓，通过去噪、平滑处理，利用转动惯量法提取目标对称轴，实现目标的二维定位。

基于此，本文利用计算机视觉技术，通过对相机进行标定、图像预处理、结合坐标系转换和轮廓点—质心角度算法，获取皮革边缘抓取点的位置，以期实现更加准确的定位。

1 皮革自动绷板及视觉定位原理

本文研究主要应用于皮革自动绷板装置，其绷板部分夹钳运动示意图如图1 所示，其特点是夹钳与绷板框中心成固定角度沿直线往复运动，因此要实现皮革的准确夹取，需要准确定位皮革边缘抓取点位置。

图1 绷板夹钳运动示意图Fig.1 Toggling gripper movement diagram

基于计算机视觉技术的皮革边缘抓取点的定位原理如图2 所示，首先对相机进行标定，然后将采集的图像传入计算机（PC），其次对采集的图像进行预处理，提取图像轮廓和质心坐标，最后通过坐标系转换和轮廓点—质心角度算法筛选出边缘抓取点，并计算抓取点到质心的实际距离，实现对皮革边缘抓取点的准确定位。

图2 皮革边缘抓取点定位原理Fig.2 Principle of leather-edge target gripping point location

2 皮革边缘抓取点定位

2.1 相机定位

针对皮革自动绷板的视觉检测应用要求，采用棋盘格标定方法，选用镜头畸变小的CMOS 相机，图像采集过程固定物距和焦距，在标定处理中不需要标定相机的内外参数。采用方格尺寸为30 mm 的棋盘格，通过Harris 角点检测算法提取棋盘格像素角点坐标计算像素实际长度，即像素精度，计算公式（1）为：

式中，L为棋盘格角点实际长度，单位为mm；△T为图像中角点像素距离，单位为pixel，K为像素精度，单位为mm/pixel。同时，为了最大限度消除标定过程引入的随机误差和镜头畸变引起的物理误差，采用多次求解平均值的方法求解。

2.2 图像预处理

图像在采集过程中，由于受到光照强度、现场环境等因素的影响，图像中存在噪声等干扰信息，为了增强图像质量，突出目标特征信息，需要对原图像进行预处理，处理流程如图3 所示。

图3 图像预处理Fig.3 Image pre-processing

2.2.1 灰度化

相机采集到的图像为彩色图像，彩色图像和灰度图像具有相同的特征描述，因此将原图像转化为灰度图，可以降低后续图像处理的计算量，减少图像处理时间，并且不会丢失图像的形态特征。

2.2.2 图像滤波

图像在采集过程中，受到采集设备和信号传输通道的影响，会产生不同程度的图像噪声干扰，因此必须选择合适的滤波器进行降噪。中值滤波属于非线性滤波，在处理图像时可以很好地抑制脉冲噪声，并且保持图像的边缘细节。中值滤波计算公式（2）为：

式中，h(x,y)为输出图像，f(x,y)为输入图像，s为滤波器模板。

2.2.3 阈值分割

图像采集装置收集到的皮革图像中通常含有大量无关信息，要剔除目标以外的无关信息需利用阈值分割算法。Otsu 阈值分割算法通过遍历搜寻所有灰度级的类间方差求解最优阈值，进而将图像中的像素分为两类。Otsu 算法具有简单、高效、鲁棒性强的特点，被广泛应用于皮革图像分割[14]。计算公式（3）为：

式中，f(x,y)为输出像素，g(x,y)为输入像素，t为最优阈值。

2.2.4 形态学处理

图像经阈值分割后的二值图像受本身图像特性和噪声的影响，可能出现毛边、断线等缺陷，形态学操作可以通过分割独立图像元素和连接相邻元素来处理这些缺陷。膨胀和腐蚀是构成许多形态学算法的基础，其中开运算是先腐蚀后膨胀的过程，可以平滑图像轮廓，并消除图像中存在的细小突出物；闭运算可以去除细小的孔洞，连接相邻的间隔平滑轮廓。定义如式（4）：

式中，·为腐蚀运算，⊕为膨胀运算，AoB 为开运算，A·B 为闭运算。针对皮革二值化图像缺陷特点选择形态学开运算，该运算可以去除图像中一部分孤立元素，消除毛刺，并使图像轮廓变平滑。

2.2.5 轮廓提取

经过形态学处理后的二值化图像单像素轮廓的提取，主要是通过掏空图像内部点得到图像轮廓，即将二值化图像目标颜色中的一点和其相邻的8 个点进行比较，若全部相同则将该点置为背景颜色[15]。

通过掏空内部点得到的图像边界轮廓采用链码跟踪的方法，如图4 所示，将轮廓信息以序列的形式存储起来，以便于后续的处理。基本原理是：首先按照从左到右、从下到上的顺序遍历图像的所有像素点，找到最左下方的边界点，将该点记作初始点，按方向链码的顺序扫描与当前点相邻的8 邻域，如此往复，直至返回初始点[16]。算法原理如图5 所示。

图4 八方向链码Fig.4 Eight directional chain code

图5 边界追踪原理Fig.5 Boundary tracking principle

2.3 边缘抓取点的定位

由上文可知，图像经过预处理后，已经提取到图像的单像素轮廓，因此可以计算得到图像最外层轮廓质心，利用坐标系变换将图像轮廓坐标转换到以质心为原点的坐标系，通过轮廓点—质心角度公式和归一化公式筛选出目标抓取点，最后利用两点距离公式计算目标抓取点到质心的实际距离，其实现过程如图6 所示。

图6 坐标系转换及边缘抓取点提取过程Fig.6 Coordinate system conversion and target gripping point extraction process

具体流程如下所述：

（1）最外层轮廓质心提取。

原始图像经过图像预处理后，得到连续的最外层轮廓图像f(x,y)，可以利用图像的零阶几何矩和一阶几何矩确定最外层轮廓的质心坐标。计算公式为式（5）：

式中，(x0,y0)为质心坐标。

（2）坐标系变换。

图像坐标系的原点位于图像的左上角，通过坐标系变换和原点平移，建立以绷板框最外层轮廓质心为原点的坐标系，并将皮革轮廓映射到该坐标系。映射关系为式（6）：

式中，(ui,vi)为原图像坐标系的坐标，(x0,y0)绷板框为最外层轮廓质心坐标。

（3）轮廓点—质心角度计算及其归一化。

设坐标系变换平移以后皮革轮廓上点的坐标为Gi(x,y)，可由反正切函数计算得到皮革轮廓上各点与x轴正向的夹角θi。计算公式为式（7）：

式中，由于反正切函数的值域为(-π/2,π/2)，而θi的取值范围为(0,2π)，因此需要进行归一化，计算公式为式（8）：

（4）抓取点的定位

皮革图像轮廓为单像素轮廓，轮廓上的每一个点都对应一个角度值，通过遍历θ的取值，提取最接近目标角度所对应的轮廓唯一坐标点(x,y)，然后将图像坐标原点平移到原来的位置，并进行坐标系反变换，最后计算得到目标角度对应坐标点在原图像的坐标。反变换方法为式（9）：

式中，(ui,vi)为原图像坐标系的坐标，(x0,y0)为绷板框最外层轮廓质心坐标。利用两点距离公式可以计算出目标点和最外层轮廓质心的像素距离，结合上文利用棋盘格标定法对相机进行标定，得到的像素精度K，可求解出边缘抓取点与最外层轮廓质心的实际距离。

3 仿真结果分析

为了验证本研究提出的基于计算机视觉的皮革边缘目标抓取点定位方法的有效性和准确性，使用USB 免驱动CMOS 摄像头作为图像采集设备，采集时距离目标固定距离约为0.9 米，利用白色边框模拟皮革绷板框，皮革放置在绷板框内，所有采集图像均为JPEG 格式，640×480 pixel。实验过程均在Visual Studio Code 编程环境下，运用Python 语言结合OpenCV 3.9.7 开源视觉库开发，实验过程均在Intel Core i5 处理器 2.5GHz、内存 8GB、Window 10 64 位操作系统的PC 机上完成。

本研究所采用的边缘抓取点定位方法，理论上可以满足任意数量夹钳抓取点的定位，而在实际中皮革自动绷板机夹钳的数量是根据客户需求进行定制，因此本文主要以间隔30 度角安装的12 个数量夹钳的自动绷板机作为研究对象。皮革边缘抓取点的真实位置是实验者通过观测并借助测量工具获得，抓取点位置主要是由角度位置和距离位置两部分组成，因此定位误差主要分为角度误差和距离误差。角度误差即抓取点所在角度方向与真实角度方向的误差，距离误差即所获得的抓取点与最外层轮廓质心的距离与两点真实距离的误差。

试验的主要步骤如下：

（1）搭建图像采集装置，运用棋盘格对相机进行标定，计算得到像素精度。

（2）利用标定后的相机对图像进行采集，将采集到的图像进行预处理，得到图像的单像素轮廓。

（3）提取最外层轮廓质心，并利用坐标系变换和轮廓点—质心角度算法筛选出目标角度轮廓坐标点。

（4）利用坐标系反变换和两点距离公式，计算得到目标抓取点和最外层轮廓质心的距离。

对测试图像进行边缘抓取点定位结果如图7所示。其中，图7a 为利用Harris 角点检测算法提取的棋盘格角点坐标，通过计算相邻两点坐标求平均值，像素精度为0.624 mm/pixel；图7b 为原始图像；图7d 为图7c 经中值滤波后的图像，选用3×3 内核模板；形态学处理图像时，内核的形状对图像的处理结果差距较大，矩形内核能最好地弥合较大间隔的目标、消除内部孔洞和平滑边缘，故本文选择内核为3×3 的矩形内核的结构元素对图像进行处理；图7g 为提取的图像最外层轮廓和皮革单像素轮廓。利用本研究方法进行边缘抓取点的定位结果如图7h 所示，定位点基本准确。

图7 边缘抓取点定位Fig.7 Targeted gripping point location

针对自动绷板过程中，皮革大小、形状和摆放位置的不同，所采用的方法可以实现对皮革边缘抓取点的准确定位，其效果如图8 所示。

图8 形状不规则和摆放位置不固定皮革边缘抓取点定位Fig.8 Irregularly shaped and irregularly positioned leather edge gripping point positioning

为了进一步定量、准确地分析本研究方法对皮革边缘抓取点的定位效果，选取20 张大小、形状不同的皮革，在不同的摆放位置采集40 张图像。通过处理40 幅图像得到角度误差、距离误差和运行时间数据。本研究对皮革边缘抓取点的定位效果，从定位精度上来看，由图9a 可知，平均角度误差为0.16°，角度误差的波动范围为[0.05°,0.4°]；由图 9b可知，平均距离误差为0.56 mm，距离误差的波动范围为[1.05 mm,0.3 mm]，本文方法可以满足自动绷板机的定位精度要求。从运行时间上来看，由图9c 可知，本研究方法平均运行时间为32.48 ms，可以满足皮革自动绷板机使用要求。

图9 定位误差及运行时间Fig.9 Positioning errors and running times

4 结论

（1）在皮革自动绷板过程中，利用标定后的相机采集坯革的图像信息，运用图像处理、坐标系转换和轮廓点—质心角度算法能够实现对革坯边缘抓取点的定位；（2）通过仿真实验验证，本方法对形状不规则和摆放位置不固定的坯革抓取点定位十分有效，精准度和效率都很高；（3）该技术方法对进一步实现皮革智能绷板提供了一种新的思路，在皮革绷板真实环境中，将该技术与工艺过程进行有效的耦合，还有待于进一步研究与应用。