双臂拉伸铺展皮革的方法设计与算法实现

刘书磊，任工昌，桓源，刘朋，张衡

（陕西科技大学机电工程学院，陕西 西安 710021）

引言

皮革在日常生活中的使用十分广泛，但其加工工艺却十分复杂，需要大量的人工劳动力[1]。近年来，随着劳动力的短缺，制革行业的成本不断上升，同时在环保压力、政策调整和国际市场变化等复杂因素的影响下，制革行业的发展也进入了比较困难的时期，国内外的制革企业均面临着严峻的挑战[2]。在制革装备方面，经过多年的发展，已形成自动化制革流水线，一定程度上降低了人工劳动的强度。随着人工智能技术的发展，制革装备的智能化也成为未来发展的必然趋势[3]。皮革属于非规整几何图形柔软物，在工序中形态随机分布，现有的设备无法实现对皮革的拉伸铺展作业，导致现阶段在各工序之间皮革搬运铺展还需要人工完成[4]。因此，解决皮革拉伸铺展问题是制革装备智能化的关键问题。

针对几何图形柔软物的拉伸铺展作业的智能化操作问题，国内外学者做过部分研究。Osawa 等人[5]提出了通过交替重新抓握衣服并使用双机械手达到展开衣服的目的。通过两个机械手交替地重新规划最低点，将衣物扩展开来。这种方法优点在于能够方便地展开衣服，方法十分简单，而缺点就是存在衣服没有完全展开的可能性，会出现衣服的折叠。

Sahari 等人[6]设计了一个特殊的抓手，它可以平滑地跟踪边缘，还可以进行织物检索。他们提出了一种独特的毛巾摊铺跟踪方法，该方法使用两个配备有传感器的手爪，手爪的指尖带有滚动机构。通过跟踪毛巾的边缘，机器人的运动基于传感器的反馈，将使手爪对织物的操作更加灵活。然而，该方法只能适用于边缘规则的柔软物，无法适应非规整几何图形的柔软物。

为了克服现有方法的局限性，本文提出了通过两次图像处理将皮革完全展开的方法。在视觉传感器获得需要抓取皮革图像信息的基础上，首先通过Harris 角点检测算法[7]获取皮革的角点，然后根据检测到的角点信息抓取皮革的两个角点并将皮革初步铺展在绷板上，最后根据皮革正反面的颜色差异展开重叠部分的皮革，实现皮革的完全铺展。

由于皮革属于非规整几何图形柔软物，空间形态多变，因此难以准确识别或拉伸铺展。通常情况下，悬挂皮革的最低点是一个角点，由此，本文通过运动规划使两个机械手交替抓取最低点，将皮革进行初步展开，再根据折叠和铺展区域的颜色差异将皮革完全展开，其具体步骤如下：

（i）首先抓住皮革的中部任意一点，记为抓取点1，上下摇动使得皮革在重力作用下舒展，如图1（a）所示；

（ii）检查悬挂的皮革最低点是否出现重叠现象；

（iii）利用视觉传感器获取皮革图像，进行图像预处理和Harris 角点检测得到皮革的边缘角点；

（iv）计算抓取点1 与所检测到的所有角点的距离，得到距离抓取点1 最远的角点，记为最低角点；

（v）然后抓住第一个最低角点，记为抓取点2。随后，抓取点 1 松开，如图 1（b）所示。根据（iii）所述操作得到新的角点，并计算抓取点2 到新角点的距离，距离抓取点2 最远的角点，记为新的最低角点，最后抓取新的最低角点，记为抓取点3。当抓取两个角点后，在前后面中一定存在颜色差异，如图1（c）所示，所以需要视觉传感器[8]进行前后面的识别，将出现颜色差异的一面朝上，没有出现颜色差异的一面朝下。

图1 皮革抓取过程示意图Fig. 1 Schematic diagram of leather grabbing process

（vi）通过两个角点将皮革初步铺展在绷展板上，利用视觉传感器获取皮革图像，进行图像的预处理，不断调节阈值，使得皮革重叠面积的灰度区别于其他区域。

（vii）在重叠面积处使用骨架法，计算骨架端点到折叠边缘最远距离，通过机械手抓取最远的端点，使得皮革完全展开皮革。

1 算法设计

1.1 皮革角点的算法设计

皮革是一种非规整几何图形柔软物，其拉伸铺展的难度较大，由此本文采取两次图像处理的方法，使得皮革完全展开在绷板上，第一次图像处理基本流程如图2 所示。

图2 第一次图像处理流程图Fig. 2 Flow chart of the first image processing

首先通过视觉传感器获取皮革图像，进行直方图均衡化，将皮革图像的直方图分布通过累积分布函数变成近似均匀分布，从而增强皮革图像的对比度。为了将皮革原图像的亮度范围进行扩展，利用一个映射函数将原图像的像素值均衡映射到新直方图中。由于图像由一个个像素点组成，图像直方图均衡化是通过离散形式的累积分布函数求解的，其映射函数如式（1）：

在图像直方图均衡化后进行图像的滤波处理，在自然灯光环境下使用相机采集的皮革图像。为了避免由于拍摄振动、传输信号不稳定等实际因素而产生噪声，本文采取了高斯滤波处理[9]。高斯滤波是一种线性平滑滤波，可以有效消除高斯噪声，广泛应用于图像处理的减噪过程，其对整幅图像内除边缘外的所有像素进行加权平均，使每一个像素灰度值都由像素本身与其邻域内像素灰度值的加权平均来获取。高斯滤波器是根据高斯函数的形状来选择权值（模板内核系数）的线性平滑滤波器，存在一维和二维两种分布方式，本文使用二维零均值离散高斯函数作为平滑滤波器进行图像处理，二维高斯函数如式（2）：

高斯滤波器内核模板大小主要取决于高斯函数的标准差σ。标准差σ决定了函数形状，也直接决定模板内核的离散程度。如果σ越小，那么对应的模板中心系数越大，而邻域系数越小，对图像的平滑效果就越小，当σ降到0 时等同于没有使用滤波；相反，σ越大，则对应的模板的中心系数和邻域系数相差就会减小，而当σ无限大时，其实就变成了均值滤波。

在这之后进行了二值化处理，将灰度图像[10]转换成二值图像。把大于某个临界灰度值的像素灰度设为灰度极大值255，把小于该值的像素灰度设为灰度极小值0，从而实现二值化。所以首先选取灰度值128 为阈值，使用固定阈值的二值化处理，观察皮革图像的分割效果。得出两组由灰度值小于128和大于等于128 的像素组成的像素群，做出两组像素群的高斯分布，通过观察正态分布曲线和多次调试，最终选择合适的阈值。

由于皮革的边缘存在许多的毛刺，这些毛刺严重影响着图像的后续处理，所以要对图像进行边缘处理。该过程使用了边界平滑处理的方法，同时删除皮革二值图像中的小面积白色对象，之后进行图像的闭运算，先膨胀再腐蚀。该过程先创建一个结构元素，用于测试输出图像，结构元素通常要比待处理的图像小的多。本文使用平面圆盘形结构元素来消除皮革的边界点，使边界向内部收缩，以消除面积小且无意义的图像。然后，使用填充图像来填充皮革图像的空洞区域。最后，针对处理后的皮革图像，进行角点检测，识别获取皮革的角点，通过两个角点初步将皮革展开在绷板上，为后续工作做准备。

1.2 皮革展开重叠部分的算法设计

皮革初步展开在绷板上会出现一定面积的重叠，所以需要进行第二次的图像处理来展开重叠面积，其图像处理的基本流程如图3 所示。

图3 第二次图像处理流程图Fig. 3 Flow chart of the second image processing

首先利用视觉传感器获取绷板上的皮革图像，进行上述的对比度分析、图像二值化处理和边缘处理。针对重叠面积，利用皮革正反面的颜色差异，通过阈值调节的方法来进行识别。采用灰度阈值变换将皮革图像转换成黑白二值图像，指定一个起到分界线作用的灰度值，因为皮革正反面存在差异，会使得皮革颜色较深的一面被识别出来。在进行上述图像处理之后，运用骨架法来获取重叠部分皮革的端点。首先，通过形态学骨架法，将已处理过的皮革图像骨架化，再由骨架化后的皮革图像建立相应的骨架矩阵，运用端点和交叉点模型遍历骨架矩阵，得到皮革重叠部分图像骨架化后的端点。

在形态学骨架原理中[11]，设G 为空间Z2 中的连续二值图像，其骨架表示为S(G)，z 是二值图像G 中的一个点，D(Z)2 为二值图像G 中以z 为圆心的一个最大的圆盘，即D(Z)2 圆盘中所有像元必须是目标区域G 中的像元，不能超出G 的范围，且圆盘在2 个或多个不同位置与G 边界接触。骨架信息S(G)可以用腐蚀及开运算处理，为所有骨架子集Sn(G)的并，表示为式（3）：

其中，Sn(G)是G 的第n个骨架子集，表示为式（4）：

边界上所有点集合为B，°为开运算，(G⊖B)表示对于二值图像G 连续进行k次腐蚀运算，表示为式（5）：

可以将k理解成对于边界向内部进行k次膨胀运算，k值的定义是在二值图像G 被连续腐蚀后最后一次迭代结果不为空集的条件下，连续腐蚀运算的最大值。形态学骨架法利用腐蚀运算规避了二值化带来的负面影响，在保留图像原有信息的基础上能够准确的提取骨架信息。

2 实验仿真

2.1 皮革初步展开

在观察了大量加工中的皮革后发现，虽然皮革的形状存在差异，边缘不规则，但是皮革整体呈现一定的规律，如图4 所示。为便于研究，利用如图4所示的皮革进行实验。

图4 皮革理想化示意图Fig. 4 Schematic diagram of leather idealization

机械手通过任意一点抓取皮革后，皮革处于自然垂落的状态，如图 5（a）。接着，利用视觉传感器获取皮革的图像，进行图像的预处理，获得皮革边缘的轮廓，如图 5（b）。然后进行角点检测得到皮革图像的边缘角点。本文使用的是Harris 角点检测算法，获得皮革最低的一个边缘角点，通过另一个机械手抓取该角点。如图5（c），其中“o”代表边缘的角点，“口”代表皮革最低的角点，即机械手抓取的角点。

图5 第一次角点检测示意图Fig. 5 Schematic diagram of the first corner detection

机械手抓取最低角点后，另一只机械手松开，使得皮革又重新处于自然垂落的状态，如图6（a）所示。然后，利用视觉传感器重新获取自然垂落状态下的皮革图像，再一次进行图像预处理，得到皮革边缘图像，如图6（b）所示。最后，利用角点检测得到最低角点，获得图6（c）的角点，两只机械手抓取两个角点得到初步展开的皮革。

图6 第二次角点检测示意图Fig. 6 Schematic diagram of the second corner detection

2.2 皮革完全展开

经过初步展开后，绷板上的皮革会出现如图7（a）所示部分面积重叠的情况，调节阈值设为4.5，使得皮革重叠部分的灰度区别于其他部分的灰度，图像处理之后得到如图7（b）的皮革图像，可以看出重叠部分的颜色要比其他部分会深很多，然后在重叠面积处利用上述的骨架法找出皮革距离左边折叠线最远的点，如图 7（c）和 7（d），其中图 7（d）中的“*”代表距离左端折叠线最远的点。通过机械手抓取该点进而完全展开皮革，皮革完全展开如图7(e)所示。

图7 皮革完全展开图像处理示意图Fig.7 Schematic diagram of fully unfolded leather image processing

2.3 皮革展开实验

根据以上设计的算法，搭建实验台，其中包括Aubo-i5 机械臂、摄像头等，如图8 所示。在已搭建好的试验台上，根据铺展方式分析中的抓取步骤进行皮革抓取实验，如图9 所示。

图8 实验台示意图Fig. 8 Schematic diagram of test bench

图9 皮革抓取流程示意图Fig. 9 Schematic diagram of leather grabbing process

3 总结

机器人在工业生产过程中应用越来越广泛，而机器视觉在其中具有至关重要的作用，选取合适的算法对机器人的视觉识别无疑是非常重要的。针对皮革这种非规整几何图形柔软物的特点，本文提出了将角点检测算法和骨架法相结合的方法，通过两次图像处理，实现了皮革的完全展开。实验仿真表明，利用本文铺展皮革的方法原理简单、操作方便，与一些传统的抓取规整几何图形柔软物相比，本文方法应用范围更加广泛，能够满足非规整几何图形柔软物拉伸铺展的要求。