面向软面料自主抓取的机器人视觉检测与定位

(1.广州民航职业技术学院 航空港管理学院，广州 510403; 2.广东食品药品职业学院 化妆品与艺术学院，广州 510520)

0 引言

随着国家人口红利的消失，制造业面临着高额人力成本和用工短缺的问题日益突出。另一方面，高速度、高精度、多样化和个性化的生产需求，对工业智能化程度的要求越来越高。传统的服装行业是典型的劳动密集型产业，用工成本在企业的运营成本中占比极高，让诸多服装生产企业不堪重负，因此企业对服装智能制造寄予厚望。

虽然现代服装业的个性化和定制化发展趋势对员工的技能和经验水平要求越来越高，但是“打板、裁剪、贴片和缝制”等重复性工序仍然是服装生产的必要环节，其中，裁剪和缝制是核心工序。在传统生产方式中，这些工序是对人力需求比较密集的环节，为“机器换人”提供了良好的契机。例如：裁剪、缝制等工序的上、下料操作均由人工完成，生产效率低下。若引入服装机器人替代人工进行软面料的自主上下料，必将极大地提高服装流水线的生产效率和节约用工成本。

目前围绕服装智能生产的研究内容主要集中在服装的尺寸测量、模板缝纫及裁剪、分割领域。比如：文献[1-5]提出了基于机器视觉的服装尺寸自动测量方法，解决了传统人工测量带来的误差率高、成本高和效率低等问题；文献[6-7]提出了基于机器识别的自动服装模板缝纫技术，提高了服装作业的流水化、标准化和高效化，降低了服装厂对熟练工的依赖性；文献[8]提出了服饰图案的机器视觉自动寻边切割技术，实现了对异形满版服饰图案的自动寻边切割；文献[9]对服装布料自动裁剪机器人系统进行了研究,分析了自动裁剪的各种技术；文献[10]介绍了一种面向服装领域的模特机器人的设计方法，有效地实现了模特机器人与人体的匹配；文献[11]提出了一种基于改进遗传算法的服装自动缝纫最优路径选择算法，降低了不规则服装存在的路径冲突概率。

在目标的识别与抓取操作方面，当前已有较多的文献成果，但是大多是以刚性物体为研究对象。针对柔软的服装面料进行视觉检测与定位、进而引导机器人抓取和分拣的研究尚未发现。由于服装面料过于柔软的特性，给识别、定位以及抓取都带来了较大的难度。针对上述问题，本文提出一种基于双重滤波的自适应边缘定位方法，该方法不仅具有良好的有效性，而且针对不同形态的软面料具有良好的鲁棒性。本文的贡献如下：

(1)首次将工业机器人上下料系统引入服装制造行业，对提升服装智能化生产水平具有良好的应用价值。

(2)提出一种基于双重滤波的自适应边缘定位方法，解决了由于软面料由于毛刺、褶皱、折叠、模糊等因素造成的定位不准确的问题，为服装机器人自主抓取与分拣操作提供了应用依据。

1 软面料检测与定位

本节将详细阐述软面料边缘定位方法的实现过程。首先描述了服装机器人自主上下料系统的工作场景，并对服装软面料的毛刺、褶皱、折叠、模糊等不同形态进行了定量和定性分析，在此基础上，提出了基于双重滤波的自适应边缘定位方法，方法的具体实现过程如下所述。

1.1 服装机器人自主上下料系统

上、下料操作存在于服装制造各工序中，新兴工业时代，上下料机器人能满足“快速/大批量加工节拍”、“节省人力成本”、“提高生产效率”等要求，成为越来越多工厂的理想选择。上下料机器人系统具有高效率和高稳定性,结构简单更易于维护,可以满足不同种类产品的生产,对用户来说,可以很快进行产品结构的调整和扩大产能,并且可以大大降低产业工人的劳动强度。

服装机器人自主上下料系统代替人工实现各工序中上、下料操作。由本系统将软面料从AGV小车搬运至传送带，软面料完成加工后，再由本系统将软面料从传送带搬运至AGV小车。服装机器人自主上下料系统如图1所示。

图1 服装机器人上下料系统工作示意图

服装机器人自主上下料系统需要解决两个核心问题：软面料的视觉定位和抓取，本文重点研究软面料视觉定位问题。

1.2 基于双重滤波的自适应边缘定位方法

本节首先阐述基于双重滤波的自适应边缘定位方法过程：(1)降噪处理。采用高斯滤波+形态学滤波对灰度图像进行平滑操作，有效对软面料毛刺、模糊等噪声进行了降噪；(2)边缘提取。为了使方法能够自动适应不同灰度图像，采用基于边缘梯度信息自动计算高低阈值取代传统Canny算子的固定阈值并完成边缘检测；为提高图像边缘的连续性，对边缘检测的图像再次使用形态学滤波并提取外边缘轮廓；最后结合摄像机标定结果，实现软面料边缘像素坐标系到三维空间坐标的转换。基于双重滤波的自适应边缘定位方法的实现流程如图2所示。

图2 基于双重滤波的自适应边缘定位流程

1.2.1 降噪处理

由于服装软面料的特殊性，在加工软面料过程中易出现毛刺、褶皱、折叠等形态噪声，本方法采用高斯滤波对褶皱、折叠噪声进行降噪。高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的降噪过程，即高斯滤波对整幅图像进行加权平均，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。高斯滤波的定义如式(1)所示。

(1)

其中：g(x,y)为高斯滤波图像，A为幅值，(x0,y0)模板中心点坐标(实验中采用13×13模板)，σx,σy为分别为x、y方向上的方差。

软面料的边缘毛刺易导致检测的图像边缘不连续，本方法采用形态学滤波对毛刺噪声进行降噪，以提高边缘检测的拟合度。形态学滤波是由一组形态学的代数运算子组成的，它的基本运算有4个：膨胀、腐蚀、开运算和闭运算，它们在二值图像和灰度图像中各有特点。基于这些基本运算还可推导和组合成各种数学形态学实用算法，用它们可以进行图像形状和结构的分析及处理，包括图像分割、特征抽取、边缘检测、 图像滤波、图像增强和恢复等。

1.2.2 边缘提取

边缘是指周围像素灰度有阶跃变化或屋顶变化的那些像素的集合。边缘检测主要是灰度变化的度量、检测和定位。有很多种不同的边缘检测方法，同一种方法使用的滤波器也不尽相同。边缘检测的基本思想：(1)利用边缘增强算子，突出图像中的局部边缘，(2)定义象素的“边缘强度”，通过设置阈值的方法提取边缘点集。常用的边缘检测算子有微分算子、拉普拉斯高斯算子和canny算子。Canny边缘检测是从不同视觉对象中提取有用的结构信息并大大减少要处理的数据量的一种技术，是目前应用最为广泛的边缘检测算法。

服装软面料的颜色、纹理丰富多样，采用传统的固定阈值Canny算子进行边缘检测难以自适应于不同颜色、纹理软面料图像。本方法采用一种基于Canny算子的自适应边缘检测方法，方法首先将整幅图像分割为若干子图像，并计算各子图像的边缘梯度信息，然后结合全局边缘梯度特征信息自适应地生成动态阈值，提高了边缘检测的自动化程度，其计算过程如式(2)、(3)所示。

THigh=(1-U)TH+UTh

(2)

TLow=(1-U)TL+UTl

(3)

其中：TH和Th为整幅图像的全局高、低阈值，TL和Tl为子图像的局部高、低阈值，U为阈值调整率(实验中U=0.3)，THigh和TLow为最终确定的高、低阈值。

通过自适应阈值Canny算子对图像完成边缘检测后，根据边缘轮廓面积大小筛选，保留最大面积的边缘轮廓，完成图像外边缘提取。

1.2.3 摄像机标定与边缘定位

在边缘提取的基础上，边缘定位过程将图像边缘像素坐标转换成三维空间坐标，以便机器人能够准确抓取目标对象。边缘定位主要包括边缘坐标提取、摄像机标定和坐标转换。

(1)边缘坐标提取。本方法通过获取图像边缘的轮廓矩信息，计算软面料边缘图像的质心坐标，并以该质心坐标代表服装软面料的位置。轮廓是一个很好的图像目标的外部特征，这种特征对于我们进行图像分析，目标识别和理解等更深层次的处理都有很重要的意义。轮廓提取指提取图像中的对象边界，更偏向于关注上层语义对象，它会得到每一个轮廓并以点向量方式存储，除此也得到一个图像的拓扑信息，即一个轮廓的后一个轮廓、前一个轮廓、父轮廓和内嵌轮廓的索引编号。在提取到目标对象的轮廓后，以包含该轮廓的最大外切矩形即为相应的轮廓矩。

(2)摄像机标定。本方法采用两步标定法进行摄像机标定。两步法是基于径向校正约束(RAC. Radial Alignment Constraint)的标定法，先利用直接线性变换方法或透视投影变换矩阵求解摄像机参数，然后以求得的参数作为初始值，考虑摄像机畸变因素，利用非线性优化方法进一步提高标定的精确度。基于径向校正约束(RAC)的两步标定法的第一步是用最小二乘法求解线性方程组，得出摄像机外部参数；第二步求解摄像机内部参数。

相机标定采用角点数为6×4、方格尺寸大小为20×20 mm的黑白棋盘格作为标定模板，摄像机标定结果如表1所示。其中，fu、fv为相机的焦距，u0、v0为相机成像原点，R、T分别为旋转矩阵和平移矩阵。

根据式(4)进行矩阵变换、计算后，得到软面料边缘像素点坐标(u，v)对应的三维空间坐标(Xw，Yw，Zw)。

(4)

2 实验验证

2.1 实验平台及数据集

本实验采用丹麦Universal Robots公司研发的UR3机器人+拓德公司生产的末端执行器作为研究平台。Universal Robots生产的工业机器人手臂一向以编程的简易性、以及与人类一起工作的协作性和安全可靠性享誉业内。随着UR3的推出，Universal Robots将其独特的技术扩展到了更多的应用领域，同时可立即受益于机器人装配和生产自动化的企业的数量和类型也大大增加。这样，该公司也大大拓宽了其目标市场范围，它们易于使用、性能卓越、价格实惠，且无需安全防护即可与人们近距离一起工作，每个人都能从中获益。

一台高清工业摄像机固定在上方，摄像视野涵盖UR3机器人、布料及运输布料的工具车。在服装生产过程中，纯白色、无纹理布料使用的非常少，因此，在实验过程中，为增加布料和背景的区分度、有利于布料图像边缘提取，放置布料的平面均为纯白色。

为验证基于双重滤波的自适应边缘定位方法的有效性和鲁棒性，本实验采用了两个数据集：(1)数据集I来源于佛山某知名服装工厂随机拍摄1000幅布料图像(格式：jpg，分辨率：1024像素×768像素，以如图3所示的3幅图像为例)，它们在大小、形状、颜色、纹理等方面都不尽相同，用于测试方法的有效性和鲁棒性。(2)数据集II来源于人工实地挑选的一批带有毛刺、褶皱、重叠和模糊等表征的布料，用于进一步测试方法的鲁棒性，如图4所示。

图3 数据集I：不同大小、形状、颜色、纹理的布料

图4 数据集II：同一布料的4种形态

数据集I将用于测试利用基于双重滤波的自适应边缘定位方法检测与人工检测的吻合度，以验证该方法的有效性和准确率。准确率定义为检测得到边缘轮廓和对应版型边缘轮廓的相似度，如式(5)所示，边缘检测准确率≥96%视为有效检测，以质心坐标代表软面料定位。数据集II将用于进一步检测该方法的有效性及鲁棒性。

(5)

2.2 有效性验证

针对数据集I，利用本文提出的方法进行边缘检测、定位，然后通过人工检测评判本方法的有效性和准确率。实验参数为：高斯滤波内核大小13×13，形态学滤波卷积核的大小5×5，Canny算子中的Sobel孔径大小为3、双阈值自动确定。方法分别对图3(a)、图3(b)、图3(c)进行边缘检测、定位，运行效果如图6所示，准确率如表2所示。

图5 数据集I的边缘检测、定位

表2 数据集I的准确率

定性分析：以上实验验证结果表明针对不同大小、形状、颜色、纹理的布料，应用本文提出的方法进行检测的准确率均超过了96%，说明本文提出的边缘定位方法和人工检测结果高度吻合，能够准确提取、定位服装机器人所采集布料图像。

2.3 鲁棒性验证

针对数据集II，进一步验证方法的有效性及鲁棒性。实验参数与上小节相同。方法分别对图5所示的毛刺、褶皱、折叠及模糊形态进行边缘检测、定位，效果如图6所示，准确率如表3所示。

图6 4种形态的边缘检测、定位

表3 数据集II的准确率

定性分析：以上实验验证说明，针对毛刺、褶皱、折叠及模糊4种常见形态，应用本文提出的边缘检测、定位方法进行检测的准确率也超过了96%，说明该方法具有良好的鲁棒性。另外，毛刺对边缘提取的影响较大，该方法能较好的解决这一问题。

2.4 方法效果对比

将本文方法(Proposal)和Sobel、Canny算法对数据集I和数据集II进行边缘检测、定位效果对比实验，对于图像边缘较平滑、形状较规则的图像，Sobel、Canny算法边缘定位的准确率比较高，但仍然低于96%。另外，Sobel和Canny算法针对布料4种不同形态的边缘定位的效果很差，尤其是针对毛刺形态，说明Sobel、Canny算法的鲁棒性很差。通过和Sobel、Canny算法对数据集I和数据集II边缘定位的对比，进一步证明了本文方法的有效性和鲁棒性。

3 结束语

本文以UR3机器人为研究平台对“服装机器人自主上下料系统的软面料视觉定位问题”进行了研究，提出了一种基于双重滤波的自适应边缘定位方法。该方法针对不同颜色、纹理的软面料，能够准确实现边缘定位，并对软面料的毛刺、褶皱、折叠和模糊这4种常见形态具有很好的鲁棒性，为引导机械手抓取提供了有效的计算依据。下一步将该方法集成到机器人自主上下料系统中，对整个系统的工作性能做全面测试和评估。