智能服装缝制关键技术及成套装备研发

陈 罡, 金贵阳, 吴 菁, 罗 千

(1. 浙江机电职业技术学院 自动化学院, 浙江 杭州 310059; 2. 宁波大学 机械工程与力学学院, 浙江 宁波 315210; 3. 舒普智能技术股份有限公司, 浙江 宁波 315100)

服装缝制行业是典型的劳动密集型产业,人工依赖程度高,供应链周期长,长期以来面临招工难等痛点。通过引进机器人,结合视觉技术,打造高效、专用、稳定的高质量智能缝制成套装备,降低缝纫技能要求、减少人工成本、缓解招工难题、提高缝制效率和质量,是今后发展的必然趋势。本文设计了一种使用机器视觉技术引导工业机械臂完成面料的抓取、对齐、缝制,并能进行缝制轨迹规划的智能服装缝制成套装备,为提高服装行业的自动化、数字化、智能化程度提供了思路,助力服装缝制行业加速转型升级,为中国智能制造持续赋能。

缝制成套装备开发过程中,主要有以下难点:

1)工业机械臂绝对定位精度不够[1]。服装面料要达到美观的缝制效果,面料对齐精度要控制在0.2 mm以内、机械臂抓取误差要控制在0.2 mm以内。现有工业机械臂的绝对定位精度一般为毫米级,无法满足高端制造领域和服装缝制领域的精度要求。

2)轮廓提取困难[1]。面料缝制过程中,要求针、线的配合精度高,如果轮廓提取的精度不高或缺失,将影响缝制的质量。当前有些算法提取轮廓时,容易受到背景影响,易检测到错误边缘,需要对其改进。

3)机械臂与专用缝机协同控制困难。由于二者是2个独立的系统,需要做到二者精准的协同,才能完成面料的转移、对齐和复杂的缝制任务,而当前主要依靠人工示教,费时费力、灵活性低,无法保证精度。

近年来,已有不少学者针对以上关键问题进行了相关的研究工作。对于机械臂绝对定位精度不够,主要靠工业机械臂校准和误差补偿方法改进。工业机械臂校准方法有空间长度校准法、空间坐标校准法、空间姿态校准法[2];误差补偿方法有基于运动学模型的和基于非运动学模型的误差补偿方法[3-5],分别可以解决几何参数误差和非几何参数误差导致的工业机械臂绝对定位精度低的问题。对于轮廓提取算法,文献[1]比较了基于边缘算子、基于数学形态学、基于水平集的面料轮廓视觉提取算法,得出基于Canny算子的轮廓提取算法,更适用于服装面料的轮廓提取。

综合现有研究,针对智能缝制装备的研究主要以综述介绍性论文为主,泛泛介绍了相关的面料抓取技术[6]、轮廓提取技术及缝制线迹规划技术[1],并没有系统化研究缝制装备关键技术。本文结合机器视觉、工业机械臂绝对定位误差补偿、轮廓提取技术、机械臂与缝纫机同步控制等技术,系统化地研究了智能缝制装备所需的技术体系,开发出双层衣片智能缝制成套装备,并通过实际案例,分析了以上关键技术在服装缝制行业中提质增效方面的效果,有效解决该行业人工依赖程度高等问题,有助于实现服装缝制的智能化。

1 智能缝制成套装备的组成

智能缝制成套装备组成架构如图1所示,主要由机器视觉单元、控制单元和执行机构单元组成。

图1 智能缝制成套装备组成Fig. 1 Components of intelligent sewing machine

1)机器视觉单元主要包含相机和光源。缝制装备上面料后,相机和光源共同完成对面料的高质量取像。

2)控制单元由工控机和人机界面等控制元件组成,可完成缝制成套装备的实时控制。此单元是成套装备的核心,协调视觉、机械臂、缝纫机、辅助设备协同工作,并完成缝制工作。工控机接收视觉单元发送过来的面料图像,对面料进行精确定位、识别面料轮廓,据此生成面料轮廓像素坐标,并将其转换为机械臂运动轨迹,引导机械臂完成面料抓取、转移、叠放和缝制任务。人机界面包含人机交互功能和缝制生产数据管理功能。

3)执行机构单元由上下料机构、机械臂、缝纫机和辅助机构组成。根据控制单元的指令,上下料机构完成面料的上下料,机械臂完成面料的抓取、转移、叠放等动作,缝纫机完成面料的缝制工作。

2 智能缝制成套装备关键技术

2.1 机械臂绝对定位误差优化补偿技术

服装缝制成套装备的应用涉及工业机械臂的进给轨迹控制,要求较高的绝对定位精度,需要优化机械臂的绝对定位误差,才能满足缝制任务要求。在不考虑环境及动力学因素的影响,机械臂绝对定位误差主要由运动学参数的误差引起[8]。一般通过运动学建模、测量、参数辨识、误差补偿4个步骤完成误差校正[8-9]。

用于工业机械臂实际位姿的测量设备通常有激光跟踪仪、球杆仪、三坐标测量仪和拉线编码器等[10]。鉴于拉线编码器的低成本且测量结果满足精度要求,本文采用基于拉线编码器的机械臂绝对定位误差优化补偿算法。

如图2所示,取机械臂基坐标系Cb空间中任意两点P(i),P(i+1),两点的理论位置为Pt(i),Pt(i+1), 实际的测量位置为Pm(i),Pm(i+1)。设两点之间的理论距离为lt(i,i+1),实际距离为lm(i,i+1)。 则理论值与实际值的误差为

图2 基坐标系下两点距离误差Fig. 2 Two points distance error on base coordinate

Δl(i,i+1)=lm(i,i+1)-lt(i,i+1)=

[Pm(i+1)-Pm(i)]-[Pt(i+1)-Pt(i)]=

[Pm(i+1)-Pt(i+1)]-[Pm(i)-Pt(i)]=

ΔP(i+1)-ΔP(i)

(1)

式(1)表明,两点之间的距离误差可描述为两点的位置误差之差。上式两边乘理论长度得:

lt(i,i+1)·Δl(i,i+1)=[Pt(i+1)-Pt(i)]·(ΔP(i+1)-ΔP(i)),可化简为

(2)

用拉线编码器对绝对定位误差校正时,选择一端(Pbase)固定并作为基准点,通过精确定位,认为其位置误差ΔPbase不存在,即ΔPbase=0,另一端(P(i))随着机械臂末端移动,其位置误差为ΔP(i),则式2可变为:

(3)

由于缝制成套装备中的工业机械臂工作范围主要集中在工作台面上,可以避开奇异点问题。故采用4个参数的Denavit-Hartenberg(D-H)模型,即可完成绝对定位误差的优化。

由机械臂D-H模型可知,机械臂的名义(理论)末端位姿可由矩阵Tt求取

由Tm,Tt可得机械臂的位姿误差矩阵:

dT=Tm-Tt

(4)

对该式的运动学参数进行微分,并忽略高阶项(2阶以上),可得机械臂的位姿误差模型:

ΔE=J·ΔX

(5)

针对机械臂工具的某一点,则其ΔP(i)=Ji·ΔX,结合式3可得机械臂的距离误差模型与机械臂运动学参数误差之间的关系:

(6)

通过测量机械臂上拉线编码器移动端的N个值(N个值都位于工作台面上或附近位置),可得:

(7)

最后将优化后的D-H参数ai,di,αi,θi,i=1,…,6, 写入机械臂控制器中,提高机械臂绝对定位精度。

2.2 基于机器视觉的面料轮廓提取技术

缝制任务一般是对面料的外轮廓进行缝纫。基于机器视觉的面料轮廓识别即首先通过相机获取待缝面料图像,利用轮廓提取算法提取面料外轮廓曲线,并根据缝制要求计算缝制线迹的像素坐标点组,然后将线迹像素坐标点组转换为机械臂基坐标系下的轨迹点组,最后通过机械臂带动面料移动与缝机完成协同作业,完成面料的缝制。

该技术的关键在于面料的外轮廓提取,比较多位专家对Sobel算子、Prewitt算子、Roberts算子、Log 算子、和Canny算子等轮廓检测算法的研究[2],认为Canny检测算法更符合服装面料轮廓信息的提取,它由以下步骤实现。

1)用高斯滤波器平滑面料的灰度图像,去除图像噪声

g(x,y)=h(x,y,σ)×f(x,y)

(8)

2)计算梯度大小和方向。求取图像x、y2个方向的梯度大小和方向。图像梯度大小可由式9计算得到:

(9)

梯度方向可由式(10)计算得到:

θM=arctan(dy/dx)

(10)

式中:dx=f(x,y)×Sobelx(x,y);dy=f(x,y)×Sobely(x,y),f(x,y)为原始灰度图像,Sobelx(x,y),Sobely(x,y)为Sobel滤波器。

3)根据梯度方向对梯度幅值进行非极大值抑制。从上一步得到的梯度图像存在边缘粗宽、弱边缘干扰等众多问题,这一步使用非极大值抑制来寻找像素点局部最大值,将非极大值所对应的灰度值置0,剔除一大部分非边缘的像素点。

4)用双阈值算法检测和连接边缘。经过以上三步,已得到较高的边缘质量,但还存在一些伪边缘,可采用双阈值法,具体思路为选取两个阈值,将小于低阈值的点认为是假边缘置0,将大于高阈值的点认为是强边缘置1,介于中间的像素点需进行进一步的检查。通过选择合适的阈值,可以得到很好的面料轮廓曲线。

5)提取轮廓上的关键点。提取轮廓上的关键点信息,一般为轮廓的顶点,然后以某个顶点为起点,根据线迹的直线、圆弧、曲线、曲率等要求,选用多边形方式拟合出相应的点组,并将点组变换成机械臂的运行轨迹点组,并以数组的形式发送给机械臂控制器。

2.3 机械臂与缝纫机速度同步技术

机械臂与缝纫机一起协作完成缝制任务,缝机固定在工作平台上,面料外侧边缘由缝机送布轮送进,被压脚压平,面料内侧由机械臂工具控制运动,如果面料边缘速度与内侧速度不匹配,则缝制线迹错乱或无法完成缝制,如果面料速度与机针速度不匹配,则缝制线迹将不规整。为了得到整齐规整的缝制线迹,必须对机械臂工具速度、送布轮送布速度和缝纫机机针速度进行同步控制。

机械臂工具运动速度(vtool)由缝机针头的上下运动速度(n)和针距(d)决定,针距确定的情况下,为了提高缝制速度,就需要提高缝机转速和机械臂工具运动速度。

(11)

式中:n存在最大值nmax和最小值nmin,表示缝机的最大和最小允许速度。针距d由缝制参数确定,在针距d确定的情况下,vtool与n满足上式关系,即可得到规整的缝制线迹,当需要一些特殊缝制线迹时,可以通过非线性关系拟合vtool与n。

此外,还需控制缝纫机送布轮速度(vfeed),使其与机械臂工具运动速度(vtool)相等。控制过程中,将vtool作为送布轮速度vfeed的设定值发送给缝纫机控制器,由于控制系统惯性和机械误差的存在,如果缝机控制器开环控制送布轮速度,必将存在误差Δv,使得缝制效果打折扣。采用式(12)描述的PID算法闭环控制送布轮速度,可以提高速度跟随的精度,获得更好的缝制线迹。

(12)

式中:Kp、Td为比例、微分调节系数;Ts为采样时间;Δv为速度差值。

3 双层衣片智能缝制装备研发

舒普智能技术股份有限公司是缝制成套装备的解决方案供应商,针对客户需求开发了双层衣片智能缝制装备,如图3、4所示,由机械臂、相机、缝纫机、工作平台、上下料等辅助机构组成。机械臂采用 6轴机械臂,工作半径为886 mm,满足大尺寸面料的缝制任务。相机选用海康600万像素工业相机,支持GiGE通讯接口,拍摄照片大小为900 mm×500 mm。 缝纫机采用公司自行开发的新一代物联网缝机,支持以太网通信,可远程控制缝制、抬压脚、剪线等动作。缝制装备为模块化结构,可根据缝制需求组合出不同缝制设备,图3示出上料工作平台,通过横移机构将面料放置到左右2个上料平台,面料放置平台下方为光照系统。图4示出缝制装备缝制模块,在机器视觉的引导下,机械臂抓取上料平台中的2片面料并叠放在一起,再送给缝机完成缝制。该缝制装备能完成最大400 mm×400 mm面料的缝合任务,精度可达0.2 mm。

图3 缝制装备上料平台Fig. 3 Feeding system of sewing equipment

图4 缝制装备缝制模块Fig. 4 Sewing system of sewing equipment

4 双层衣片智能缝制装备分析

4.1 智能缝制控制系统架构分析

缝制装备控制系统内部通过以太网通信(见图5中虚线部分)。选用含以太网接口的工业相机采集面料图像,然后通过以太网接口发送给计算机,再使用OpenCV处理图像,完成面料定位、轮廓提取、机械臂轨迹规划等任务;机械臂的控制器、拉线编码器也通过以太网连接到计算机上,完成手眼标定、误差优化等任务;机械臂与缝纫机通过以太网连接,在缝制作业时,机械臂发送同步、压脚、剪线、缝制等命令给缝机,缝纫机据此控制机针和送布轮速度,实现机械臂与缝纫机的同步。

图5 缝制装备控制系统架构Fig. 5 Sewing equipment control system architecture

4.2 机械臂绝对定位误差优化分析

根据2.1节的机械臂绝对定位误差优化技术,开发了如图6所示的机械臂标定软件,并对缝制装备的机械臂做误差优化。优化过程分3个步骤:数据采集、机械臂标定和精度验证。数据采集分单次采集和自动采集,本文通过示教程序自动采集工作台平面上的50个位姿点;机械臂标定界面对六轴机械臂进行标定,在界面上设置P1～P6 6个轴的臂长,通过勾选需要优化的参数,利用采集的50个位姿点数据对D-H参数进行迭代计算;最后得到标定后的结果如表1所示。从标定结果可以看出,通过误差补偿优化,机械臂工具中心点(TCP)处绝对定位误差从均值1.263 5 mm降低到了0.128 5 mm,满足了缝制线迹的缝制质量需求。

图6 误差优化软件机械臂标定界面Fig. 6 Calibration interface of calibration software

表1 机械臂的误差补偿前后的TCP误差对比Tab. 1 Robotic arm TCP error information before and after error compensation

图7示出绝对定位误差优化前后的缝制效果对比。可见,未经过误差优化的机械臂在运动过程中由于绝对定位精度不高,缝制线迹偏离设定轨迹,导致缝制线迹不完整(图7(a)),经过误差优化后,极大提高了面料的缝制质量(图7(b))。

图7 误差优化前后缝制效果Fig. 7 Sewing effect before error compensation(a)and after error compensation(b)

4.3 面料轮廓及关键点提取分析

面料轮廓和关键点提取是机械臂轨迹规划的基础。根据2.2节的面料轮廓提取技术,开发了基于OpenCV的面料轮廓及关键点提取程序。图8(a)示出任意形状的面料,代表了真实面料的直线、圆弧、曲线等各种轮廓。程序首先基于Canny算法提取图像的边缘,然后进行边缘分析,寻找最外层轮廓,根据最外层轮廓进行多边形和圆弧拟合,获得轮廓关键点像素,并在二值图像上绘制轮廓和关键点,将关键点像素坐标转换成机械臂基坐标系下的关键点坐标值,并转换成TCP坐标值送给机械臂控制器,做好缝制线迹的规划工作。如图8(b)所示,本算法能够提取任意形状面料的轮廓和关键点信息,并能根据轮廓曲率的不同生成不同数量的关键点,曲率越大,提取的关键点越多,便于机械臂轨迹规划,提高缝制质量。

图8 面料轮廓和关键点提取Fig. 8 Fabric contour extraction. (a) Fabric;(b)Contour line and key points

4.4 机械臂与缝纫机同步缝制效果分析

面料缝制线迹的质量很大程度取决于机械臂与缝纫机的同步能力。机械臂在运动过程中并非匀速,而存在加减速,如果缝纫机的机针速度与送布速度不能实时响应,则存在不协同的局部运动,造成缝制质量比较差。靠人工示教很难做到机械臂与缝纫机的同步,必须依靠机械臂与缝纫机的通信,并将机械臂的速度发送给缝纫机,缝纫机控制系统根据发送过来的速度自动调整缝纫机的机针速度与送布速度,才能做到机械臂与缝纫机真正的协同控制。根据2.3节的机械臂与缝纫机速度同步技术,构建了如图9所示的控制框图及对应的控制程序,缝纫机机针速度为开环控制,其速度与机械臂TCP速度成比例关系;缝纫机送布轮速度为闭环控制,提高了送布轮速度跟随机械臂TCP速度的跟随能力;图中字母含义参见2.3节。

图9 机械臂与缝纫机同步控制框图Fig. 9 Industrial robot and sewing machine synchronous control block diagram

图10示出了机械臂与缝针速度未同步时的缝制效果,图10(a)表示未同步时,由于面料曲率变大,缝针速度未能相应变小,导致针迹变密;图10(b) 表示未同步时,由于起动阶段机械臂存在加速度,机械臂速度逐渐变大,而缝针速度不能跟随变大,导致针迹变疏。

图10 机械臂与缝针未同步时缝制效果Fig. 10 Sewing effect with robot and sewing needle not synchronized. (a)Stitches become denser with curvature is large; (b)Stitches become sparse with robot has acceleration

机械臂与缝针同步后的效果可参考图11。面料轮廓曲率即使变大,但缝针速度可以根据机械臂的速度做同步变化,使得针迹比较均匀。机械臂与缝纫机送布轮速度不匹配时,引起面料边缘速度和内侧速度不一致,将导致缝制针脚错乱甚至无法完成缝制。

图11 曲率大处针迹不变的效果图Fig. 11 Stitches remains constant with curvature is large

5 结论

本文基于机械臂绝对定位误差优化补偿、面料轮廓和关键点提取、机械臂与缝纫机同步控制等技术,研发了智能缝制成套装备,主要结论如下。

1)针对当前机械臂绝对定位精度不足以满足缝制需求的问题,研究了基于拉线编码器的机械臂运动学误差优化技术,开发了误差优化软件,提高了机械臂的绝对定位精度。

2)针对面料外轮廓提取问题,研究了基于Canny算法的面料轮廓识别技术,开发了基于OpenCV的面料轮廓和关键点提取算法,满足任意面料的外轮廓提取要求。

3)针对机械臂与缝纫机的速度同步问题,研究了机械臂与缝纫机的速度同步技术,开发了机械臂与缝纫机机针速度的开环控制算法,以及机械臂与缝纫机送布轮速度的闭环控制算法,提高了缝制线迹的质量。

4)研发了智能双层衣片缝制成套装备,并验证了相关技术的有效性。

智能缝制成套装备的研发有效减少了设备操作人员数量,解决了缝制工人短缺问题,为缝制装备的自动化、智能化提供了技术积累,也为缝制行业其它工序的自动化、智能化、数字化转型提供了技术基础。下一步,将主要从以下2个方面对缝制成套装备进行改进:将6轴机械臂改为SCARA机械臂,降低装备成本及提高绝对定位精度;设计简单易用的人机交互界面,方便操作及切换缝制任务。