基于迁移学习与残差网络的刀具磨损状态监测

周建民，王云庆，杨晓彤，黄熙亮，夏晓枫

(1.华东交通大学载运工具与装备教育部重点实验室，江西南昌 330013；2.轨道交通基础设施性能监测与保障国家重点实验室，江西南昌 330013)

0 前言

21世纪以来，在以智能制造为主体的全球工业改革浪潮的新时代背景下，加速数控机床向着智能自动化的目标迈进成为重中之重。刀具作为数控机床的关键部件之一，是最易损伤和浪费最严重的部件[1]。由于刀具与工件直接接触发生磨损，其状态会直接影响生产资源的消耗、工件加工质量和效率，因此，在机械加工过程中对刀具状态实时监测以便制定换刀策略很有必要。刀具磨损状态监测方法分为直接监测法和间接监测法两种[2]。直接监测法是利用图像处理和光学监测等直接观测刀具的磨损量；间接监测法是通过采集在刀具加工过程中与磨损紧密相关的信号，建立监测信号和刀具当前状态的模型，从而间接得到实时的磨损状态。此方法不对加工过程造成干扰，且可以连续监测加工过程，更适合于在线监测。间接监测法常用的方法有切削力监测[3]、声发射监测[4]、振动监测[5]等。对于监测数据处理以及分类所用的传统机器学习方法包括支持向量机[6]、贝叶斯网络[7]、极限学习机[8]等，但这些方法属于浅层机器学习方法，需要进行数据预处理、特征提取和特征选择，要求相应的先验知识，费时费力，而且如果所采取的人工特征选择方式不适合具体的任务情况时，就会导致分类效果快速下降。

深度学习方法是一种端对端的建模技术，它把原始数据直接输入到深度学习模型中，通过一个模型进行特征提取、特征转换、分类等一系列操作，克服了传统的机器学习算法存在的缺陷，从而避免了人为提取特征信息[9]。雷亚国等[10]提出了运用深度学习对机械装备进行状态监测的方法。SUN等[11]设计了一个长短期记忆网络，用于根据历史数据预测多个刀具侧面磨损值，同时利用采集到的刀具加工信号，构建了一个残差神经网络，以实现在线刀具状态监测。FU等[12]应用DBN分析了加工刀具振动信号的特征，监测端铣操作的切削状态。然而在深度学习网络模型中，需要大量带有标签的数据样本以及相当长的时间来训练和优化模型参数，当训练样本的数量比较少时，深度学习的优势就不明显了。所以，针对模型训练数据不足、训练时间长等问题，本文作者构建了一种基于迁移学习结合深度残差网络(Transfer Learning Deep Residual Network，ResNet-TL)的刀具磨损状态监测模型。首先将铣削过程中所采集的振动信号通过连续小波变换(Continue Wavelet Transform，CWT)转换为时频图，然后将ResNet50模型在ImageNet数据集中充分训练后作为预训练模型，将预训练模型中大多数参数冻结，最后将刀具加工振动信号的能量时频图像集数据再训练，从而实现刀具磨损状态的分类。

1 基本原理

1.1 CWT时频图转换

CWT时频图是通过连续小波变换获得的信号能量密度的二维表示，并且与一维时间序列相比，能够更详细地反映原始信号的特性。文中，转换的时频图用作模型训练的输入。CWT通过对母小波的伸缩平移从而得到一系列小波基函数，对信号逐步进行多尺度细化，使得信号在低频处频率细分、高频处时间细分，能自动适应时频信号分析的要求，准确描述信号的局部细节时频特征。本文作者采用Morlet小波用作母小波。对于给定的信号x(t)，将x(t)与Morlet小波进行尺度变换后得到CWT，如公式(1)所示：

(1)

其中：a是小波的尺度；b是时间平移；两者都是实数。通过从母小波ψ(t)生成子小波ψa,b(t)(见公式(2))在有限的空间内，可以提取更多的时频信息。

(2)

时频图的红-绿-蓝(RGB)表示优于灰度图像，因为多通道包含更多的信息，能更全面地挖掘信号的频域特征，具有抗干扰能力强等优点。并且时频图的转换过程无需任何专业人员介入，只需根据转换公式完成全部的输入和输出，可以避免人为干扰，提高了系统的智能，从而实现了对图像的自动识别，生成的图像集便于深度卷积网络的深层次特征学习，可以提高最终的分类结果。所以，本文作者采用连续小波变换生成RGB时频图。

1.2 卷积神经网络

卷积神经网络是深度学习的代表算法之一[13]。它具有深度特征提取结构，能够对输入的特征进行更深层次的挖掘，在图像识别领域中得到了广泛的应用。CNN的网络结构通常由卷积层、激活层、池化层和全连接层组成。其中卷积层又称特征提取层，卷积核则类似于特征提取器，通过卷积核对输入的信号或特征的局部进行卷积计算，从而获得带有深度特征表示的特征。池化层是通过对从卷积层中提取的特征进行降采样处理，减少了网络的参数，提高了计算速度，并能在一定程度上抑制过拟合现象。卷积层和池化层可以通过多次叠加改变网络结构从而提升网络性能。在训练过程中，训练样本经过多次卷积、池化操作之后，再经由全连接层和输出层激活函数对结果进行分类。典型的CNN模型结构如图1所示。

图1 典型的CNN结构

1.3 深度残差网络

深度残差网络是一种通用的卷积神经网络特征提取器，应用于许多图像识别任务。根据以往的经验，网络的深度是影响模型性能的关键因素，随着网络层数的增加，可以提取到更多的特征，但是随着网络进一步加深，网络的精确度逐渐趋于饱和，甚至会降低。深度残差网络通过添加残差单元的短路机制巧妙解决了这些问题。图2所示为ResNet模型中的残差块结构。

图2 ResNet模型的残差块结构

相比于传统的卷积神经网络直接学习输入样本与输出结果之间的关系映射X→H(X)，让网络学习残差映射X→H(X)-X能够有效降低学习难度，从而加快模型的收敛速度，因此，深度残差网络即使搭建了很深的网络结构，也能得到较好的结果。

在ResNet网络结构中包括两种残差单元：一种是将两个3×3卷积网络连接形成一个残差单元，另外一种是将1×1、3×3、1×1的3个卷积网络连接形成一个残差单元。本文作者采用在ImageNet数据集下训练的ResNet50模型，作为状态监测的预训练模型，表1所示是ResNet50的网络配置。

表1 ResNet50的网络配置

1.4 迁移学习方法

迁移学习定义[14]如下：给定一个源域Ds={Xs,P(Xs)}和目标域Dt={Xt,Q(Xt)}，学习任务分别为Ts={Ys,fs(·)}和Tt={Yt,ft(·)}，迁移学习的目的就是利用Ds和Ts中的知识改进Dt中的目标预测函数ft(·)，其中Ds≠Dt或Ts≠Tt。

传统的深度学习算法要求输入大量的样本以进行网络参数拟合，通过对大量的图像样本进行多尺度的训练，且在训练时使各个层次的参数都能收敛，从而使分类结果具有良好的准确率和鲁棒性。而在刀具磨损状态智能分类中存在难度，刀具磨损所测得的磨损信号样本比较少，所以有必要建立一个在小样本情况下分类的方法。因此，基于深度学习网络的良好智能分类能力，提出一种结合迁移学习算法的刀具磨损状态智能分类模型。在大多数情况下，特征提取第一层与具体的图像数据集之间的联系并不大，而在网络的最后几层，它与所选择的数据集和任务的目标有着密切的联系，第一层提取的特征称为一般特征或通用特征，而与数据集和任务有关的特征称为特定特征。因此，本文作者使用了由ImageNet数据集充分训练的深度网络，利用预先训练的网络对大多数参数进行了冻结，也就是提取了图像的一般特性，并利用小样本的刀具振动小波时频图像集数据再训练，获得与磨损特征有关的特定特征，以得到在小样本情况下用时短、效率高的智能分类模型。

2 算法详细

针对刀具磨损状态智能分类提出一种基于二维图像表示和ResNet-TL的分类方法，将ResNet-TL网络结构应用于智能分类，避免了人工特征提取的主观性，降低了训练时间，提高了分类效率。所提模型的技术流程如图3所示。

图3 ResNet-TL模型的分类流程

(1)时频图像生成。将振动数据采用连续小波变换转换为CWT时频图，使得原始的一维信号数据转换为二维的图像数据；

(2)预训练模型迁移。选用ResNet50根据100多万张图片进行训练，用以提取图像的一般特征，保留ResNet50大部分架构，对大多数参数进行了冻结；

(3)合理划分刀具磨损状态样本的训练集和测试集，利用小样本的刀具振动的小波时频图像集数据再训练，获得与磨损特征有关的特定特征，最后通过Softmax激活函数得到分类结果；

(4)计算识别精度并输出结果，可视化ResNet-TL模型的特征学习过程和测试集准确率。

3 实验验证

3.1 实验数据介绍

文中实验数据来源于文献[15]。铣削刀具为三刃硬质合金球头铣刀，加工参数如表2所示。

表2 铣削实验切削参数

在铣刀加工过程中，采集铣刀每次走刀时的振动信号，采样频率为50 kHz，每把刀具一共进行315次走刀测试，每次走刀长度为108 mm，在每次走刀结束后用显微镜测量铣刀3个切削刃后刀面的磨损值，保存每次走刀所采集的振动信号和相应的磨损值数据作为一个实验样本，共获得315个样本。在上述切削条件下重复进行3次全寿命周期实验，得到3把铣刀的全寿命数据，因此，本文作者采用这3把铣刀的数据进行实验。振动信号采集实验平台示意如图4所示。

图4 铣削实验台数据采集示意

为了避免3个切削刃的磨损值不同所带来的干扰，将铣刀的3个切削刃的平均值作为实验标签。根据刀具磨损状态分为3种，分别为早期磨损、正常磨损、剧烈磨损。同时根据泰勒刀具寿命曲线二阶导数[16]的近10 μm交叉点作为刀具磨损不同状态之间的边界。状态1为早期磨损状态，磨损范围为0～60 μm，状态2为正常磨损状态，磨损范围为60～120 μm；磨损大于120 μm的剧烈磨损状态为状态3。由于每个振动信号样本中包含约20万条数据，为了避免铣刀的切入和切出对磨损状态分类产生影响，选择每个样本中的2×104～18×104之间共16万条数据进行图像化处理，将3把刀具每次走刀的振动数据通过小波变换生成一张时频图，共得到945张小波时频图，根据磨损状态分类随机选取铣刀实验数据的70%作为训练数据集，30%作为测试数据集。Batch size的大小设置为32，迭代次数Epoch设置为100，初始学习率设置为0.000 01，深度残差网络的优化方式为Adam优化算法。

3.2 实验结果分析

本文作者进行了2组实验：第一组是使用迁移学习预训练参数的深度残差网络与没有预训练的深度残差网络的对比；第二组是使用迁移学习的深度残差网络、EfficientNet网络以及采用迁移学习预训练的EfficientNet网络的对比。

(1)ResNet-TL模型与ResNet模型的刀具磨损状态分类对比。

从图5(a)看出：ResNet-TL模型训练集的损失误差相对于ResNet模型降低得更快，在初始迭代中，基于ImageNet数据集预训练的网络参数迁移到ResNet模型，采用刀具振动时频图进行二次训练来微调ResNet模型的损失误差比直接训练的ResNet模型更小，经过100次迭代，ResNet-TL模型训练集损失误差更小，训练效果对比ResNet模型更好。类似地，图5(b)显示：ResNet-TL模型训练集的第二代准确率就达到90%，而ResNet模型准确率为40%，100次迭代中，ResNet-TL模型训练集准确率都明显高于ResNet模型，并且ResNet-TL模型的10～100次迭代的准确率稳定在95%～99%之间，而ResNet模型准确率波动较大，模型参数反复调整和不稳定，鲁棒性较差。

图5 ResNet-TL与ResNet训练集损失误差(a)和准确率(b)

(2)ResNet-TL、EfficientNet-TL、ResNet以及EfficientNet模型的刀具磨损状态分类对比。

从图6(a)可以看出：基于迁移学习预训练的ResNet-TL模型与EfficientNet-TL模型损失误差在迭代初期就能快速下降，最终趋于稳定；而直接训练的ResNet模型EfficientNet模型损失误差下降缓慢，反复波动到一个稳定值，最终损失误差明显高于迁移学习预训练的网络损失误差值。ResNet-TL模型的最终损失误差也明显小于EfficientNet-TL模型，但在前20代，ResNet-TL模型已经训练完成。综合考虑训练时间和模型结果的关系，ResNet-TL模型能够在短时间的模型训练中达到较好结果。

从图6(b)可以看出：ResNet-TL模型和EfficientNet-TL模型二次训练能快速收敛，在20代内，训练集的准确率就趋于稳定；但ResNet-TL模型初始准确率较高，表明基于ImageNet数据集预训练的网络参数在ResNet网络的二次训练参数微调较小，效果更好，适用于模型快速训练收敛。ResNet模型、EfficientNet模型在无参数预训练的情况下，相同的迭代次数，准确率更低。综上两组对比实验，ResNet-TL模型不管是在训练集的损失误差还是准确率上，效果都更优异。

图6 ResNet-TL、ResNet、EfficientNet-TL和EfficientNet训练集损失误差(a)和准确率(b)

为了体现模型的优劣，并且考虑到测试结果可能出现偶然性，对两组模型进行多次训练，取6次分类结果的平均值作为模型的最终准确率。表3表明：ResNet-TL模型6次分类的平均准确率为98.52%，平均分类结果优于其他模型，证明所采用的方法具有很好的分类性能，且模型的稳定性优异。

表3 模型6次测试准确率

4 结论

提出一种基于迁移学习理论结合深度残差网络的刀具磨损监测方法，用于制造车间实时监测刀具磨损状态，该方法采用振动信号图像化并且构建了刀具磨损状态监测的神经网络模型。实验结果表明，所提出的方法能够达到稳定且准确的分类效果。

(1)将一维的振动信号数据集通过连续小波变换转换为二维的图像数据集，该方法不仅避免了人为因素对整个预处理过程的影响，而且还可以更好地保留振动信号内部隐藏的刀具磨损状态的信息，有效地减少信息缺失。

(2)采用迁移学习方法，使用ImageNet数据集上训练的ResNet50模型作为预训练模型，进行了图片通用特征的预训练和刀具磨损特定特征的二次训练，并且与没有预训练参数的ResNet50模型作对比，再与EfficientNet模型和未采用迁移学习预训练参数的EfficientNet模型作对比。实验结果表明：同一模型采用迁移学习能够更快收敛，分类结果的准确率也更高，相比之下，ResNet50-TL模型的分类效果最佳。