基于深度卷积神经网络的钢材微观组织分类识别

段献宝，何惠珍，李平平，张志鹏，魏 灏，黄 铁，徐云涛

(1.武汉工程大学 材料科学与工程学院，湖北 武汉 430205；2.中车戚墅堰机车车辆工艺研究所有限公司，江苏 常州 213011)

1 研究背景

金属的宏观性能与其微观组织之间有着密切的关系，在化学成分一定的情况下，金属中微观组织的形貌、分布、组成和类型等因素直接决定了其宏观性能[1]。金相图是利用金属显微检测技术对金属样品的断面进行拍照而获得的显微照片，它在某种程度上反映了金属在特定工艺条件下所具有的内部结构[2]，对分析微观组织与宏观性能之间的关系、改善工艺流程、提高产品性能具有重要意义，因此在试验室研究及工业生产中得到了广泛应用。对金相图所呈现的微观组织进行准确识别是金相图研究及应用的重要环节。传统的微观组织识别过程是将试验中所获得的金相图与标准的金相图谱进行比对，进而确定其所属的微观组织类型。由于金属的微观组织分类较多、特征复杂，这就使得其识别过程难度高、专业性强，因此金相图的识别通常是由专门从事金属材料微观组织分析的人员完成。然而，这样做也存在以下弊端：(1)人工识别的效率较低；(2)识别过程对从业人员有很强的专业及经验要求；(3)即便是专业人员，在识别过程中也可能会因为受到外界环境的干扰而带来识别准确率不稳定的问题[3]。鉴于此，发展一种高效的、高准确率的自动金相微观组织识别方法十分必要。

在过去的几十年中，有不少研究者致力于开发金相微观组织识别方法。早期的识别方法基本上停留在图像处理的层面，即利用图像处理算法对金相图进行例如灰度化、分割、锐化、滤波等操作，使其特征凸显，然后再由人工完成微观组织的识别。这种方法仍然存在识别准确率不高、自动化程度较低的问题[4]。随着计算机视觉理论和机器学习算法的发展，一些研究者尝试应用机器学习算法来实现金相微观组织的识别，其中发展较早、识别效果也较好的方法是将图像形态提取算法与支持向量机算法相结合。2015年，DeCost等人使用视觉特征包提取了图像特征并结合支持向量机算法对黄铜/青铜、球墨铸铁、灰铸铁、亚共析钢、可锻铸铁、高温合金等7种微观组织进行分类识别，准确率达80%[5]。2019年，Gola等人将支持向量机与基于像素和形态学的参数相结合，对3种不同钢材的微观组织进行分类识别，准确率达97.47%[6]。近年来，随着神经网络理论的发展，研究者们尝试将神经网络算法应用于金相微观组织的识别，取得了较好的效果。2016年，Yoshitaka等人利用深度卷积神经网络对4种钢材的微观结构进行分类识别，准确率达94%[7]。2017年，DeCost等人采用类似方法对经过不同热处理的钢材的金相微观组织进行分类识别，准确率超过95%[8]。本文的主要工作是将深度卷积神经网络作为特征提取的主体框架，再与浅层学习的分类器相组合构造出机器学习模型，最终实现对7类金相微观组织的分类识别。

2 研究方法

2.1 金相图数据集

对金相微观组织进行分类识别的第一步是准备用于识别的金相图数据集。为了构建数据集，研究人员采用了不同牌号的钢材、经由不同的热处理工艺制备了一批试样，然后将试样进行切片、打磨、抛光，最后用金相显微镜对每个试样进行观测、照相，从而获得每个试样放大500倍的金相图。根据钢材牌号及热处理工艺的不同，将这批试样的金相图分为6类，分别用标签a～f表示，如表1所示。对于不同试样的金相图，由于它们是不同牌号的钢材经由不同的热处理工艺而获得，因此它们所对应的微观组织也不相同，图1给出了本研究中6种试样的金相图示例。经人工辨识，试样a～f金相图所对应的微观组织分别是奥氏体、珠光体、珠光体+铁素体、铁素体+马氏体+贝氏体、马氏体、回火索氏体。

图1 本研究中6种试样的金相图

表1 本研究中所用到的金相图相关数据

由于初始金相图数据集相对较小，在使用深度卷积神经网络对其进行学习时容易造成过拟合，这会影响到模型的泛化性能。为此，使用图像处理算法(包括切割、翻转、旋转等)对初始金相图数据集进行增强。此外，为了提高数据集的数据质量、减少或避免数据的不一致性，采用人工方式对增强之后的数据集进行清洗。具体来说，是将那些人工无法辨识的金相图(即特征不明显)或经辨识与试样金相图不一致的金相图(可能是因为金相图的区域差异而造成)从数据集中剔除。另外，为了便于程序处理、提高算法的可靠性和鲁棒性，在以上6类金相图的基础上增加了第7类，将那些不属于以上6类的金相图都列入该类，用标签g表示。经过数据增强和数据清洗之后，获得了用于训练的金相图数据集，表1列出了每一类金相图所对应的图像数量。

2.2 机器学习模型

在完成金相图数据集的构建之后，需要构造机器学习模型来对数据集进行学习。图2展示了本研究中所使用机器学习模型的示意图。该模型主要由两部分构成：一部分是深度卷积神经网络，该部分的主要作用是对金相图进行特征提取；另一部分是分类器，该部分的主要作用是建立提取到的特征与最终的分类之间的映射关系。就深度卷积神经网络而言，选择了3种在图像识别上表现较为突出的框架，包括VGG-16、Inception-V3和ResNet-50[9-11]。这些框架不仅具有相对确定的网络结构，也有基于ImageNet数据集训练出来的参数，即预训练参数。在使用过程中，保持框架的网络结构及预训练参数不变，直接将其迁移到本研究的机器学习模型中，实现对金相图特征的提取。在完成特征提取后，原始金相图会被转变成长度为2 048或4 096维的特征向量。该特征向量就代表了与之相应的金相图，并输入给后续的分类器进行分类。在使用分类器进行分类之前，还可以使用卡方检验[12]对提取到的特征进行筛选，以实现降低特征维度、减少模型复杂度的目的。就分类器而言，构建了8种不同类型的分类器，包括支持向量机、K近邻、决策树、随机森林、逻辑回归、朴素贝叶斯、梯度提升和人工神经网络(ANN)[12]。在将深度卷积神经网络与分类器组合成机器学习模型的过程中，先保持深度卷积神经网络中卷积层和池化层的结构不变，移除其中的全连接层，然后在其后连接分类器，形成新的网络结构。通过将3种深度卷积神经网络和8种分类器进行组合，得到了24个不同的机器学习模型。

图2 本研究中所使用机器学习模型的示意图

在使用金相图数据集对机器学习模型进行训练时，保持深度卷积神经网络中卷积层和池化层的参数不变，只对分类器中的参数进行优化。在使用金相图数据集作为输入数据对模型进行训练时，将70%的数据用于训练，10%的数据用于验证，其余20%的数据用于测试。为保证每一类金相图在训练集、验证集及测试集中的均匀性，在划分数据时采用了留出法，以达到随机分层取样的效果。在代码层面，使用到的机器学习框架有TensorFlow和Scikit-learn。

为了对机器学习模型的性能进行定量评估，以便从中选出在钢材微观组织分类识别任务中表现较优的模型，选用分类问题中常用的指标对模型进行评估，包括基于混淆矩阵的精度、查准率、查全率及F1值(查准率和查全率的调和平均值)等。

3 结果与讨论

3.1 模型比较

为了比较上述24个机器学习模型在钢材微观组织分类识别上的性能表现，使用统一的金相图数据集对每一个模型进行训练，得到每一个模型下的优化参数，最后再使用精度指标对每一个优化后的模型进行性能评估。为避免随机因素对模型评估造成干扰，对每一个模型都进行了10次不同的训练，然后计算每一个训练后的模型在测试集上的精度，得到10个精度值，最后将这些值取平均值作为这一模型的精度，如表2所示。从表2可以看出，本研究中所涉及到的大部分机器学习模型都表现出了较高的精度，识别准确率基本都在93%以上。就深度卷积神经网络而言，Inception-V3在与任意一种分类器组合时都表现出了最高的精度，这说明该框架在用于钢材微观组织的特征提取时表现最佳。就分类器而言，人工神经网络在每一种深度卷积神经网络框架下均表现出最高的精度，这说明该分类器在建立特征到分类的映射时表现较好。综合来看，将Inception-V3与人工神经网络分类器进行组合而得到的机器学习模型(记为“Inception-V3+ANN”)在本研究所涉及的钢材微观组织识别上表现最佳，分类准确率达到99.60%。

表2 各机器学习模型在测试集上的精度 %

为了更清晰地展示“Inception-V3+ANN”这一机器学习模型在各类金相微观组织分类识别上的效果，使用混淆矩阵、查准率和查全率对识别结果进行分析。表3列出了该模型在测试集上的性能表现，其中混淆矩阵中的字母与表1中不同微观组织所对应的试样标签是一致的，混淆矩阵中的结果则是取自一次随机的结果，而精度与F1值为10次结果的均值。从混淆矩阵上看，该模型能够对绝大部分金相图样本进行准确分类，只有极少数的样本被错误地分类。由此可以看出，该模型在每一类金相微观组织上的识别效果都比较理想，没有出现较大偏倚的情况，说明模型在拟合良好的情况下具有较好的泛化能力。

表3 “Inception-V3+ANN”模型在测试集上的性能表现

3.2 优化与分析

在使用“Inception-V3+ANN”模型时，Inception-V3框架会首先对金相图进行特征提取，并将其转变成2 048维的特征向量。相比于原始金相图的维数，提取到的特征向量在维数上已经得到了极大的压缩。为了对模型作进一步的简化，使用卡方检验对提取到的特征向量作进一步筛选，从中找出少量决定分类结果的关键性特征，然后再基于这些关键特征完成后续的分类。图3绘制了分类精度随特征维数的变化关系。可以看出，当特征维数从1维增加到5维时，模型的分类精度得到了显著提升。随着特征维数继续增加，分类精度也会持续增加。当特征维数达到15维时，分类精度已达到95%。随后，分类精度出现轻微波动。当特征维数超过25维时，分类精度基本上稳定在96%以上。总结来看，在经卡方检验进行特征筛选之后，用于描述原始金相图的特征维数可以从2 048维降低到20维左右，与之相伴的分类精度只出现了轻微的降低。这表明可以在适当降低模型精度的前提下，通过消除特征向量中的冗余向量来大幅降低模型的复杂度，这一结论为模型的压缩和简化提供了依据。

为了探究机器学习模型对金相图进行准确分类识别的依据，绘制了部分试样金相图的热力图，如图4所示，图4(a)和4(b)所对应的分别是试样c和试样e的金相图(微观组织分别为珠光体+铁素体、马氏体)的热力图。在每一幅热力图中，对识别结果起到关键支撑性作用的区域用颜色较深的暖色标识，而对识别结果贡献较小的区域用冷色标识。可以看出，暖色覆盖的区域只占图像的一小部分，这说明机器学习模型只需要根据金相图某一个区域的特征就可以实现对其进行准确分类，这与图3分析所得出的结论是一致的。如果对暖色所覆盖的区域进行组织特征分析，就会发现这些组织的特征都较为明显，比如在图4(a)中，红色覆盖区域所对应的组织具有明显的珠光体特征，即黑白条纹以相间的形式出现。为进一步分析，将图4(a)和4(b)这2幅金相图分别进行水平翻转和垂直翻转，然后分别绘制热力图，结果如图4(c)和4(d)所示。由图4(c)和4(d)可以看出，原始金相图在经过水平或垂直翻转之后，对应热力图中暖色覆盖的区域也会跟着金相图一起翻转，这说明本研究所用机器学习模型在对金相图进行分类时所依据的关键区域是一致的，都是组织特征较为明显的区域。

图3 分类精度随特征维数的变化关系

图4 部分试样金相图的热力图

4 结论

本文通过将3种深度卷积神经网络框架(VGG-16、Inception-V3、ResNet-50)与多种分类器进行组合构建机器学习模型，然后将这些模型应用于钢材金相微观组织的分类识别中。通过性能评估，发现这些模型在钢材微观组织的识别上均表现出较优异性能。其中，“Inception-V3+ANN”模型表现出最好的综合性能，达到了99.60%的精度和99.58%的F1值。同时，使用卡方检验对“Inception-V3+ANN”模型所提取的特征进行筛选，发现可以在基本保持高识别精度的前提下显著降低特征向量的维数。另外，还使用热力图对机器学习模型的分类依据进行了分析。

本文的研究为钢材微观组织的识别提供了新方法，研究结果显示深度卷积神经网络可以实现对钢材微观组织的高效率、高精度识别。