基于改进DeepLabv3网络的氩花图像语义分割

秦 汉，熊 凌，肖林伟，但斌斌

(1.武汉科技大学冶金自动化与检测技术教育部工程研究中心，湖北 武汉，430081；2.武汉科技大学机器人与智能系统研究院，湖北 武汉，430081；3.湖南开放大学智能制造学院，湖南 长沙，410004)

钢包底吹氩是我国大多数钢铁厂采用的炉外精炼技术，吹氩工艺参数的精确控制对于提高精炼功效和钢水纯净度有着重要意义[1]。底吹氩效果可由比搅拌能和均匀时间来衡量，二者直接测量比较困难，但它们均与吹入钢包中的氩气量有关，而吹氩过程中钢液裸露面(即氩花)的面积可以间接反映吹入钢包中的氩气量，因此利用计算机视觉技术，通过对采集到的吹氩过程中钢水表面图像进行分割并检测出氩花区域，就能够根据既定的氩花分类标准来获取吹氩状态，从而实现吹氩流量的自动调节[2-3]。

1 改进的DeepLabv3网络模型

1.1 DeepLabv3网络模型

图1 DeepLabv3网络结构

1.2 轻量化网络MobileNetV2

MobileNetv2网络引入了ResNet残差思想，通过高维特征结合ReLU激活层，尽可能地保留低维输入信息，其核心点在于反向残差块，见图2。在反向残差块中，首先对输入的低维特征进行系数为6的维度扩展得到高维特征，再执行深度可分离卷积，然后去除最后一个ReLU激活层，用映射层代替，最终输出低维特征。MobileNetv2网络结构见图3，当stride=1且输入特征矩阵与输出特征矩阵的shape(尺寸、个数)相同时才有shortcut短连接，stride=2的块没有残差结构。

图2 反向残差块

图3 MobileNetv2网络结构

1.3 注意力机制模块

CBAM (convolutional block attention module)是一个轻量级卷积注意力机制模块，可以无缝集成到任何CNN架构中，其结构如图4所示。CBAM针对特征图进行操作，通过通道注意力(channel attention)模块和空间注意力(spatial attention)模块使提取到的特征更加精炼，从而提升了模型的表现力[12];其中，通道注意力模块更关注“看什么”，而空间注意力模块更关注“看哪里”[13]，所以通道注意力机制更适用于本文的氩花图像分割。图5是CBAM的通道注意力模块结构，输入的特征图分别经过全局平均池化和全局最大池化，再经过共享全连接层，将该层输出的特征基于elementwise函数进行加和操作，然后借助Sigmoid激活函数生成最终的输出特征图。

图4 CBAM的结构

图5 通道注意力模块结构

1.4 损失函数

以二分类为例，交叉熵损失函数为：

(1)

为了便于表示，做如下变换：

(2)

为交叉熵加一个权重来降低负样本的影响，其中权重因子αt的大小一般为相反类的比重，即负样本越多，给其权重则越小；同时，针对难/易分类样本不平衡问题，加上一个因子γ(γ>1)来减少易分类样本的损失，从而将重点放在难分类样本上。最终，Focal Loss损失函数的形式为：

FL(pt)=-αt(1-pt)γlog(pt)

(3)

其中αt和γ可以根据实际研究背景进行调整。

1.5 改进后的DeepLabv3网络结构

图6 改进后的DeepLabv3网络结构

2 实验与结果分析

本文模型基于深度学习框架TensorFlow和Keras来构建。实验硬件环境：CPU为Intel Core i5-10400F，GPU为NVIDIA RTX 2060；软件环境：Window10、TensorFlow、Keras、Python3.6。

2.1 数据集

实验采用自钢包底吹氩生产现场采集的数据。吹氩过程中，氩花状态依据其大小被分为4类：欠吹、弱吹、软吹和爆吹，如图7所示，其中弱吹和软吹为正常的吹氩状态。氩花内接圆直径D≤300 mm时，处于欠吹状态；300 mm800 mm时，处于爆吹状态。

原始数据集由420张图像组成，将训练集、验证集、预测集按7∶1∶2的比例划分。图像分辨率为512×512，对图像进行分割时，分为氩花和背景两类，每张图像都有对应的手工标注标签。为了增加训练数据，对原始数据集进行了扩充,扩充方式包括水平方向平移、水平方向翻转、垂直方向平移、垂直方向翻转和随机角度旋转，部分数据集扩充结果如图8所示。

(a)欠吹 (b)弱吹 (c)软吹 (d)爆吹

2.2 评价指标

为了验证本文方法的有效性，选取多个指标从不同角度对网络的图像语义分割性能进行评价，包括验证集平均损失率(val-loss)、验证集平均精度(val-acc)、平均像素准确率(mean pixel accuracy, MPA)和平均交并比(mean intersection over union, MIoU)指标，还有反映图像分割速度的帧率和参数量以及衡量模型复杂度的浮点运算次数(FLOPs)等指标。

2.3 结果与分析

2.3.1 消融实验

为充分探究本文提出的多个改进模块对吹氩图像分割任务的有效性，下面针对损失函数、特征提取网络和注意力机制进行了消融实验。

表1 损失函数消融实验结果

表2所示为特征提取网络和注意力机制的消融实验结果。从表2可以看出，将特征提取网络由Xception换成MobileNetV2 后，帧率提高了27.30%，参数量和计算量约减少了93.3%，即提高了图像的处理速度；另外，在基本保持计算速度和计算量的前提下，加入注意力机制提升了模型的分割精度，MIoU提升了0.92个百分点，MPA提升了1.22个百分点。由此可见，将MobileNetV2轻量化网络和注意力机制模块应用到本文模型，不仅能够减少计算量，提高计算速度，还能进一步提取全局信息，提高分割精度，保证图像分割的完整性。

表2 特征提取网络和注意力机制的消融实验结果

2.3.2 图像分割实验

(a)原图 (b)人工标准 (c)PSPNet (d)SegNet (e)U-Net (f)DeepLabv3+ (g)本文模型

表3 5个网络模型的性能对比

3 结语