基于长短时记忆神经网络的带钢酸洗浓度预测

王 宁，刘毅敏

（武汉科技大学 信息科学与工程系，武汉430081）

在当前钢铁行业攻坚发展的关键时期，加强控制带钢产品的质量水平显得分外重要。表面缺陷是影响钢材质量的重要因素，其中主要以氧化铁皮为主，工厂一般通过酸洗来进行清除。酸洗是轧钢生产过程中至关重要的一步[1]，要使轧钢成品表面质量好，就必须对酸洗液中的酸浓度和铁离子浓度进行控制，使其保持在最合适的范围之内。而精准的测量是控制的重要保证， 因此在轧钢生产过程中，准确测量酸浓度和铁离子浓度，对保障产品质量有着非常重要意义。

酸浓度测量主要包括在线测量和离线测量2种方法。离线测量方法在测量和控制方面存在滞后性，自动化程度不高，带钢的酸洗质量得不到保障。目前在线检测主要以软测量为主[2]，该方法具备变量可测量、模型可控制以及实时性较高的优势。

近年来，随着机器学习、神经网络的快速兴起和蓬勃发展，神经网络被越来越多地运用在不同领域的参数预测中。其中，针对时间序列数据在不同领域的研究已经取得了不少成果，包括股票价格预测[3]、电力负荷预测[4]、空气质量[5]等方面。在此针对某钢厂酸洗浓度的时间序列数据，提出了一种基于长短期记忆LSTM 神经网络的酸浓度预测方法，首先对LSTM 神经网络模型进行训练， 然后将待测数据输入网络模型后进行预测。

1 理论介绍

1.1 循环神经网络

循环神经网络RNN（recurrent neural network）又称递归神经网络[6]，是一种针对时间序列问题的深度神经网络，在近年来的深度学习领域中得到了广泛运用并在短时间内取得了显著成果。

与一般的神经网络相比，RNN 最为特别的地方就是它对隐藏层进行跨时间点的连接， 如图1所示，隐藏层不仅给输出层传输信息，而且还与下一时刻的隐藏层建立了联系，将信息传递给下一时刻的隐藏层。这意味着当前时刻的输出取决于历史输入序列和网络工作状态信息[7]。

图1 RNN 网络结构Fig.1 RNN network structure

将单个网络单元展开，具体如图2所示，其中U，V，W 为权重系数矩阵；O 为输出变量；X 为输入变量；S 为状态变量。t 时刻的输入和t-1 时刻的输出同时确定t 时刻的节点输出。每个隐藏层的输入都包含着当前时刻的输入和前一时刻隐藏层的输出。

图2 RNN 单个隐藏层单元展开图Fig.2 RNN single hidden layer unit expansion diagram

由此可见，RNN 网络相比于传统神经网络所拥有的特别之处， 就是在RNN 中每一步输入及每一层均共享参数， 这种共享性表明RNN 在每一步都在做相同的操作，因此极大地减少了对模型学习参数的需求，从而降低模型复杂度，缩短训练周期，又可以保障较高的精度。但同时，梯度消失的问题常发生于RNN 模型训练的后期即当间隔不断增大时，RNN 可能会失去学习相对久远的信息的能力[8]。

1.2 LSTM 原理

节点记忆快速衰弱是普通的循环神经网络存在的问题， 这个问题在LSTM 网络模型中得到了很好的解决。为了解决梯度消失的问题，LSTM 应运而生，它是在RNN 基础上的进行改进和优化的。LSTM比普通RNN 训练更加容易， 原因是其模型结构中包含着一组记忆模块，它们彼此关联从而取代普通RNN 中的记忆单元。与此同时，LSTM 可以学习比较久远的依赖信息，避免梯度消失问题[9]。

在图3所示LSTM 神经元内部结构隐藏层的神经节点中，添加了一种被称为记忆单元的结构来记忆过去的信息，并增加了输入门、遗忘门和输出门3种门[10]结构以控制历史信息的使用。遗忘门的作用为决定是否以一定的概率来控制遗忘上一层的隐藏细胞状态，通常采用激活函数来对遗忘门输出值进行控制，使其输出值在0 到1 之间，0 表示完全舍弃，1 表示全部保留。输入门控制信息的输入；输出门确定输出哪些信息。

图3 LSTM 网络单元Fig.3 LSTM network unit

该过程可表示为

式中：xt，ht分别为输入序列、 输出序列；it为输入门的输出；ft为遗忘门， 决定从之前状态中丢弃的信息内容；ct为当前时刻t 的状态；ot为输出门的输出；W，b 为参数矩阵。

2 LSTM 酸浓度预测模型的设计

在此，拟将温度T，溶液密度D，电导率C 作为酸浓度的预测影响变量，通过结合长短时记忆神经网络来训练上述多维时序变量模型。在此，LSTM 时序信号预测网络模型如图4所示。该网络模型分为3 个层次：输入层、隐藏层和输出层。其中，输入层控制进入网络的数据格式； 隐藏层是包含了若干LSTM 单元的结构，为整个预测模型的核心；输出层则是一个全连接层，以获得下一状态的预测值。

图4 LSTM 酸浓度预测模型结构Fig.4 LSTM acid concentration prediction model structure

在学习阶段，将历史生产阶段采集到的T，D，C等传感器值，以时间步为索引组织后作为网络的学习样本，同时盐酸HCl 浓度H 和铁离子浓度F 作为整个LSTM 预测网络的目标值 （监督值）。因为LSTM 网络具有结构递归的特点， 所以在上述时序学习样本的作用下，LSTM 预测网络将根据当前输入Xi=［Ti，Di，Ci］， 以及其前N 个状态的输入Xi-N，Xi-N+1，…，Xi-1，预测出下一个状态（或下几个状态）下的盐酸浓度预测值Hˆi-1。而后，将预测值Hˆi-1与盐酸浓度实际值Hi+1之间的平均绝对误差MAE（mean absolute error） 作为学习过程的损失函数， 并结合Adam 算法在每次迭代过程做参数优化， 直至损失函数MAE 收敛。同时，还需要考虑过拟合，过拟合是多变量多参数深度神经网络训练过程中容易出现并严重影响网络适应性的一个关键性问题。为此在设计3 层隐藏层的基础上同时引入Dropout[11]算法。该算法是在训练学习阶段随机丢弃一些单元及其连接，从而有效地缓解过拟合的问题。

输出层计算预测输出yˆi与实际输出yi的平均绝对值误差，并将计算结果作为损失函数。平均绝对误差是平均误差幅度的明确度量，适用于大多数模型的平均误差比较。隐藏层计算出损失函数的梯度，然后反向传播来调整公式中的所有权值，在每一次迭代学习时，采用Adam[12]算法来生成优化参数，直到损失函数收敛。

3 预测试验

3.1 试验环境

试验操作系统为Ubuntu1 6.04 长期维护版，编程语言为python 3.5， 算法库采用了较为主流的Tensorflow，集成开发环境是PyCharm；硬件配置为CPU intel i7，内存8 GB。

3.2 试验对象

所用试验数据的来源为某钢厂酸洗线1 号酸洗罐。其中，温度、密度、电导率为现场传感器所得，盐酸和铁离子浓度为实验室滴定数据， 采用2018年9月至11月共102 组数据。

3.3 酸浓度预测试验步骤

所提出的基于长短时记忆神经网络的酸浓度预测步骤如下：

步骤1数据预处理。

1）对酸浓度时序数据进行偏差判断及处理。

2）采用min-max 标准化法对数据进行标准化处理，即

式中：Xnorm为数据标准化后对应的值；Xmax为数据集中的最大值；Xmin为数据集中的最小值。

3）构造样本集并分为训练样本集和测试样本集。

步骤2模型参数设置，建立模型。

1）关于LSTM 神经网络模型的参数设定，目前尚未统一可遵循的方法。在此，采用试凑法结合多次试验结果，探寻效果最好、最合适的参数。模型的具体参数见表1。由表可知，隐藏层数为3，设置每层的神经单元数均为128； 考虑到样本数可能会导致过拟合问题， 故在每层隐藏层后均加入Dropout算法以进行优化； 在训练集时间窗的大小选择上，经过多次试验后发现训练集时间窗以10 的效果为最好。另外，由于预测值包含酸浓度和铁离子浓度，故在全连接层的输出维度设置为Dense（2）。

表1 LSTM 网络模型参数Tab.1 Parameters of LSTM network model

2）将训练集输入到设置好的LSTM 网络模型中去进行训练。

3）迭代完毕，训练完成保存网络模型。

步骤3测试模型，输出结果。

1） 将测试数据集输入到训练完成的网络模型中得到模型预测结果。

2）将模型预测结果进行反归一化得到预测值，与真实值进行比较并绘制结果图及误差图。

酸浓度预测的具体流程如图5所示。

图5 酸浓度预测流程Fig.5 Acid concentration prediction flow chart

4 试验结果

损失函数趋势如图6所示。由图可见，Epoch 约为600，模型的损失函数趋于稳定。结合试验中其他参数的设定， 最终确定Epoch 为1000 时模型的平均绝对差MAE 最小，即预测效果最好。

图6 损失函数趋势Fig.6 Loss function trend graph

将训练好的模型对样本数据中最后9 个样本点进行预测。盐酸、铁离子浓度预测效果如图7所示。由预测图可见，预测值与实际值拟合效果较好。

图7 LSTM 酸浓度模型的盐酸、铁离子浓度预测效果Fig.7 Predictive effect of LSTM acid concentration model on hydrochloric acid and iron ion concentration

盐酸、 铁离子浓度预测的绝对误差如图8所示，图中所示虚线为±10 g/L 钢铁行业内误差标准规范，由图可见盐酸、铁离子浓度预测误差均在标准规范之内。

LSTM 模型的预测值与真实数据的对比见表2。由表可知，盐酸、铁离子质量浓度的预测绝对误差值最大分别为6.25 g/L 和6.69 g/L，符合钢铁行业浓度误差在-10～10 g/L 以内的规范要求。

图8 LSTM 盐酸、铁离子浓度模型的预测误差Fig.8 Prediction error of LSTM model for hydrochloric acid and iron ion concentration

表2 LSTM 模型的预测值与真实数据对比Tab.2 Comparison of LSTM model predicted values with actual data

2 种不同模型的预测效果见表3。由表可知，在此LSTM 模型预测效果，比最小二乘法OLS 求得的传统回归分析模型，预测的效果更好。

表3 不同模型的预测效果Tab.3 Prediction effects of different models

5 结语

针对带钢酸洗酸浓度的时序数据特点， 以及当前钢铁行业对轧钢成品表面质量要求越来越高的现状，提出了基于LSTM 的带钢酸洗酸浓度预测模型，实现了对酸洗液浓度的有效预测。以某钢厂酸洗线的历史数据为对象进行了实例验证，结果显示：基于LSTM 的带钢酸洗浓度预测模型具有较高的预测精度，LSTM 适用于酸浓度的预测研究，可有效提高酸浓度的预测精度；与传统的回归分析模型相比， 拥有更好的预测精度和更好的适用性。