基于特征融合和ILSTSVM的铝电解过热度识别

刘斌, 韦业辉, 徐辰华,*, 熊建斌

(1.广西大学 电气工程学院, 广西 南宁 530004;2.广东技术师范大学 自动化学院, 广东 广州 510630)

0 引言

随着能源枯竭和环境保护问题日益突出[1],我国铝电解行业面临着新的挑战,解决这些问题的有效途径是实现知识的自动化。在铝电解工业中,过热度被定义为电解质溶液的温度与初晶温度两者之间的差值，可以很好地反映铝电解槽的状态。将过热度保持在较好的状态进而形成规整的槽膛内形,有利于稳定生产,减少水平电流,提高电流效率,延长电解槽寿命，因此,许多专家和学者研究利用过热度的状态来间接反映铝电解槽运行状况,进而通过调控相关的参数来提高电流效率,最终达到节能降耗的目的,提高铝电解厂的经济效益。

由于铝电解生产环境相对恶劣以及测量工艺的限制,加大了过热度测量的难度,因此难以在线测量过热度。目前,过热度的识别主要是通过铝电解厂工人观测火眼来判断[2]。近年来,专家研究发现铝电解生产过程中过热度的高低可以通过铝电解火眼视频来识别,即将提取火眼视频的动态特征作为机器学习的输入,进而对过热度进行识别,可以避免主观性并提高识别率。Yue等[3]利用直觉模糊超图语义网络对铝电解的过热度状态进行识别。陈祖国等[4]结合贝叶斯条件概率与传统语义网提出了贝叶斯概率语义网络模型,将其应用在铝电解槽况判断上,证明了贝叶斯概率语义网络模型的可行性。

随着深度学习的发展,图像领域主要集中在卷积神经网络(convolutional neural networks,CNN),被广泛应用于图像识别、智慧医疗等方面。江帆等[5]提出了火焰图像卷积识别模型,对比实验表明该模型的识别精度有较大的提升。段锁林等[6]针对卷积神经网络在火焰识别应用中受复杂环境背景影响无法充分提取火焰特征的问题,提出一种多通道输入结合策略,提高了对火焰识别的精度。赵京霞等[7]提出了基于卷积神经网络多层特征融合和极限学习机的乳腺疾病诊断新方法,显著提升了乳腺疾病诊断的准确度。列车在高速运动时振动信号各种复杂情况,据此,吴昀璞等[8]提出了一种基于多域融合卷积神经网络的转向架故障检测方法,该方法的鲁棒性及工况适应性较强。

CNN在识别图像过程中偏重高层语义特征,而传统的机器学习则依赖手工设计的图像特征,无需海量的数据集,其分类精度通常低于深度学习方法的。为了结合上述2种方法的优点,基于图像浅层特征与深层特征融合的图像识别方法被提出。潘燕七等[9]提出一种基于胃镜图像浅层特征与深层特征融合的胃癌前疾病识别方法,提高了胃癌前疾病诊断的准确率。Lei等[10]利用CNN提取火眼图像的深层特征和从火眼图像中提取的人工特征进行特征融合,然后输入构造的半监督极限学习机进行过热度识别,识别准确率达到了87%。冯新扬等[11]在LeNet-5的基础上,提出了融合卷积神经网络特征的合成孔径雷达(synthetic aperture radar,SAR)图像识别方法,在不扩大训练样本条件下,平均识别率可达到98%。孪生支持向量机是在支持向量机的基础上提出来的,其性能优于支持向量机。通过提取彩色图像的颜色特征与纹理特征,利用孪生支持向量机与支持向量机对这些特征向量进行分类,孪生支持向量机的分类准确率和泛化性能优于支持向量机[12-13]。

在工业铝电解槽中,过热度受到各种因素的影响,识别过程困难；受火苗和碳渣的干扰,利用火眼图像来观测过热度的过程非常复杂。以上研究成果为铝电解槽中的过热度准确识别提供了有效参考。本文提出了卷积神经网络结合改进的最小二乘孪生支持向量机的方法,用于电解槽过热度的识别,并进行实验验证。

1 电解槽过热度分析

由于铝电解生产环境相对恶劣以及测量工艺的限制,加大了过热度测量的难度,因此难以在线测量过热度。图1为铝电解槽结构示意图,图2为出铝口处的火眼图。

目前,对铝电解过热度的准确测量需要离线进行,无法及时获得反馈信息对电解槽进行调整,因此过热度的识别主要是通过铝电解厂工人观测火眼来判断,主观性较大[2]。

过热度的影响因素有11个,分别为槽电阻、针振和摆动、阳极效应、电解质水平、峰值电压、阳极移动、铝水平、电阻升降、槽温、分子比,因此,在一定程度上可以认为过热度是多个工艺参数的综合,识别出过热度就可简化决策过程。

2 过热度识别模型

图3为本文所提出的CNN-CGWO-ILSTSVM过热度识别模型构建示意图。该模型利用卷积神经网络进行深层特征的提取,然后将提取出的深层特征和浅层特征(纹理特征和颜色特征)融合构成输入特征矩阵,将其作为优化后的分类器CGWO-ILSTSVM的输入,图中实线箭头表示模型训练过程,虚线箭头表示过热度在线识别过程,在线识别过程无需再进行分类器的训练。过热度识别模型的建立过程将在下文的实验方法及实验结果中展示。

图3 CNN-CGWO-ILSTSVM过热度识别模型构建示意图

3 CGWO优化ILSTSVM分类器

孪生支持向量机(twin support vector machine,TWSVM)是在支持向量机的基础上提出来的,TWSVM所求解的二次规划问题的规模是传统支持向量机(support vector machine,SVM)的1/4,理论上TWSVM的运算效率是传统SVM的4倍,因此相较于SVM,TWSVM分类效率有了很大提升[14]。经典的SVM实现了结构风险最小化原则,而不是经验风险最小化原则，而最小二乘孪生支持向量机(least squares twin support vector machine,LSTSVM)实现了经验风险最小化原则。受此研究的启发,Yi等[15]提出了一种改进的最小二乘孪生支持向量机(improved least squares twin support vector machine,ILSTSVM)算法来提高分类精度。ILSTSVM可以通过求解以下QPPs得到。

ILSTSVM1:

(1)

s.t.-(Bw1+eb1)+ξ=e。

(2)

ILSTSVM2:

(3)

s.t.Aw2+eb2+η=e。

(4)

式中：A=[A1A2…Am1]′表示+1类样本矩阵；B=[B1B2…Bm2]′表示-1类样本矩阵；w1、b1、w2、b2为2个超平面的参数；c1、c2、c3、c4为惩罚因子；ξ、η表示误差量；e表示全1向量。ILSTSVM采用的核函数为径向基函数(radial basis function,RBF),其核参数为σ。ILSTSVM需要选择的模型参数有c1、c2、c3、c4、σ,而人为选择主观性较大,难以获得理想的分类性能,因此本文利用混沌灰狼优化算法(chaos grey wolf optimization,CGWO)来进行参数寻优。

标准灰狼优化算法(grey wolf optimization,GWO)存在收敛速度慢的缺点,在寻优后期,随着种群多样性快速降低,极易陷入局部最优解,难以寻优得到ILSTSVM较好的一组参数。CGWO算法为提升算法局部寻优能力,加快算法收敛的速度,引入粒子群优化算法(particle swarm optimization,PSO)中的个体记忆功能,在灰狼位置更新方程考虑灰狼个体经过的历史最优解[16]。采用CGWO算法进行优化的目标是通过选择参数{c1,c2,c3,c4,σ},使过热度的分类精度Aacc最高:

(5)

式中：TP为真阳性；FP为假阳性；FN为假阴性；TN为真阴性。

为了提高分类精度本文采用如下的适应度函数:

fit=100×(1-Aacc)。

(6)

采用CGWO对ILSTSVM模型参数{c1,c2,c3,c4,σ}进行优化的具体步骤如下:

Step1:根据每个参数的范围进行编码,得到参数集{c1,c2,c3,c4,σ}；

Step2:利用Cat混沌映射产生灰狼初始种群；

Step3:采用参数集训练ILSTSVM模型,并采用式(6)计算适应度函数值,依据适应度对个体进行排序；

Step4:进行变异操作,采用高斯变异算子对当前最优解按设定的变异概率操作；

Step5:更新后的种群替换原始种群；

Step6:循环操作,若未达到最大循环次数,转向Step 3,否则,执行Step 7；

Step7:返回最优参数集,采用ILSTSVM模型进行过热度识别。

4 实验方法

4.1 数据集采集及预处理

实验数据集为铝电解槽出铝口处的火眼视频流,它们是由生产现场的操作人员用工业摄像设备采集。火眼图像数据本身包含大量的冗余数据,因此在对图像进行分类任务之前需要对图像进行预处理。火眼图像预处理过程如图4所示。

图4 火眼图像预处理过程示意图

根据文献[17]的研究结果及火眼图像R通道像素分布特点得出火眼图像分割公式，

(7)

R(i,j)、G(i,j)和B(i,j)分别为在RGB颜色空间模型中(i,j)位置的R通道像素值、G通道像素值和B通道像素值；Rmean为整个图像的R通道平均值；L为图像像素点的个数。图5为待分割的火眼图,在图像分割后还存在较多的噪声,需去除小的连通域,通过试验,域值取500效果较好。图6为去除小连通域后的二值图,从图6的结果来看在去除噪声后能够把火眼区域保留下来,达到了分割的目的。为了保留图像中火眼信息的同时保证算法的实时性,本文在分割后的图像中选择出合适的矩形阈值窗口对火眼图像进行裁剪,裁剪后的火眼图像如图7所示。

图5 待分割的火眼图

图6 去除小连通域后的二值图

图7 裁剪后的火眼图像

4.2 特征提取

本文采用卷积神经网络提取火眼图像的深层特征,同时提取火眼图像常用的浅层特征。浅层特征包括颜色特征和纹理特征,然后将提取到的深层特征和浅层特征进行融合,构成输入特征向量。这样模型不仅学习彩色图像丰富的深层特征,同时也学习了传统图像识别中的浅层特征,用以提高过热度识别的精度。表1为从火眼图像中提取的特征类型。

表1 从火眼图像中提取的特征类型

4.2.1 利用CNN提取深层特征

本文利用卷积神经网络CNN从裁剪后的火眼图像中提取深层特征。图8为利用CNN从图像中提取深层特征的示意图,它是具有2层卷积层、2层最大池化层、2层全连接层的6层网络。其中Conv1及Conv2表示卷积后的特征图，P1及P2表示池化后的特征图，F1及F2表示链接层的特征向量。CNN的输入是预处理后尺寸为234×206×3的RGB图像。最后,利用训练好的CNN提取64维的深层特征向量。

图8 利用CNN从图像中提取深层特征的示意图

4.2.2 特征融合

将利用卷积神经网络提取的火眼图像的深层特征与从火眼图像中提取的颜色特征与纹理特征进行融合,本文使用式(8)来表示浅层特征矩阵,式(9)表示融合后的特征矩阵。

Msimple=[Mcolor,Mtexture]，

(8)

Mfusion=[Mdeep,Msimple]，

(9)

式中：Mdeep表示从CNN中提取的深层特征向量；Mcolor表示颜色特征向量；Mtexture表示纹理特征向量。

5 实验结果分析

本文通过以上实验来测试分类器CGWO-ILSTSVM的分类性能以及CNN-CGWO-ILSTSVM模型在铝电解槽过热度识别中的性能。所有实验在CPUi7-RTX2060,16 GB内存和Windows 10的PC上运行,程序采用MATLAB 2019b的M脚本语实现。

5.1 分类器CGWO-ILSTSVM在UCI数据集上的分类性能

为了验证所提方法CGWO-ILSTSVM的有效性,利用UCI机器学习库中的典型数据集进行与SVM、LSSVM、TWSVM、LSTSVM、Grid-ILSTSVM、GWO-ILSTSVM的对比实验。从UCI标准分类数据集中选择monks-1、monks-2、monks-3、spect、spectf共5个数据集进行训练与测试,表2为UCI数据集的属性信息。

表2 UCI数据集的属性信息

由于所用寻优算法属于启发式算法,每个运行周期得到的结果可能不完全相同,因此每个算法运行5次,每次最大迭代次数为100,并将5次运行结果中的最优适应度值相对应的{c1,c2,c3,c4,σ}作为ILSTSVM的最优参数,表3给出了不同寻优算法得到的最优参数{c1,c2,c3,c4,σ}、算法运行5次的平均参数寻优时间、平均运行时间(平均运行时间包含平均训练时间和平均测试时间)、在测试集上的平均准确率。在接下来的实验中涉及到的相关数据都将采用此类方法。

表3 不同算法参数寻优结果比较

由表3中的实验结果可以看出,CGWO提高了算法的全局搜索能力[16],所带来的优点是泛化性能更好,不足之处是使得参数寻优时间较其他算法更长,在UCI数据集的实验CGWO-ILSTSVM的测试精度均高于其他算法的,达到了提高算法分类精度的目的，因此本文采用CGWO-ILSTSVM作为过热度识别模型中的分类器。

5.2 过热度识别模型CNN-CGWO-ILSTSVM性能分析

在分析特征提取及分类器的参数优化后,本文进行了实验来评估CNN-CGWO-ILSTSVM模型在过热度识别中的性能,与之进行对比的有Grid-ILSTSVM、GWO-ILSTSVM、CGWO-ILSTSVM这些扩展的方法，同时也选择了SVM、ELM、LSSVM、TWSVM、LSTSVM这5个常用分类器进行对比实验。

5.2.1 火眼图像数据集扩增及特征选择

为了减少从同一个火眼视频中分离出图像间的相似程度,增加样本的多样性,采用在同一个火眼视频中相隔一段时间取一帧火眼图像的方法。由11个低过热度火眼视频分解出低过热度火眼图像103张；由19个高过热度火眼视频分解出高过热度火眼图像147张。另外,对获取的火眼图像样本采用数据扩增策略,包括镜像翻转、加入高斯噪声、平移、多角度旋转(90°和270°)、选择图像的4个角的186×186和中间的186×186进行裁剪,这样每张火眼图像将得到10张扩增的图像。

通过上述操作,将原来的数据集扩大了10倍,得到1 133张低过热度图像、1 617张高过热度图像。其中,随机分配75%(2 063张)用作训练集,25%(687张)用作测试集。

接下来分别分析基于浅层特征Msimple、基于深层特征Mdeep、基于融合特征Mfusion的过热度识别精度,同时分别比较不同算法的性能。

5.2.2 基于不同特征的实验分析

CNN框架的框架参数如图8所示,CNN的其他参数包括最小批量、学习率和激活函数,在本文的实验中最小批量设置为50,学习率取0.000 3,激活函数采用relu函数。ELM的隐层神经元数目为50个,其激活函数为Sigmoid函数。

由测试集的分类实验可获得混淆矩阵的4个指标，即TP(真阳性)、FP(假阳性)、FN(假阴性)、TN(真阴性)。利用式(10)—(13)可以计算出准确率σacc、精确率σpre、召回率σrec、F1分数。

(10)

(11)

(12)

(13)

最优适应度值、平均准确率、F1平均分数、平均运行时间这4个指标用来评估算法的性能。表4为基于浅层特征、深层特征和特征融合的实验结果。

由表4可以看出基于特征融合模型的识别精度及F1分数均高于基于浅层特征模型和基于深层特征模型,而由于特征融合后的输入分类器的特征维数增加,因此模型的运行时间表现为增加的趋势。在基于同一种特征的模型中,ILSTSVM分类器的运行时间略大于ELM分类器的,但相较于SVM、LSSVM、TWSVM、LSTSVM分类器均有优势,尤其相比于SVM优势更加明显,因此ILSTSVM分类效率较高。另外,基于特征融合的模型中,本文所提出的CNN-CGWO-ILSTSVM模型识别精度最高,达到了93.675%,且均高于现有基于火眼图像的铝电解过热度识别方法。

表4 基于不同特征的实验结果

6 结语

本文针对ILSTSVM算法应用到火眼图像识别领域时参数选择困难的问题,提出了一种混沌灰狼算法优化改进的最小二乘孪生支持向量机(CGWO-ILSTSVM)火眼图像识别方法,提高了ILSTSVM的识别率,为ILSTSVM应用到图像识别领域提供了一种行之有效的新方法。

为实现从火眼图像中提取出可以准确描述火眼信息的特征,本文提出一种过热度识别模型即CNN-CGWO-ILSTSVM,主要思想是将CNN提取的分割后的火眼图像的深层特征和浅层特征进行融合,然后利用CGWO-ILSTSVM作为分类器对工业铝电解槽的过热度情况进行识别,实验结果表明,该方法在铝电解过热度识别方面显示出更好的优越性。