基于即时学习的软测量建模实时性改进

张宏伟,李鹏飞,景军锋,张 蕾,赵永涛

(西安工程大学 电子信息学院,陕西 西安 710048)

1 引言与预备知识

在石油冶炼等流程工业的自动化生产过程中,软测量模型已经被广泛应用于过程参数的实时估计或预报.随着生产过程变得越来越复杂,过程的机理也越来越复杂,所以建立一个准确的机理模型非常耗时且效果不佳.不同于机理建模的方式,利用生产过程的历史数据,建立基于数据的软测量模型在近几年出现了许多广泛应用的偏最小二乘回归(PLS)[1-2]、人工神经网络(ANN)[3]、支持向量机回归(SVR)[4]和最小二乘支持向量回归(LSSVR)[5]等方法.

在石油冶炼等流程工业中,设备特性和催化剂活性等过程特性会随着时间发生变化,比如设备老化、催化剂钝化、原材料因生产任务的改变而改变等等,建立的软测量模型必须随系统特性的变化及时更新,才能准确估计过程参数.许多基于递归的方法被用来解决软测量模型自动更新的问题,比如递归PLS[6-7]、递归SVR.尽管通过递归的方式能够把软测量模型调整到一个新的工况,但是这种方式却无法处理工况发生突变的问题.为了使软测量模型在工况变化时能够快速自动调整,近年来的很多研究和应用使用即时学习的方法用于软测量建模和过程参数估计[8-9].

在传统的基于即时学习的软测量建模方法中,建立局部模型是计算耗时最多的一个环节.如果能够根据工况的实际变化情况,在工况发生突变的时候,及时更新局部模型;而在工况区域稳定的间歇,降低局部模型更新的频率,将有效地减少局部模型建模的耗时,提高预测的实时性.在实际的生产过程的大部分时间内,工况总是稳定在几个主要的工作区域.在工况稳定的区域内,使用即时学习建立的局部模型在预测过程参数时并不需要每次更新.

本文针对在及时学习方法每次预测过程参数时均需要更新局部模型、软测量建模耗时久的问题,提出了1个判定工况是否发生变化的参数和以该参数为基础的控制局部模型是否更新的方法,并和其他改进控制即时学习实时性的方法进行实例对比的研究.通过对比分析,本文提出的方法能够在稳定的工况下准确停止局部模型的更新,在工况突变的时刻及时更新局部模型,所以该方法有效的运算量较小，实时性好,同时又能较好地跟踪工况的突变,具有较准确的估计预测能力.

与全局学习相比,即时学习的局部模型建立时需要的建模样本数据较少,为了保持较好的预测泛化能力和预测实时性,最小二乘支持向量回归机经常用于即时学习的建模.为了对比不同的局部模型更新频率策略对实时性等性能的影响,本文后面的软测量建模使用的都是最小二乘支持向量机(LSSVR).

LSSVR具有快速的学习能力,计算简单.在小样本情况下,LSSVR能够取得较好的学习效果.一组输入样本,LSSVR通过非线性映射将训练数据集映射到一个高维特征空间,从而使非线性函数估计问题转化为高维特征空间中的线性函数估计问题.设回归函数为y=f(u)=+b,其中<·,·>为内积运算,LSSVR在回归估计中,即为求解如下的优化问题,可以写为

(1)

s.t.yi=+b+ei,i=1,…,n.

(2)

其中ei为误差向量,γ为用于折中训练误差和模型复杂性的惩罚系数.为了求解该优化问题,构建拉格朗日函数:

(3)

因此,优化问题的求解过程就转换成求解一个线性方程组.根据Mercer条件,LSSVR的模型为

(4)

其中αi为每个训练样本的系数,f(u)为LSSVR的预测模型,K(ui,u)为非线性的核函数,本文采用较常用的高斯核函数.对于一个新的数据样本unew,由LSSVR预测的输出可以计算：

(5)

图1 全局模型和局部模型结构的区别

2 实时性改进

2.1 传统的即时学习算法

与利用全部历史数据离线建立一个全局模型的方法不同,即时学习在每次估计或预测过程参数时都需要重新建立一个局部模型,即更新局部模型,即时学习的局部模型结构和离线学习的全局模型结构的对比如图1所示.

当新的待测样本unew需要估计过程参数的时候,根据传统的在线学习建模的基本原理,需要经过3个主要步骤:首先在一定的相似性尺度下,计算当前样本与全局数据库内样本点的相似性关系,然后依据相似性的大小选择较相似的若干样本,确定相关数据集;然后利用相关数据集建立新的局部模型;最后根据unew和新建立的局部模型预测输入值.该局部模型在使用之后即被抛弃.当下一个待测样本unew+1来临的时候,重复上述步骤.

在建立局部模型之前,先根据unew选择用于建立局部模型的相关数据集.相似性的测度有很多,比如欧氏距离、马氏距离和角度等,但这不是本文的研究重点,为了简化,本文后面的研究默认采用欧氏距离d(unew,ui)=‖unew,ui‖2作为相似性的测度,用来选择建立局部模型的相关数据集.

按照式(6)计算待测样本unew和全局数据库内数据样本ui相似性指数:

(6)

其中d2(unew,ui)表示unew和ui的欧式距离.在上述计算结束之后,将得到的相似性指数降序排列.依据相似性大小,从数据库中依次选取L个相关性最大样本{ui,yi}1,2,…,L作为相关数据集,用来建立局部模型.在后面的软测量建模部分,建立局部模型的相关数据集表示为{UL,yL}.根据LSSVR的建模步骤,可以推导出基于在线学习的LSSVR软测量模型,训练后得到的模型参数分别表示为wL,αL和bL,对于待测样本unew的测试结果表示为

(7)

2.2 实时性改进对比研究

即时学习需要在线建立局部模型并预测输出,建模的实时性是实际应用的重要参考指标.如果系统运行在相对稳定的一段工况,那么unew会在一个非常小的范围内变化,则每次选取的{UL,yL}几乎不变,所以在这种情况下,用于更新局部模型的计算是不必要的.文献[5]提出通过计算前后相邻两个样本的变化,并与设定的阈值相比较,用于判断是否需要更新局部模型,其算法步骤为

(1) 假定当前为t时刻,待测输入unew(t),且模型需要更新.以欧氏距离为相关性测度,使用式(6)计算unew(t)与数据库样本的相似性指数si,i=1,2，…,n,其中n为数据库样本的总数.挑选相似性指数大小为前L的样本{UL,yL},建立了1个局部模型f(unew(t))预测输出.同时相似度最小的那个值min(sL)作为t+1时刻判断是否更新模型的阈值cut(t+1).

(2) 在t+1时刻,待测输入变为unew(t+1),使用式(6)计算unew(t+1)与unew(t)的相似度指数,若小于cut(t+1),则不更新局部模型，否则局部模型更新为f(unew(t+1)),cut(t+1)更新为cut(t+2),建模步骤同步骤(1).

(3) 后面以此类推,在t+n时刻,先计算unew(t+n)与unew(t+n+1)的相似度,如果相似度小于cut(t+n+1)阈值,则不更新局部模型.否则更新局部模型,建模步骤同步骤(1).

该方法虽然能够有效地降低模型的更新频率,但是该方法在待测样本缓慢变化的时候,极容易发生模型更新迟钝的情况,这样会导致模型的估计能力出现较大偏差的情况.

2.3 实时性改进算法

上述控制局部模型更新频率的算法给即时学习实时性改进提供了很好的思路,但是无法解决待测输入缓慢变化时,待测输入微小偏差引入的累计误差问题.这样会导致无法及时更新局部模型,所以为了解决相邻待测输入偏差微小时局部模型更新无法跟踪系统变化的问题,提出以下改进算法：

(1) 假定当前为t时刻,待测输入unew(t),且模型需要更新.以欧氏距离为相关性测度,使用式(6)计算unew(t)与数据库样本的相似性指数si,i=1,2,…,n,其中n为数据库样本的总数，挑选相似性指数大小为前L的样本{UL,yL},建立了1个局部模型f(unew(t))预测输出.同时相似度最小的那个值min(sL)作为t+1时刻判断是否更新模型的阈值cut(t+1).

(2) 在t+1时刻,待测输入变为unew(t+1),使用式(6)计算unew(t+1)与unew(t)的相似度指数,若小于cut(t+1),则不更新局部模型.否则局部模型更新为f(unew(t+1)),cut(t+1)更新为cut(t+2),建模步骤同步骤(1).

(3) 若t+1时刻模型未更新,unew(t+2)与该局部模型建立之初的那个待测输入unew(t)计算相似度,如果相似度大于阈值cut(t+2),则不更新局部模型.否则更新局部模型建模步骤同步骤(1).

该方法最大的特点是判断是否需要更新局部模型之前,需要比较当前待测输入和上一局部模型建模之初所使用的那个待测输入的相似性指数,而不是比较相邻两个时刻待测输入的相似性.该方法除了能够保证较高的实时性,还能够及时地跟踪系统的动态变化.

3 案例研究与讨论

为了验证改进算法的性能,使用1个去丁烷塔的生产数据进行案例分析.为了评价算法的实时性改进程度和预测的准确性,提出使用局部模型建模时间(CPU Time),预测值与真实值的均方差(Root Mean Square Error(RMSE))两个指标作为评价准则.

图2所示为Fortuna在文献[10]中给出的预测丁烷值的生产数据集的部分数据,该数据集已被很多学者作为评价软测量算法性能的数据进行分析.该数据集有7维输入{u1,u2,u3,u4,u5,u6,u7},1维输出{Y},共2 000组数据.为了测试本文改进算法的性能,随机抽取1 000组作为测试样本集,另外1 000组作为即时学习的训练样本集.

图2 去丁烷塔的输出数值特性 图3 不同即时学习模型的预测结果

图4 不同模型在不同L值下的建模时间与预测均方差

为了对比实时性改进的性能,用于建模和测试的计算机配置统一为:操作系统为Windows XP(32 bit),CPU为Intel Core2 Quad Q8300(2.5GHz),内存为2GB,MATLAB版本为2009a.使用上述丁烷塔数据,分别建立3个LSSVR软测量模型：传统的即时学习模型、文献[5]中提到的实时性改进模型和本文提出的实时性改进模型,其中LSSVR模型统一选用高斯核,核参数σ均为2，惩罚系数γ均为150.

图3为L取40的情况下得到的结果,其顶部图片是未作实时性改进的及时学习模型的预测结果,中间的图片是按照文献[5]进行实时性改进的预测结果,底部的图片是按照本文提出的方法得到的预测结果.从图3可以看出，本文提出的实时性改进算法在预测的准确性上和传统的方法相近,而文献[5]提及的改进算法在系统发生突变的时候,会出现一些明显的跟踪误差,而本文提取的方法能够较好地跟踪系统发生的突变.

图4(a)比较了上述3个模型的建模时间,可以看出本文提出的算法比文献[5]的算法耗时要多一些,但是与传统的未作实时性改进的方法比较起来并未随着L值的增加而明显增加建模时间,很好地提高建模的实时性.而从图4(b)可以看出,本文提出的算法的预测偏差已经达到了和传统的即时学习方法同样的效果.相比之下,本文提出的实时性改进算法比文献[5]提到的算法预测偏差能降低很多.综上所述,从建模时间和预测准确性的两个方面看,本文提出的算法能够在保证预测准确性的条件下,减少了建模所耗的时间,提高了系统的实时性.

4 结束语

提出了一种针对即时学习方法实时性改进的策略,使用LSSVR作为局部模型建立软测量模型,并通过和其他两种不同即时学习方法进行案例分析对比研究.实验结果验证了本文提出的方法既能显著地减少建立局部模型所耗时间,明显提高软测量建模预测实时性,同时又能很好地跟踪系统的突变,确保了预测的准确性没有因为实时性的提高而明显降低.

参考文献：

[1] BYLESJO M,RANTALAINEN M,NICHOLSON J K,et al.K-OPLS package:Kernel-based orthogonal projections to latent structures for prediction and interpretation in feature space[J].Bmc Bioinformatics,2008(9)：106-107.

[2] FACCO P,DOPLICHER F,BEZZO F,et al.Moving average PLS soft sensor for online product quality estimation in an industrial batch polymerization process[J]. Journal of Process Control,2009,19(3):520-529.

[3] KO Y D,SHANG H L.A neural network-based soft sensor for particle size distribution using image analysis[J].Powder Technology,2011,212(2):359-366.

[4] JAIN P,RAHMAN I,KULKARNI B D.Development of a soft sensor for a batch distillation column using support vector regression techniques[J].Chemical Engineering Research & Design,2007,85(A2):283-287.

[5] GE Z Q,SONG Z H.A comparative study of Just-In-Time-Learning based methods for online soft sensor modeling[J].Chemometrics and Intelligent Laboratory Systems,2010,104(2):306-317.

[6] QIN S J.Recursive PLS algorithms for adaptive data modeling[J].Computers & Chemical Engineering,1998,22(4-5):503-514.

[7] LI C F,YE H,WANG G Z,et al.A recursive nonlinear PLS algorithm for adaptive nonlinear process modeling[J].Chemical Engineering & Technology,2005,28(2):141-152.

[8] FUJIWARA K,KANO M,HASEBE S,et al.Soft-sensor development using correlation-based Just-In-Time modeling[J].Aiche Journal,2009,55(7):1754-1765.

[9] CHENG C,CHIU M S.Nonlinear process monitoring using JITL-PCA[J].Chemometrics and Intelligent Laboratory Systems,2005,76(1):1-13.

[10] FORTUNA L,GRAZIANI S,XIBILIA M G.Soft sensors for product quality monitoring in debutanizer distillation columns[J].Control Engineering Practice,2005,13(4):499-508.