基于回声状态网络的结构逼近式灰箱建模

雷晓义

摘  要：针对化工生产过程中反应机理大致清楚，而参数及结构部分未知这样一大类对象，提出了一种基于回声状态网络（ESN）和反应基元相结合的结构逼近式灰箱建模方法。首先，根据对象的先验知识及反应机理，选择反应基元代替结构未知部分。其次，将反应基元与先验知识作为回声状态网络状态池内的神经元，赋予网络节点实际的物理意义建立结构逼近式模型。最后，通过带遗忘因子的递推最小二乘算法训练所建模型，进而建立起表示系统结构的灰箱模型。该建模方法不但可以充分利用对象的先验知识，而且可以更好的从结构上逼近对象模型，可更好地解释和描述系统各变量间的关系。通过对石化工业中广泛应用的连续搅拌釜式反应器（CSTR）的仿真，实验结果证明了所提方法的有效性。

关键词：结构逼近式灰箱建模;回声状态网络;迭代线性化

1、引言（Introduction）

随着工业规模朝复杂化方向发展，建立准确的过程模型是设计性能优良控制系统的前提。当今对于过程的建模方法主要有以下三种方式：一是利用机理的方法建立“白箱”模型[1]。由于过程对象严重的非线性以及众多不可在线测量信息等因素的制，该建模方法在实际应用中实施难度较大。二是利用神经网络拟合的方法建立黑箱模型，如Cao Liulin等人应用串联、并联神经网络和混合神经网络[2-3]等多种方法实现了化工过程建模。该建模方法虽然易于实现，但是没有充分利用先验知识。三是被广泛研究并应用的灰箱建模方法，如Zahedi等人用灰箱建模方法实现了环氧乙烷反应器的建模[4]。CHEN Jindong等将发酵动力学模型和RBF神经网络相结合建立了灰箱模型[5]。灰箱建模方法由于充分利用了“白箱”建模方法和“黑箱”建模方法的优点，因此得到了越来越多的研究和被广泛的应用。

在工业生产中反应器的种类颇多并且有其各自不同的特点，在众多的反應器中连续搅拌釜式反应器（CSTR）由于运行投资少，热交换能力强和产品质量稳定[6]等优点，被广泛地应用到化工工业过程中[7]，并且取得了显著的发展。因此，本文在考虑化工反应过程中如CSTR这样的一大类对象（模型结构基本清楚，但是部分结构和参数未知且因对象而异）和第二类、第三类建模方法以及深入、细致分析对象特征的基础之上，提出了基于回声状态网络和反应基元的结构逼近式灰箱建模方法，试图最大可能的逼近系统模型，并通过实验证明了方法的可行性。

2、回声状态网络（Echo State Network）

经典的回声状态网络是由Jaeger [8]提出的一种离散型神经网络，并在非线性时间序列预测等领域取得了成功应用。与通常的递归神经网络不同，回声状态网络状态池内的状态可任意连接，并且状态之间的连接权值可随机产生，而输入至输出的映射关系仅需训练输入、状态与输出变量之间的连接权值即可实现。考虑到回声状态网络状态池内状态可任意连接，且其内部线性、非线性元素可灵活组合的特点。因此，本文将其与反应基元相结合构成结构逼近式灰箱模型，进而提高所建模型的泛化能力。回声状态网络的结构如图1所示，其状态更新方程和输出方程分别如公式（1），（2）所示。

，分别表示k时刻的输入向量，k时刻的状态向量，k时刻的输出向量。取值矩阵 ， ， 分别表示输入连接权矩阵，状态池内部连接权矩阵，反馈连接权矩阵，这些权值在初始化时随机生成并且固定不变。

表示输出连接权矩阵，需要训练得到。 表示状态池内神经元激活函数，一般选为sigmoid函数。 为输出神经元函数，根据问题的不同可以选为线性函数或非线性函数。

3、灰箱建模方法（Hybird modeling method）

3.1 建模方法介绍（Introducing modeling method）

实际化工过程中存在一大类反应机理基本清楚，但部分结构和参数等未知且因对象而异的非线性对象。而非线性因素 是系统状态变量的非线性函数，可使用非线性代数方程进行描述，此外其还具有稳态可分离特性。因此可用线性状态空间描述方法描述这类对象模型如式（3）所示。

其中，X、U、Y分别表示对象的状态向量，输入向量和输出向量。R非代表非线性部分输出， 、 、 分别为线性函数， 为非线性函数， 、 、 、 分别代表状态转移矩阵。在此把非线性部分带入到状态方程中得到对象模型如式（4）。

由于回声状态网络的状态池是稀疏链接的并且状态池内神经元函数和输出神经元函数可以为线性或非线性函数。因此为了实现结构逼近式灰箱建模需要将公式（1）（2）转化为公式（5）所示的形式。

其中： ， ， ， ， 代表状态池内神经元为线性函数的个数。

通过对比公式（4）与（5）后，可以清楚的看到回声状态网络方程和对象的状态空间方程具有相似的结构。这样将对象已知的部分和用反应基元代替的未知部分同时融入到回声状态网络的状态池内，赋予神经元实际的物理意义，并按照已知的结构进行连接，进而从结构上逼近对象模型。将对象部分先验知识作为回声状态网络的输入权值或状态池内权值固定下来。通常回声状态网络通过训练输出权值Wout来满足建模要求，而本文为了真正的实现结构上逼近原系统，对于Wout按照实际需要进行固定，而对于状态池内未知的参数作为训练的权值通过采用带遗忘因子的递推最小二乘算法进行训练求得。因此，将上述建模方法称为结构逼近式灰箱建模方法，其结构如图2所示。对于上述建模方法而言，如何合理的选取系统的反应基元以及如何进行权值训练进而实现反应基元间的关联是实现结构逼近式灰箱建模方法的关键和难点。

3.2 反应基元的选取（Choosing fundmental genes）

如今化工过程中的很多模型存在3.1节所述的特点，即其可以被分解成非线性静态和线性动态两部分，而反应器的非线性因素主要体现在反应速率方程中[9]，但是实际过程中反应速率方程又由于反应级数以及反应速率常数等不同致使有很大的不同。通过化学知识可知反应速率方程是一个幂指形式的表达式并且反应速率常数、反应级数和活化能等往往未知如公式（6）所示。

其中 代表反应速率常数、 和 代表反应级数、 代表活化能与温度的商， 和 代表反应物的浓度，H代表反应速率方程的个数。

通过前文可知为了能够实现结构逼近式灰箱建模，需要选择合适的反应基元，而通过公式（6）建立准确的模型，又需要准确的求得上述未知参数。针对反应基元的选取问题，可以通过对化工过程的机理分析，获取系统的某些先验知识作为反映基元，然后再进一步通过优化算法进行优化选取。这种方法虽然可行，但是该方法存在以下问题：（1）先验知识常常无法适合系统建模的具体表达。（2）采用先进的优化算法对众多的反应基元进行优化选择，不但工作量大而且可靠性也不容易保证。针对参数估计问题，通过辨识的方法可以得到参数值，但是对于上述非线性严重的幂指形式表达式以及数量级相差悬殊的速率常数和反应级数同时辨识的准确性难以保证。

考虑到上述问题本文首先将（6）变换为公式（7）所示的形式解决了后续训练中因参数数量级相差悬殊造成的不准确问题。然后在考虑上述反应基元选取的缺点以及通常泰勒级数展开的一阶项可以很好的近似非线性函数等因素后，将公式（7）进行一阶泰勒级数展开并舍弃二阶及二阶以上的高阶项如公式（8）所示。而将公式（8）中除未知参数以外的已知项与已知的机理部分当作反应基元，作为状态池内的神经元进行连接，实现结构上逼近系统模型。

其中 ， ， 为未知参数，而 ， ， 为稳态工作点。

3.3 网络的训练（Training network）

针对3.1节中提到的参数估计这个关键点和难点以及3.2节中初始时刻在随意点进行泰勒级数展开进行线性化而造成的误差等问题，本文采用迭代线性化和带遗忘因子的递推最小二乘算法相结合将参数估计转变为状态池内的权值训练。其基本思想为：首先对于3.2节中线性化后的公式（8）应用带遗忘因子的递推最小二乘算法得到一組新的权值。其次将非线性函数在新的权值附近线性化，对新线性化的模型再应用带遗忘因子的递推最小二乘算法，又得到一组新的权值。重复此过程，直到权值收敛为止。

为了使用简便、有效的带遗忘因子的递推最小二乘算法实现权值的训练，得到所需要的参数值进而建立对象模型，需将公式（8）转换为公式（9）所示的形式。

4、仿真及分析（simulating and analysising）

为了验证本文所提方法的有效性，本文选取一类典型的CSTR为建模对象。通过对反应过程、实际情况以及所提结构逼近式灰箱建模方法的分析，将反应过程的动态方程及反应速率方程转变为状态方程（10）和（11）所示的形式，有关对象参数的理论值见表1所示。

建模时将反应物A的进料浓度CAf，反应物B的进料浓度CBf，进料温度Tf，冷却剂温度Tcf及进料流量q作为作为模型的输入变量（操纵变量和扰动变量）即 ，将反应物A浓度，反应物B浓度，生成物C浓度和温度T作为状态变量（含输出变量）， 。

根据3.1-3.3节可将基于回声状态网络和反应基元的结构逼近式灰箱建模步骤概括如下：

（1）使模型的输入信号在取值域内随即变化，生成模型的训练样本集。为了模拟生产实际，在输入变量中加入白噪声信号。

（2）将公式（11）按照公式（9）所示的形式展开，并将公式（10）按照3.1节所述建立结构逼近模型，考虑到浓度C方程受反应速率方程的影响更大，因此另外加入CC作为一个反应基元并与浓度C相连接。

（3）根据浓度A方程、浓度C方程、温度方程利用带遗忘因子最小二乘对Q、D、S、反应基元CC的权值、 、 进行递推训练。

（4）将训练好的权值带入到模型结构中，即得到结构逼近式灰箱模型。

为了验证所提方法的有效性，本文将所提方法与传统回声状态网络的黑箱建模方法作比较。为了定量的说明所提方法的有效性，在此引入式（12）所述的平均相对误差。

其中 为样本个数， 、 为理论值、预测值。

为了能够更直观的说明所提方法的有效性，本文给出了灰箱建模情况下部分参数估计值如图（3）-（6）以及黑箱建模方法和基于回声状态网络和反应基元的结构逼近式灰箱建模方法浓度C的泛化相对误差曲线、泛化相对误差分布情况如图（7）-（10）。

5、结论（Conclusion）

本文所提的基于回声状态网络和反应基元相结合的结构逼近式灰箱建模方法，不但充分利用了已知对象的结构信息、参数信息和特点，而且将结构未知且非线性严重的部分合理线性化，并用反应基元代替。进而将已知信息与反应基元按照对象结构实现状态池内状态的合理连接。此外，利用遗忘因子的递推最小二乘对权值进行训练建立了结构逼近式网络，从而提高了所建模型的泛化精度和可靠性。仿真结果也证明了该方法的有效性。

参考文献

[1] Gentric G，Pla R，Corriou J P.Experimental study of the nonliner geometric control of a batch emulsion polymerization reactor.Computers Chem.Engng.1997，12（suppl.）：1043-1048

[2] Li X G.Research and Application on Hybird Modeling Approach for Chemical Processes[D].BeiJing University of Chemical Technology，2008.

[3] Liulin Cao，Dazi Li，Chunyu Zhang，et al.Control and modeling of temperature distribution in a tubular polymerization process[J].Computers &，Chemical Engineering，2007，31（11）：1516-1524

[4] Zahedi G，Lohi A，Mahdi K A.Hybird modeling of ethylene to ethylene oxide heterogeneous reactor[J].Fuel Processing Technology，2011，92（9）：1725-1732

[5] CHEN JINGdong（陳进东），Pan Feng（潘丰）.Hybird modeling for penicillin fermentation process[J].Journal of Chemical Industry and Engineering.2010，61（8）：2092-2096.

[6] MacGreor JF，Penlidis A，Hamielec A E.Control of polymerization reactors：a review，5th IFAC PRP Conf..Antwerp，1983

[7] DU Jingjing，SONG Chunyue，LI Ping.Modeling and control of a continuous stirred tank reactor based on a mixed logical dynamical model[J]，Chinese Journal of Chemical Engineering 2007，15（4）：533-538

[8] Jaeger H.The “echo state”approach to analyzing and training recurrent neural network[R].Bremen：GMD Report 148，GMD-German National Reasearch Institute for Computer Science，2001

[9] CAO Liulin（曹柳林），LI Xiaoguang（李晓光），Wang Jing（王晶）.Modeling of batch reactor based on structure    approaching hybird neural networks approach[J].Journal of Daizhan Cheng，R.Ortega，E.Panteley，On port controlled Hamiltonian systems，in Advanced Robust and Adaptive Control –Theory and Applications，（D.Cheng，Y.Sun，T.Shen，H.Ohmori eds），3-16，，2005.Chemical Industry and Engineering.2008，59（4）：958-96