基于事件驱动的多智能体系统参数辨识

李昊哲， 王宏伟,2*

(1.新疆大学电气工程学院， 乌鲁木齐 830047; 2.大连理工大学控制科学与工程学院， 大连 116024)

分析上述研究可以发现，采用一致性原理解决多智能体系统参数辨识问题的有关成果，大多是针对输入和输出数据可观测，且存在独立随机噪声干扰的系统展开的研究。而且上述研究中，不同智能体的数据传输方式大都采用时间驱动(数据经过通信网络以分组的方式被周期性的发送和接收)。由于信道容量和通讯资源的限制，时间驱动通信方案可能不适合一些实际应用，如无线传感器网络要求较低的能量消耗。为解决时间驱动通信的不足，事件驱动通信方案在多智能体控制器的设计中已广泛使用，文献[13]提出基于事件驱动的自适应控制方法，使多个智能体的控制效果达到一致。基于事件触发的分布式滤波问题在文献[14-15]中进行了研究，状态估计值或协方差信息以间歇通信的方式传输给其他智能体，实现状态估计的一致性。文献[16]提出基于事件触发的递归分布式估计器，估计多智能体系统参数。但是，事件驱动的相关文献对含有色噪声的多智能体系统参数辨识研究上，还缺乏有效方法。主要困难为：①系统内部含有未知的中间变量；②测量数据的有色噪声干扰；③设计事件驱动通信机制，在保证系统参数估计精度的同时，降低通信网络中数据传输频率。

针对上述问题，研究Box-Jenkins模型描述的多智能体系统参数辨识。首先，从数据驱动建模的角度出发，利用辅助模型思想解决各个智能体系统内部不可测的中间变量和噪声项。其次，通过构造含有一致性策略的均方误差指标，得到数据传输协议。 然后，引入多新息思想将误差标量转换为误差向量提高辨识结果精度。同时，各个智能体间通过事件触发条件决定当前参数估计值是否应该传输分享给邻居智能体。最终，每个智能体都可以得到全局系统的模型参数。

1 多智能体模型建立

1.1 代数图论

首先，定义多个智能体之间通信网络拓扑图的关系为G≜(V,E,A)，其中V={v1,v2,…,vn}中的元素称为顶点，每个顶点表示一个智能体系统，该有限集合中一共包含n个顶点，节点vi代表第i个智能体系统。拓扑图中E⊆V×V表示边集合，其中E={e1,e2,…,en}，由无序顶点对{vi,vj}定义的边ep属于顶点集V。A=[aij]n×n是加权邻接矩阵，其中aij>0或aij=0。若每个节点都没有与自己相连的边，则aij=0。如果任意两个节点vi,vj∈V间存在一条路径，定义为边en=(vi,vj)，这表明节点vi和节点vj可以进行数据分享，那么就称多个智能体之间是联通的。如果对任意vi,vj∈V都有(vi,vj)∈E⟺(vj,vi)∈E成立，则称拓扑图G是无向且连通。

1.2 问题的描述

图1 Box-Jenkins多模型描述的多智能体系统辨识示意图

智能体i的模型描述为

i=1,2,…,q

(1)

式(1)中：{yi(k)}和{ui(k)}分别为智能体i的输入和输出序列；{vi(k)}为零均值、不相关随机白噪声且不可观测；Ai(z)、Bi(z)、Ci(z)和Di(z)均为已知阶(na,nb,nc,nd)的多项式，表达式为

(2)

式(2)中：z-1是后移算子，z-1yi(k)=yi(k-1)，记n=na+nb+nc+nd，定义未知中间变量xi(k)和不可观测的噪声项wi(k)为

(3)

(4)

每个智能体i的外界干扰噪声wi(k)既是一个自回归滑动平均过程，同时也是一个有色噪声过程。

定义智能体i的参数向量θi和信息向量φi(k)为

(5)

(6)

由于中间变量xi(k)、wi(k)和白噪声vi(k)是不可测的，所以信息向量φi(k)和ψi(k)未知。由式(3)和式(4)得

xi(k)=[1-Ai(z)]xi(k) +Bi(z)ui(k)=

(7)

wi(k)=[1-Ci(z)]wi(k) +Di(z)vi(k)=

(8)

将式(3)和式(4)代入式(1)中得到辨识模型为

(9)

由于智能体i的信息向量φi(k)中包含着未知的φi(k)和ψi(k)，因此需采用辅助模型思想解决该问题。

1.3 辅助模型的建立

-xai(k-na),ui(k-1),

ui(k-2), …,ui(k-nb)]T∈Rna+nb

(10)

辅助模型的输出定义为

(11)

式(11)与式(3)具有相同的结构，同理xai(k)也可描述成向量形式，即

(12)

(13)

(14)

(15)

设参数向量θi在k时刻的估计值为

(16)

(17)

(18)

2 多智能体系统的参数辨识

2.1 事件触发描述

为解决时间驱动通信所造成的节点能量、带宽和计算资源的浪费，下面介绍事件触发通信机制。

假设通信网络是理想的，即不考虑网络丢包、网络延时和计算延时。下面将智能体i的触发事件记作Fi(k)定义为

(19)

对于智能体i，定义参数向量估计值的事件驱动误差eθi和跟踪误差函数eθi(k)为

(20)

(21)

定义一个事件驱动函数Τi(k,eθi)为

Τi(k,eθi)=eθi(k)-gi(k)

(22)

式(22)中：gi(k)=1/(k+1)ρi，ρi>0为设计参数，当智能体i的驱动函数满足条件

Ti(k,eθi)>0

(23)

邻居节点j就会向智能体i传输分享数据。

(24)

为产生事件驱动通信，需定义激活函数ϖi(k)，即

(25)

2.2 事件驱动的分布式最小均方算法

(26)

式(26)中:γ为较小的常数，γ∈(0,1)；I为单位矩阵；Fi(k)是事件驱动激活函数矩阵,即

(27)

由式(26)作如下推导，令

(28)

(29)

得到式(28)和式(29)的梯度为

(k-1)+[I-Fi(k-1)]×

(30)

(31)

使用梯度下降法得

(32)

式(32)中：μ∈(0,1]，γ∈(0,1)。

智能体的误差新息向量Ei(p,k)表示为

Ei(p,k)=[ei(k),ei(k-1),…,ei(k-p+1)]T∈Rp

(33)

式(33)中：p是正整数，称作新息向量长度。

(34)

(35)

下面定义智能体i的信息矩阵Φi(p,k)和叠加的输出向量Yi(p,k)分别为

(36)

Yi(p,k)=[yi(k),yi(k-1),…,yi(k-p+1)]T∈Rp

(37)

通过整理，智能体i的新息向量Ei(p,k)重新表示为

(38)

(39)

将式(39)中的Ei(1,k)和Φi(1,k)中的“1”置换成p就可以得到新息长度为p的，基于事件驱动的分布式最小均方算法，即

(40)

本文中提出的辨识算法步骤如下。

Step2采集数据样本，每个智能体i通过式(22)来判断是否满足事件驱动条件。若满足事件驱动条件则执行Step3。若没有满足则执行Step 4。

Step5令k=k+1，如果k

3 算法性能分析

(41)

利用式(41)，参数估计式(40)可以整理为

(42)

若存在时变参数C1、C2、C3，则存在

(43)

则式(42)展开为

(44)

(45)

为了获得最优值，令

(46)

则式(45)可以写为

V(k)=V(k-1)-μRiV(k-1)+μPV(k-1)=

(I-μR+μP)V(k-1)

(47)

为了保证算法收敛，矩阵I-μR+μP的所有特征值必须在单位圆内，那么学习率必须满足

-I

(48)

这时，学习率μ的选择为

(49)

式(49)中：λmax(x)表示x的最大特征值。

不等式(49)给出了学习率的选取原则，在实际计算时，可以选取较小的学习率。 如果选取学习率小于不等式最右边的值，辨识算法就能收敛。

4 数值分析

4.1 数值仿真

考虑拓扑结构已知的三个智能体按图2所示的网络结构连接，邻接矩阵A=[aij]n×n由式(50)给出。

图2 网络拓扑结构

(50)

其中，智能体i的模型结构为

i=1,2,…,3

(51)

图3 不同智能体的参数估计误差

图4给出在采样范围0～300内，不同智能体的跟踪误差eθi(k)和衰减阈值函数gi(k)的关系。跟踪误差eθi(k)的变化范围有界，且变化范围始终约束在衰减阈值函数gi(k)内。当跟踪误差eθi(k)为零时，则智能体i的事件驱动通信产生，则智能体间存在信息传输。图5给出在采样范围0～300内的不同智能体所对应的事件时刻。

图4 智能体的阈值函数和跟踪误差关系

图5 不同智能体事件时间间隔

定义事件驱动通信触发率εi，反映不同智能体的通信情况，即

(52)

式(52)中：qi表示采样过程中第i个智能体的事件触发次数；N表示系统采样次数。最后在5 000次的采样过程中，各个智能体的事件驱动通信触发率分别是：ε1=17.5%、ε2=16.8%和ε3=21.82%。

为探究新息长度p对参数估计精度的影响，下面进行1 000次独立实验，以智能体1为例，统计参数估计误差δ分布情况。

其中，p=10，20，30。独立实验统计结果如图6所示。实验结果表明，新息长度p的增加会使误差分布范围直方图向左移动，这说明参数估计误差δ1更接近于零。误差范围和平均值如表1所示。从表1以及图6可以得出结论，系统参数估计误差会随着新息长度p的增加而减小。

图6 不同新息长度下的独立实验统计结果

表1 误差范围和平均值

图7 不同方法参数估计误差的箱形图

4.2 永磁同步发电机参数协同辨识

下面以3个永磁同步发电机协同辨识为例，进一步验证所提方法的有效性。3个永磁同步发电机按图2所示的拓扑通信结构连接，进行参数辨识结果的传输分享，邻接矩阵A=[aij]n×n如式(50)所示。由文献[17-18]可知，永磁同步电机在d-q同步旋转坐标系下的数学模型为

(53)

式(53)中：p为微分算子；ΨPM是永磁体磁链；ωr是转子转速；ωe=2πnωr是电角度；n是极对数；Rs为定子电阻；ud、uq、id、iq、Ld和Ld分别是d轴和q轴对应的电压、电流和感抗。由于转子的对称结构，则Ld=Lq=L，因此，式(53)可重新整理为

(54)

下面，对式(54)进行离散化，若采样时间T足够小，可以得到离散方程为

(55)

一般为使控制算法的有效运行，需对参数Rs，L和ΨPM进行辨识，利用q轴电流分量，得到回归模型为

j=1,2,…,3

(56)

图8 电机定子电阻辨识

5 结论

针对Box-Jenkins模型表示的多智能体系统，提出一种基于事件触发的最小均方算法，并讨论了算法的收敛性。仿真结果验证了该算法的有效性。从上述的仿真可以得出以下结论。

(1)对于单个智能体，受输入信号频率带宽的限制，虽然可以激励模型内充分多的动力学参数，但获得的信息依然是局部的，所以会造成智能体间参数估计差异。

(2)由于异步通信协议的存在，使得各个智能体不仅拥有本地信息，而且还拥有邻居信息，就可以减少各个智能体间参数估计差异。

(3)事件驱动的异步通信协议，能够降低节点的数据传输频率，节约带宽和计算资源。而且，适当的增加新息长度会减小系统参数估计误差。

同时，实际上多智能体往往是非线性的，且采样方式存在量化、多采样率和非均匀采样情况。数据在通信传输过程中还会遭遇网络延时、数据丢包等问题。因此，这方面的后续研究是非常有意义。