最优加权随机汇池网络的自适应算法研究

韩 博，景文腾，耿金花，段法兵

(青岛大学复杂性科学研究所，山东 青岛 266071)

0 引言

图1 自适应加权随机汇池网络模型

图2 两种自适应算法迭代过程中信息的交换

1 模型与自适应算法

1.1 模型

1.2 自适应LMS算法

经典的最速下降法自适应过程中，设每一步权值向量的更新为

wk+1=wk-μJ(wk)

(1)

其中，μ为调整步长的常数，它控制着算法的自适应速度和稳定性，J(wk) 为均方误差的梯度。LMS算法利用瞬时误差的平方作为J(wk)的估计，均方误差的梯度为式(1)可以写成

(2)

(3)

对式(3)两边求期望，得到

(4)

(5)

(6)

1.3 自适应Kalman-LMS算法

LMS算法只是注意到了权向量更新的方向，没有控制每一步权均方偏差值的大小，注意到输出误差又可以写为

(7)

均方误差可以重新表示为

(8)

(9)

最速下降法每一次迭代形式都遵循局部最优路径，但没有遵循全局最优路径的解决方案。这里我们借鉴Kalman滤波，将标量步长2μk换成学习增益矩阵Gk[20]，这样能够既控制梯度下降的幅值还能控制其方向。因此权递推公式(2)另写为

(10)

(11)

那么权误差协方差矩阵

(12)

(13)

为使得每一步的Dk最小，求偏导∂Dk/∂gk并令其等于零可得[17]

(14)

把式(14)带入式(12)可以得到权误差协方差矩阵迭代公式：

(15)

上述Kalman-LMS算法总结如下：在当前时间k，给定观测量{yk,xk}，计算

1)最优学习增益。由于权误差协方差矩阵Pk为半正定矩阵，为了防止gk出现分母为零而产生错误停止的情况，改进为

其中，正则参数δ为一个大于零的很小的任意常数；

2)权向量

3)权误差协方差矩阵

2 实验结果

为了具体地比较上述两种自适应算法，实验中选取输入信号xk服从零均值高斯分布，网络噪声ηi选用均值为零的高斯白噪声，节点的系统函数选取

并考虑异质的系统节点函数[23]，平均分为两组分别具有阈值θ=0和θ=0.5，每组的节点数目为M/2，这里注意的是上述分组方式可以是任意的。

图3 LMS算法和Kalman-LMS算法权值w收敛过程

图4 不同内部噪声强度下均方误差变化情况

图4给出随着噪声强度的变化，不同节点数目下两种算法均方误差的变化情况，可以看出，随着噪声强度的改变都出现了超阈值随机共振现象，在一定的噪声强度范围内均方误差随着噪声强度的增大反而减小，均方误差的最优值出现在了非零噪声强度处，即节点噪声能够改善加权随机汇池网络输出性能。还可以看出，当节点数目M较少时，Kalman-LMS算法(红色实线)的均方误差整体低于LMS算法(蓝色虚线)的均方误差，但随着节点数目M的增加，两种算法得到的均方误差性能趋于一致，这是由于随着节点数目增加，网络结构性能大幅度提升，算法间的差距变得不那么明显。

3 结论

本文研究了最优加权随机汇池网络中的两类自适应算法：LMS算法和Kalman-LMS算法，探究了非平稳信号下自适应加权随机汇池网络的估计性能。数值实验研究发现两种算法是收敛的，并有效跟踪信号的变化， 在不同节点数目的情况下，两种自适应算法的均方误差都存在超阈值随机共振现象，但是Kalman-LMS算法比LMS算法权值收敛速度更快且更稳定，比较两者的均方误差发现Kalman-LMS算法的稳健性较好。本文对于Kalman-LMS算法的收敛性理论证明没有给出，对于输入信号的许多非稳态特性也没有考虑，这些问题值得进一步探究。