改进的PSO—BP神经网络分类器设计

荀锦锦+王建南+张奎

摘 要：针对BP神经网络的缺陷容易导致分类器精度低的问题，给出了改进粒子群算法。该算法在标准粒子群算法中融入混沌优化算法、动态惯性权重和动态学习因子。最后通过实验，将梯度下降法和改进粒子群算法构建的神经网络分类器对比。实验结果表明，改进粒子群算法得到的分类器效果更优，精度更高。

关键词：改进粒子群算法；BP神经网络；分类

粒子群算法（PSO Particle Swarm Optimization）是在1995年由Kennedy和Eberhart提出的一种进化算法[1]。粒子群算法通过算法的融合、改进参数等可以获得较好的全局搜索能力。混沌优化算法是非线性系统较为普遍的现象，其基本思想是进行混沌变量到优化变量取值空间的线性映射[2，6]。利用混沌优化算法的特性可以使粒子群算法避免早熟现象，BP神经网絡可以用来非线性分类，但BP算法存在容易陷入局部极小值等缺陷[3]1。为此，本文给出算法融合构建神经网络分类器，同时对方法进行了仿真实验。仿真结果表明，基于改进粒子群算法的BP神经网络可以收敛到最优解，并且分类效果较好。

1 标准粒子群算法和BP神经网络

1.1 标准粒子群算法

粒子群算法是通过局部最优的迭代达到全局最优收敛。1998年，Shi等人提出了惯性权重[4]。带有惯性权重的PSO算法被称为标准粒子群算法。标准粒子群算法的更新公式为：

（1）

（2）

式中：vid为粒子的速度，xid为粒子的位置，t为迭代次数，ω为惯性权重系数，c1、c2为加速常量，Pid为个体极值，pgd为全局极值。

从公式（1）和公式（2）可知，每个粒子在搜索时，不仅参自身思考，还参考了全局影响。这样，就可以增强全局搜索能力。

1.2 BP神经网络

BP神经网络采用梯度下降法，通过均值误差反向传播来不断调整神经网络的权值和阈值，最终实现误差满足预设范围或者学习次数。采用变学习率的方法提高学习速率，训练开始时采用大的学习速率以跳过局部极值，在训练后期以较小的学习速率达到全局极值。变化率符号确定法是一种较常用的方法[5]2，具体表达式为：

（3）

（4）

式中，λ>1，m0、m1是选择的常数。

2 改进PSO优化BP神经网络

2.1 初始权值的确定

为使提高搜索的效率，应使初始粒子均匀分布。为此，本文引入混沌优化算法。Kent混沌方程为[2，6，7]1：

（5）

其中，ζ为常数；z为混沌序列。

2.2 算法实现

改进粒子群算法优化BP神经网络的具体步骤如下：

（1）确定BP神经网络的结构，根据式（5）产生初始粒子群。

（2）根据适应度函数计算适应度值，确定每个粒子的个体极值，并产生全局极值。

（3）利用公式（1）、公式（2）更新粒子的速度和位置。

（4）均方误差是否已经小于设定精度或迭代次数是否已经达到最大迭代次数。若否，则转回到（2）。

（5）输出使全局极值最小的粒子，即为BP神经网络最佳的权值和阈值。

3 仿真实验与实验结果分析

实验采用UCI数据库中的Iris植物样本数据，利用训练好的网络对测试样本进行Matlab仿真实验，仿真结果如图1、图2所示。由图1和图2可知，在实验环境相同的情况下POS—BP神经网络分类器的分类能力好于BP神经网络分类器。

4 结论

为了解决BP算法局部极值问题，引入了具有全局搜索能力的粒子群算法；初始粒子对粒子群算法的性能有着密切的联系，通过混沌算法来生成初始粒子，获得分布均匀的初始粒子群；粒子群算法对参数有着一定的要求，根据需求引入动态参数。试验结果表明，改进POS优化的BP网络分类器分类正确率较高。

参考文献

[1]KENNEDY J， EBERHART R C. Particle swarm optinization[C]//Proceedings of IEEE International Conference On Neural Networks Perth， Australia， 1995.

[2]Yang D X， Liu Z j， Zhou J L. Chaos optimization algorithms based on chaotic maps with different probability distribution and search speed for global optimization[J]. Communications in Nonlinear Science and Nunerical Simulation， 2014， 19（4）：1229-1246.

[3]孙增圻，邓志东，张再兴.智能控制理论与技术[M].2版.北京：清华大学出版社，2011.9：138-139.

[4]SHIY H， EBERHART R C. Amodified particle swarmoptimizer[C]// Proceedings of IEEE International Conference on Evolutionary Computation. Piscataway， NJ，1998：69-73.

[5]孙即祥.现代模式识别[M].2版.北京：高等教育出版社，2008，10：：412-413，409-411.

[6]刘丽军，李捷，蔡金绽.基于强引导粒子群与混沌优化的电力系统无功优化[J].电力自动化设备，2010，30（4）：71-75..

[7]张彩宏，潘广贞.融合禁忌搜索的混合果蝇优化算法[J].计算机工程与设计，2016，37（4）：908-909.

[8]丁腾飞，曹云侠.基于改进POS优化BP神经网络的变压器故障诊断[J].制造业自动化，2015，37（5）：83.endprint