基于FPSO-SA算法的威布尔分布参数估计研究

王 琼, 王 磊, 任伟建(东北石油大学 电气信息工程学院, 黑龙江 大庆 163318)



基于FPSO-SA算法的威布尔分布参数估计研究

王 琼, 王 磊, 任伟建
(东北石油大学 电气信息工程学院, 黑龙江 大庆 163318)

为解决威布尔分布等复杂分布模型采用常规方法很难直接进行参数估计的问题, 提出了基于模糊粒子群模拟退火算法的威布尔分布参数估计。该算法根据粒子个体纵向和横向运动特性, 引入模糊逻辑推理动态调整惯性权值因子, 提高了粒子群算法(PSO: Particle Swarm Optimization)的收敛速率； 将上述模糊粒子群算法(FPSO: Fuzzy Particle Swarm Pptimization)与模拟退火算法(SA: Simulated Annealing)结合, 以FPSO算法的速度位置更新公式作为SA算法的状态生成函数, 再运用Metropolis算法以概率接受新状态, 获得全局最优参数估计值。将基于上述智能算法的参数估计法运用到威布尔分布参数估计中, 提高了参数估计精度。实际应用表明, 该参数估计方法在复杂分布模型参数估计中具有可行性和有效性。

威布尔分布； 参数估计； 模糊逻辑； 粒子群算法； 模拟退火算法

0 引 言

目前, 常规参数估计方法有： 最小二乘法、 极大似然法、 极大验后法和最小风险法等。其中最小二乘法和极大似然法可以得到精确的参数估计值[1]。然而对于威布尔分布等复杂分布模型采用常规参数估计法很难直接进行参数计算。对于威布尔分布的3个参数的估计方法, 杨谋存等[2]采用极大似然法得到由3个超越方程组成的似然方程组, 但求解过程相当繁琐； 汤银才等[3]采用Bayes估计法将先验分布和后验分布结合起来, 但后验分布比较复杂； 傅惠民等[4]采用相关系数法, 但计算较为复杂； 王华胜[5]结合相关系数法和加权最小二乘法, 但其权值向量的选取存在局限性。近年来, 由于算法简洁、 收敛速度快等优势, 粒子群(PSO： Particle Swarm Optimization)算法引起了许多学者的关注, 并被广泛应用于参数估计中, 董胜等[6]将PSO算法引入威布尔参数估计中, 运用标准粒子群算法寻找威布尔分布3个参数的最优估计值； 罗航等[7]结合双线性回归估计和极大似然估计, 首先基于最小二乘的双线性回归求出初始解, 然后运用基于PSO算法的极大似然估计法迭代求出最优估计值； 薛玉霞[8]提出基于粒子群优化算法的相关系数参数估计法对三参数威布尔分布进行参数估计。大量研究表明PSO算法在优化过程中, 粒子常常由于“聚集”而出现“早熟”现象, 导致优化性能下降、 优化结果极易陷入局部极值[9]。针对这一问题笔者提出模糊粒子群模拟退火(FPSO-SA： Fuzzy Particle Swarm Optimization-Simulated Annealing)算法, 通过对标准粒子群算法进行模糊化, 引入进化度因子和离散度因子根据模糊规则动态调整惯性权值因子, 降低粒子群的“聚集”程度。将模糊粒子群(FPSO： Fuzzy Particle Swarm Optimization)算法的更新公式作为模拟退火(SA： Simulated Annealing)算法的状态生成函数得到FPSO-SA算法, 从而避免粒子群的“早熟”现象； 将FPSO-SA算法运用到威布尔分布参数估计中, 首先通过最小二乘法得出威布尔分布模型的线性相关系数函数, 然后运用FPSO-SA算法优化相关系数法, 以线性相关系数函数绝对值取负作为FPSO-SA算法的适应度函数, 通过降温和迭代循环得到适应度函数最小值对应的位置参数估计值, 最后通过计算得出威布尔分布尺度参数和形状参数的估计值。

1 模糊粒子群模拟退火算法

在粒子群寻优过程中, 惯性权值因子直接影响了粒子群的全局和局部搜索能力, 在标准粒子群算法中, 惯性权值因子通过惯性最大值和惯性最小值计算得出, 对于处理粒子群的“聚集”现象效果不明显。因此笔者从粒子个体纵向和横向运动的特性出发, 引入粒子个体的进化度因子和离散度因子, 运用这两个参数动态调整惯性权值因子, 同时对标准粒子群算法进行模糊化。通过模糊规则和模糊推理实现惯性权值因子的动态调整； 通过FPSO算法的更新公式作为SA算法的状态生成函数, 将FPSO算法与SA算法相结合得到FPSO-SA算法, 解决粒子群的“早熟”问题。利用降温策略和迭代步数使FPSO算法收敛到全局最优值。

1.1 模糊粒子群算法

1.1.1 标准粒子群算法

PSO算法是一种基于种群搜索策略的自适应随机优化算法。PSO算法在优化计算时各粒子速度和位置的更新公式[10]为

1.1.2 粒子群的进化度和离散度

标准粒子群算法中惯性权值因子ω决定了粒子对当前速度继承的程度。当ω较大时, 粒子个体具有较强的全局搜索能力, 局部搜索能力较弱, 而当ω较小时, 粒子个体具有较强的局部搜索能力, 搜索新空间的能力较弱[11]。针对这一特性, 笔者将引入两个参数因子： 进化度因子和离散度因子, 把惯性权值的变化量Δω构建为进化度因子和离散度因子的模糊函数, 根据专家经验制定模糊控制规则表, 进而实现惯性权值的动态调整。

ek越大说明进化度越快,ek趋近于0时, 迭代结束或已经找到全局最好位置。

σk越大说明粒子群的离散性越好。

1.1.3 基于模糊控制的惯性权值因子动态调整

为实现把惯性权值的模糊动态调整, 输入输出均采用三角形隶属度函数, 以便实现对进化度因子、 离散度因子和惯性权值变化量的模糊化。把两个输入变量划分为4个模糊集： 小(S)、 中小(MS)、 中大(ML)和大(L)； 把输出变量划分为5个模糊集： 负大(NB)、 负小(NS)、 零(Z)、 正小(PS)和正大(PB)[13]。由于0

惯性权值变化量的隶属度函数为

FPSO算法中, 合适的惯性权值因子可使粒子群具有比较均衡的搜索能力和进化度, 根据专家的经验和推理, 得出FPSO算法惯性权值变化量调整的模糊控制规则表[15](见表1)。

表1 模糊控制规则表

在惯性权值变化量的动态调整中, 对进化度因子和离散度因子采用隶属度函数进行模糊化处理, 得到各模糊集对应的隶属度。然后根据模糊控制规则表进行推理, 按照规则对应元素取min(∧)运算, 再对得到的结果取max(∨)运算进行组合[16], 得到惯性权值变化量模糊集的隶属度, 然后应用最大平均法反模糊化[17], 得到惯性权值变化量Δω的精确值, 由ω=ω+Δω实现惯性权值的动态调整。

1.2 模糊粒子群模拟退火算法

1) FPSO-SA算法的新状态生成机制。SA算法的新状态生成主要是靠随机扰动。只有给SA算法足够高的初始温度、 较小的降温策略才能找到全局最优值, 且其寻优过程很漫长。因此, 笔者采用FSPO算法的更新公式作为SA算法的状态生成函数, 根据粒子群向全局最优位置运动的轨迹特性产生FPSO-SA算法的新状态, 以便提高新状态的有效性, 降低无效状态出现的频率。

2) FPSO-SA算法的状态选择机制。笔者采用SA算法的核心部分Metropolis算法作为FPSO-SA算法的状态选择机制。其基本思想是： 从高温到低温, 不断调用Metropolis算法, 使系统在每个温度上都达到热平衡, 最后在某个低温处能量达到全局最小[18]。

Metropolis算法定义了状态迁移概率(状态迁移接受概率)[19], 即在当前温度T下状态s迁移至状态s′的概率

其中ΔE=E(s′)-E(s)是状态迁移造成的能量变化,s为当前状态,s′为由状态生成函数生成的。当ΔE<0时, 系统向低能态方向运动, 能量向极小方向运动, 则Metropolis算法无条件的接受随机产生的新状态s′, 状态迁移概率p=1； 当ΔE>0时, 系统向高能态方向运动, 为了避免局部能量极小, Metropolis算法并不完全拒绝新状态, 而是以一定概率接受随机产生的新状态s′, 状态迁移概率p=exp(-ΔE/T)。

采用Metropolis算法反复以状态迁移概率接受FPSO-SA算法产生的新状态, 直到粒子群到达全局最好位置。同时Metropolis算法允许FPSO-SA算法产生的状态充分震荡, 并以一定的概率接受粒子个体向非全局最好位置方向移动后的位置, 所以避免了FPSO-SA算法出现局部极值问题。

3) FPSO-SA算法的实现过程。FPSO-SA算法流程图如图1所示。

图1 FPSO-SA算法流程图Fig.1 Flow chart FPSO-SA

2 威布尔分布及其参数估计过程

2.1 三参数威布尔分布

威布尔分布是设备故障研究中应用最广泛的分布模型之一。威布尔分布有3个参数, 分别是尺度参数、 形状参数和位置参数, 其分布函数[20]分别为

其中α>0为尺度参数,β>0为形状参数,γ>0为位置参数。

2.2 威布尔分布参数估计过程

2.2.1 威布尔分布的线性相关系数函数

为求得威布尔分布的线性相关系数函数, 首先假定参数位置γ已知, 然后通过最小二乘法将威布尔分布转化为线性方程, 从而将其线性相关系数表示为γ参数的函数。

对式(7)左右两边做两次对数变换, 得到

令

则式(8)可转换为线性方程Y=a+bX。

设(x1,y1),(x2,y2),…,(xn,yn)为一组试验数据, 令

得到

由最小二乘法[21], 得到待定的系数a和b以及线性相关系数ρ分别为

由式(12)可得威布尔分布的线性相关系数函数。

2.2.2 基于FPSO-SA算法的威布尔分布位置参数估计

由式(12)求出威布尔分布的线性相关系数是关于位置参数的函数,γ参数的值必须使线性相关系数的绝对值取最大, 即

直接计算式(13)很复杂, 因此采用FPSO-SA算法确定最优线性相关系数。

将威布尔分布线性相关系数函数ρ(γ)的绝对值取负作为FPSO-SA算法的适应度函数,其中ρ(γ)由式(12)确定。由于威布尔分布的线性相关系数0≤ρ≤1, 因此FPSO-SA算法的适应度函数取值范围为-1≤-|ρ(γ)|≤0。运用FPSO-SA算法粒子群寻找全局最好位置γ, 使适应度函数-|ρ(γ)|取最小值, 当适应度函数取最小值-1时, 算法输出当前粒子群的全局最好位置即为威布尔分布位置参数的全局最优估计值。

2.2.3 威布尔分布其他参数的确定

通过基于FPSO-SA算法的威布尔分布参数估计得到位置参数γ的估计值, 由式(12)可知, 系数a和b都是关于γ的函数。因此, 将γ的估计值代入式(12)计算得到系数a和b的估计值, 再由式(9)根据系数a和b的估计值, 便可计算得出威布尔分布尺度参数和形状参数的估计值, 从而实现威布尔分布的三参数估计。

3 模拟实例

笔者分别采用基于FPSO-SA算法、 模拟退火粒子群(SA-PSO: Simulated Annealing-Particle Swarm Optimization)算法和FPSO算法的威布尔分布参数估计方法, 对尺度参数α=2、 形状参数β=3、 位置参数γ=4威布尔分布的30个随机样本进行参数估计模拟。对FPSO-SA算法, 取c1=c2=2.15,n=50,m=30,ω0=0.7,T0=150,Tend=0.01,L=500, 降温策略为T(k)=0.95T(k-1)； 对于SA-PSO算法, 参数取值和降温策略均与FPSO-SA算法相同, 唯一不同的是SA-PSO算法惯性权值ω的最大值与最小值分别取ωmax=0.99,ωmin=0.35； 对于FPSO算法, 取c1=c2=2.15,n=50,m=30, 惯性权值由粒子群的进化度和离散度确定； 同时3种算法的适应度函数均取fFitness=-|ρ(γ)|。

图2 适应度函数值对比图Fig.2 Comparison figure of fitness values

通过Matlab软件运行算法程序后, 3种算法得到各自的最小适应值, 图2是FPSO-SA算法、 FPSO算法和SA-PSO算法迭代过程中适应度函数值对比图。由图2可知, FPSO-SA算法和SA-PSO算法最终粒子群均找到了全局最好位置, 适应度函数为-1, 但FPSO-SA算法比SA-PSO算法提前进入全局最优解的平稳搜索, SA-PSO算法在31步才开始进入平稳搜索区域, FPSO-SA算法则在第18步就进入了最优解区间； 而FPSO算法由于粒子群没有找到全局最好位置, 在50步的迭代中最小适应值为-0.897 2, 没有收敛到全局最优值-1； 但对比FPSO算法曲线和SA-PSO算法曲线可知, 虽然FPSO算法没有收敛到全局最优值, 但FPSO算法收敛速率高于SA-PSO算法。综上分析, 说明引入FPSO算法, 提高了FPSO-SA算法的收敛速率； FPSO算法与SA算法结合, 提高了FPSO-SA算法获得全局最优解的能力。

由3种算法输出的最优位置参数估计值, 根据式(12)计算得到系数a和b的估计值, 再根据式(9)计算得出威布尔分布尺度参数和形状参数的估计值。表2给出3种算法的模拟结果, 包括各算法的最小适应值、 最优位置参数估计值及其对应的尺度参数和形状参数估计值。由表2可知, FPSO-SA算法与SA-PSO算法得出的3个参数估计值均接近于实际值, 但FPSO-SA算法的数据结果更接近于实际值； 且由图2知, 该算法收敛速率相对FPSO-SA算法较慢； FPSO算法得到的最小适应值为-0.897 2, 因此, 该方法得出的, 三参数估计值与真实值差距较大。

表2 模拟结果

4 结 语

笔者通过模糊理论动态调整惯性权值因子改进标准粒子群算法, 提高PSO算法收敛速率, 并将FPSO算法与SA算法结合, 提高了FPSO-SA算法获得全局最优解的能力； 同时将FPSO-SA算法应用于威布尔分布参数估计中, 解决了常规方法很难直接对威布尔分布进行参数估计的问题。通过模拟实例说明： 基于FPSO-SA算法的威布尔分布参数估计具有收敛速度快、 获得全局最优参数估计值能力强、 鲁棒性高等优点。该方法不仅适用于威布尔分布, 还可运用于其他复杂分布模型, 且在进行分布模型的参数估计方面具有通用性。

[1]沈安慰, 王卓健, 郭基联, 等. 参数估计方法对比研究 [J]. 计算机仿真, 2013, 30(9)： 239-243. SHEN Anwei, WANG Zhuojian, GUO Jilian, et al. Comparison Research on Parameter Estimation Method [J]. Computer Simulation, 2013, 30(9)： 239-243.

[2]杨谋存, 聂宏. 三参数Weibull分布参数的极大似然估计数值解法 [J]. 南京航空航天大学学报, 2007, 39(1)： 22-25. YANG Moucun, NIE Hong. Advanced Algorithm Formaximum Likelihood Estimation of Three-Parameter Weibull Distribution [J]. Journal of Nanjing University of Aeronautics and Astronautics, 2007, 39(1)： 22-25.

[3]汤银才, 侯道燕. 三参数Weibull分布参数的Bayes估计 [J]. 系统科学与数学, 2009, 29(1)： 109-115. TANG Yincai, HOU Daoyan. The Bayes Parameter in the Three Parameter Weibull Distribution [J]. Journal of Systems Science and Mathematical Sciences, 2009, 29(1)： 109-115.

[4]傅惠民, 高镇同. 确定威布尔分布三参数的相关系数优化法 [J]. 航空学报, 1990, 11(7)： 324-327. FU Huimin, GAO Zhentong. An Optimal Method of Correlation Coefficient for Determining a Three-Parameter Weibull Distribution [J]. Acta Aeronautica Et Astronautica Sinica, 1990, 11(7)： 323-327.

[5]王华胜. 基于加权最小二乘法的机车车辆零部件可靠性分析 [J]. 铁道学报, 2001, 23(6)： 21-25. WANG Huasheng. Reliability Analysis of Locomotive and Car Parts Based on Weighted Least Square Method [J]. Journal of the China Railway Society, 2001, 23(6)： 21-25.

[6]董胜, 韩意, 陶山山, 等. Weibull分布参数的粒子群算法估计 [J]. 中国海洋大学学报, 2012, 42(6)： 120-125. DONG Sheng, HAN Yi, TAO Shanshan, et al. Estimate the Parameters of Weibull Distribution Particle Swarm Algorithm [J]. Periodical of Ocean University of China, 2012, 42(6)： 120-125.

[7]罗航, 王厚军, 黄建国, 等. 基于PSO的三参数威布尔分布参数的联合估计方法 [J]. 仪器仪表学报, 2009, 29(1)： 109-115. LUO Hang, WANG Houjun, HUANG Jianguo, et al. Method of United Estimation to the Parameters of Three-Parameter Weibull Distribution Based on PSO [J]. Chinese Journal of Scientific Instrument, 2009, 29(1)： 109-115.

[8]薛玉霞. 数控机床可用性关键技术研究 [D].长春： 吉林大学机械科学与工程学院, 2009. XUE Yuxia. Research on Availability Key Technique for Numerical Control Machine Tools [D]. Changchun: College of Mechanical Science and Engineering, Jilin University, 2009.

[9]李擎, 张超, 陈鹏, 等. 一种基于粒子群参数优化的改进蚁群算法 [J]. 控制与决策, 2013, 28(6)： 873-878. LI Qing, ZHANG Chao, CHEN Peng, et al. Improved Ant Colony Optimization Algorithm Based on Particle Swarm Optimization [J]. Control and Decision, 2013, 28(6)： 873-878.

[10]江丽. 基于粒子群与模拟退火算法的BP网络学习方法研究 [D]. 安徽： 安徽大学计算机科学与技术学院, 2013. JIANG Li. Research on BP Neural Network Learning Based on Particle Swarm Optimization and Simulated Annealing Algorithm [D]. Anhui: School of Computer Science and Technology, Anhui University, 2013.

[11]葛动元, 姚锡凡, 向文江. 混合变异神经网络与模糊自适应粒子群优化算法在微钻头检测中的应用 [J]. 光学学报, 2013, 33(3)： 1-12. GE Dongyuan, YAO Xifan, XIANG Wenjiang. Application of Hybrid Mutation Neural Network and Fuzzy Adaptive Particle-Swarm Optimization Algorithm in Testing of Micro-Drill [J]. Acta Optica Sinica, 2013, 33(3)： 1-12.

[12]赵艳军, 陈晓科, 尹建华, 等. 采用参数归一化方法的多回输电线路稳态分析与其应用 [J]. 电网技术, 2013, 37(6)： 1746-1752. ZHAO Yanjun, CHEN Xiaoke, YIN Jianhua, et al. Parameter Normalization Based Steady-State Analysis of Multi-Circuit Transmission Lines and Its Application [J]. Power System Technology, 2013, 37(6)： 1746-1752.

[13]ZAMZURI H, ZOLOTAS A C, GOODALL R M, et al. Advances in Tilt Control Design of High-Speed Railway Vehicles: a Study on Fuzzy Control Methods [J]. International Journal of Innovative Computing, Information and Control, 2012, 8(9)： 6076-6080.

[14]杨纶标, 高英仪. 模糊数学原理及应用 [M]. 广州： 华南理工大学出版社, 2005. YANG Lunbiao, GAO Yingyi. Principle and Application of Fuzzy Mathematics [M]. Guangzhou: South China University of Technology Press, 2005.

[15]MARTINEZ-SOTO R, RODRIGUEZ A, CASTILLO O, et al. Gain Optimization for Inertia Wheel Pendulum Stabilization Using Particle Swarm Optimization and Genetic Algorithms [J]. International Journal of Innovative Computing, Information and Control, 2012, 8(6)： 4421-4430.

[16]曹炳元. 应用模糊数学与系统 [M]. 北京： 科学出版社, 2005. CAO Bingyuan. Application of Fuzzy Mathematics and System [M]. Beijing: Science Press, 2005.

[17]ASRARI A, JAVAN D S, JAVIDI M H, et al. Application of Gray-Fuzzy-Markov Chain Method for Day-Ahead Electric Load for Casting [J]. Przeglad Elektrotechniczny: Electrical Review, 2012, 88(3b)： 228-237.

[18]刘爱军, 杨育, 刘斐, 等. 混沌模拟退火粒子群优化算法研究及应用 [J]. 浙江大学学报: 工学版, 2013, 47(10)： 1722-1730. LIU Aijun, YANG Yu, LIU Fei, et al. Chaotic Simulated Annealing Particle Swarm Optimization Algorithm Research and Its Application [J]. Journal of Zhejiang University: Engineering Science, 2013, 47(10)： 1722-1730.

[19]阮晓刚. 神经计算科学： 在细胞的水平上模拟脑功能 [M]. 北京： 国防工业出版社, 2006. RUAN Xiaogang. Neural Computing Science: Simulated Brain Function at the Cellular Level [M]. Beijing: National Defence Industry Press, 2006.

[20]王志旭, 陈子燊.极值波高Weibull分布的参数估计方法对比分析 [J]. 海洋通报, 2013, 32(2)： 127-132. WANG Zhixu, CHEN Zishen. Comparative Analysis on the Parameter Estimation Methods of Weibull Distribution of Extreme Wave Heights [J]. Marine Science Bulletin, 2013, 32(2)： 127-132.

[21]邱家学, 吴晓明. 基于最小二乘法威布尔溶出曲线参数估计中的自相关性与异方差性问题探讨 [J]. 中国药房, 2013, 24(1)： 37-40. QIU Jiaxue, WU Xiaoming. Exploration of Auto Correlation and Heteroscedasticity in Weibull Distribution Parameter Estimation Based on OLS [J]. China Pharmacy, 2013, 24(1)： 37-40.

(责任编辑： 张洁)

Research on Estimating Parameters of Weibull Distribution Model Based on FPSO-SA

WANG Qiong, WANG Lei, REN Weijian
(College of Electrical Information Engineering, Northeast Petroleum University, Daqing 163318, China)

To solve the problem of the difficulty in estimating the parameters of Weibull distribution model, a new algorithm based on FPSO(Fuzzy Particle Swarm Optimization) with SA(Simulated Annealing) for estimating the parameters of Weibull distribution model was presented. In this intelligent algorithm, the inertia factor of PSO was turned by adopting fuzzy logic reasoning to improve the convergence rate of the PSO(Particle Swarm Optimization) according to the characteristic of particle’s motion trajectory in longitudinal direction and lateral direction. Then combine the FPSO and SA, use the update formulas of FPSO as the state generating function of SA, and use Metropolis algorithm to accept the new state with probability to get the global optimal parameters’ estimations. The parameter estimation method based on the intelligent algorithm above-mentioned was used to estimate the parameters of Weibull distribution model, and the parameter estimation accuracy was improved. Practical application in the complex distribution model parameter estimation showed that the method was feasible and effective.

weibull distribution; estimate parameter; fuzzy logic; particle swarm optimization; simulated annealing algorithm

1671-5896(2014)05-0476-08

2014-01-23

国家自然科学基金资助项目(61374127)； 黑龙江省青年基金资助项目(QC2013C066)； 黑龙江省博士后科研启动基金资助项目(LBH-Q12143)

王琼(1969— ), 女, 黑龙江大庆人, 东北石油大学教授, 博士, 主要从事智能控制理论与应用研究, (Tel)86-13836955000(E-mail)eienepu@163.com；

： 任伟建(1963— ), 女, 黑龙江泰来人, 东北石油大学教授, 博士生导师, 主要从事复杂系统的建模与控制研究, (Tel)86-13845901386(E-mail)renwj@126.com。

TP399

： A