改进RVM的装备退化状态预测方法*

逯程，徐廷学，张海军，王天然

(海军航空工程学院 兵器科学与技术系,山东 烟台 264001)

0 引言

作为一种预测式的维修技术，视情维修(condition based maintenance, CBM)是未来维修保障方式发展的新趋势[1]。末制导雷达是实现导弹精确制导的关键装备，其性能退化状态优劣直接影响到作战任务的完成，因此，装备退化状态预测研究对于CBM工作的开展具有十分重要的意义。

近年来，装备退化状态预测研究主要集中灰色理论、人工神经网络、云理论及相关向量机等技术领域[2-5]，但是装备历史测试数据往往存在小样本、非线性及动态不确定性等特点，传统理论方法存在一定的局限性。相关向量机[6-7](relevance vector machine,RVM)是TIPPING于2001年提出的一种基于稀疏Bayes学习理论的机器学习新算法。与支持向量机(support vector machine,SVM)相比，其核函数不受Mercer条件的限制，选取更加灵活;参数设置简单，避免了复杂的附加参数;解的稀疏性也远高于SVM，具有较好的泛化能力。

基于以上分析，为进一步提高相关向量机模型的预测精度，提出了一种改进RVM的装备退化状态预测方法。首先，通过构建一种方差高斯核函数(variance Gauss kernel function,VGKF)来提高核函数的全局性能和泛化能力;然后通过借鉴混沌序列局域预测法中邻近点个数的选取方法，利用H-Q准则(Hannan-Quinn rule)对训练空间预测嵌入维数进行优化，避免了主观选取的盲目性;最后提出一种线性搜索算法，优化确定核参数值。通过末制导雷达装备的预测实例对改进RVM的预测性能进行验证。

1 RVM 预测模型

RVM是一种非线性稀疏贝叶斯学习理论，其良好的泛化性能和较少的相关向量使其在预测领域取得了较好的应用，其回归模型原理如下：

ti=y(xi,ω)+εi,

(1)

式中：样本Gaussian噪声εi～N(0,σ2)。类似于SVM的表达式，将式(1)用一系列核函数可以表示为

(2)

式中：ω=(ω0，ω1，…,ωN)T为权参数向量;K(,)为核函数。

因此可以推断出p(ti|xi)=N(ti|y(xi,ω),σ2)，即ti满足ti～N(y(xi,ω),σ2)。为方便表达，引入一个超参数β=σ-2，则整个训练样本数据组的似然函数表示为

(3)

式中：t=(t1,t2,…,tN)T;Φ∈RN×(N+1)为设计矩阵，定义为Φ=(φ(x1),φ(x2),…,φ(xN))T，基函数向量为φ(xi)=(1,K(xi,x1),…,K(xi,xN))T,i=1,2,…,N。

(4)

式中:在超参数α=(α1,α2,…,αN)中的每个αj都相互独立且只与对应的权值ωj相关。利用式(3)和式(4)，根据贝叶斯公式即可得到ω后验分布的表达式：

(5)

由于p(t|ω,β)和p(ω|α)均为Gaussian分布，二者乘积也同样满足该分布;而p(t|α,β)不含ω，可视作归一化系数，式(5)改写为

p(ω|t,α,β)=N(ω|μ,Σ),

(6)

均值矩阵μ和协方差矩阵Σ分别为

Σ=(βΦTΦ+A)-1，

(7)

μ=βΣΦTt，

(8)

式中：A=diag(α0,α1,…,αN)。

若要得到ω的后验分布，必须对2个影响参数β和αj进行优化，具体方法为最大化边缘似然函数p(t|α,β)。对p(t|α,β)等号两边取对数得到目标函数后，再根据目标函数分别对αj和β求偏导并令导数为0，得到2个参数的迭代计算公式：

(9)

(10)

γj=1-αjΣjj,

(11)

式中：μj为μ的第j个元素；Σjj为协方差矩阵Σ第j个对角元。

对RVM模型进行训练就是通过迭代计算不断更新μ和Σ，直至参数收敛或达到最大迭代次数。

噪声方差σ2也通过迭代算法求得

(12)

在超参数估计的收敛过程中，通过最大似然法得到αMP和σMP。若给定新的输入值x*，则相应预测输出的概率分布服从Gaussian分布：

(13)

y*=μTφ(x*),

(14)

(15)

2 RVM回归模型参数优化

2.1 高斯核函数的改进

通过在SVM基础上把基于高斯过程中的Bayesian推理应用到核理论上，RVM算法在先验参数的结构下利用自相关判定理论(automatic relevance determination, ARD)移除不相关的样本点，从而实现了模型的稀疏化[8]。虽然与SVM相比，RVM的核函数由于稀疏、较少的超参数而计算量大减，且脱离了Mercer条件的限制，但是预先确定的核函数性能依然会直接影响到RVM回归预测的精度。

目前常用的核函数有高斯核函数、Laplace核函数、Cauchy核函数等。而高斯基核函数是目前应用最广泛的一种核函数，其标准形式定义为

式中：b为核宽度；N为训练样本数。

作为一种基于距离方程的核函数，高斯核函数的测试点在由源空间映射到高维特征空间后往往会变得稀疏。只有当核函数不仅能在测试点保持较快的衰减，而且在无限远处也能保持一定的衰减时，上述情况才能得到改变。然而高斯核函数只满足前者，所以它是一种典型的局部核函数。近些年，很多学者通过构造高斯核函数与全局性核函数组成的混合核来提高核函数的性能[9-11]，但在这个过程中又引入了多个参数变量，大大增加了RVM的计算复杂度。本文在高斯核函数的基础上，通过构造一种改进的方差高斯核函数来提高RVM的性能。

可以观察到在高斯核函数的标准形式里，所有的特征元素都利用相同的尺度因子来衡量，这一特性也使得具有大数值尺度范围的特征要更占优势，这一局限性也严重影响了其在实用中的性能。为克服这一问题，我们使各特征元素进行零均值归一化并将其标为单位标准差形式：

(16)

式中：μi和σi为特征向量的均值与标准差。将式(16)代入标准形式，将得到的结果改写成核函数的形式，就产生了一个新的核函数，即

(17)

(18)

这样构造的核函数不仅满足前文提到的2个条件，而且成功避免了未知参数的引入，另外在模型数据的输入前也不需要数据的归一化过程。

2.2 训练样本空间维数的优化

实现时间序列{x1,x2,…,xn}预测的关键在于寻找到滑动时间窗口Xt={xt-1,xt-2,…,xt-m}与输出Yt={Xt}之间的准确映射f:Rm→R，t=m+1,m+2,…,n，m为预测嵌入维数。因此，参数m的确定对于预测建模的准确性至关重要。为了克服m选取的主观盲目性，本文基于混沌时序的局域预测法[12]中邻近点个数选取的思想，对RVM的训练样本空间最优嵌入维数进行了优化，该方法适合小数据量的情况，具有计算简单和精度高的特点。

在邻近点个数的确定过程中，本文基于Hannan-Quinn准则[15]，过程如下：

首先对d给定一个宽泛的范围d∈[dmin,dmax]，依次计算每个d值下的H-Q准则值：

(19)

(20)

这一过程通过明确m=dopt将训练样本的空间维数进行了优化，克服了以往仅凭主观经验和FPE准则进行回归训练的不足，具有一定参考性和实用价值。

2.3 核参数优化选择

从2.1节改进的高斯核函数中可以看出，核宽度b是唯一的核参数，而核参数核函数灵敏度关系密切，因此，对核参数进行优化确定具有重要意义。借鉴SVM核参数网格搜索优化算法[16]的思想，本文提出一种更为快速简洁的RVM核参数线性搜索算法，具体过程如下：

(1) 考虑b的一个线性空间，令b∈{2-4，2-3，…，25}。

(2) 针对搜索空间的每一个b值，在训练数据集上通过k折交叉验证法对RVM进行训练和测试，记录每一个b值训练模型下的平均精度和平均相关向量数。

(3) 依据如下标准确定优化核参数值：①选择交叉验证平均精度最高情况下对应的核参数值;②若选择的参数值不唯一，则选择出现最小平均相关向量数时对应的核参数值;③若参数值仍不唯一，则选择最大的参数值。

3 预测实例及分析

以某岸导部队处于贮存状态的导弹为例，从2009年初至2016年底，每季度进行末制导雷达单元测试，获得2个关键参数的32组测试数据，如表1所示，并以此为基础验证本文改进RVM模型的有效性。

表1 关键指标参数测试数据

以前25组数据作为RVM的训练数据，后7组数据用来检验模型的预测效果。通过H-Q准则确定嵌入维数m=dopt=4，则相空间重构后利用21个训练样本进行RVM的学习，进一步比较VGKF核参数值与预测精度之间的关系，如图1所示。从图1中可以看出，RVM的性能受核参数值的影响，常规人为设置核宽度的方法会带来较大的误差，因此有必要优化核参数值以提高预测精度。

确定2个参数对应的核参数值分别为8和4，利用改进RVM和标准RVM模型(高斯核宽度设置为1)对2个性能参数进行预测，结果如图2和图3所示。

由表2可以看出，改进RVM的预测MAPE要低于标准RVM模型，相关向量数也有所减少，说明其具有更好的预测性能，从而验证了本文方法的有效性和优越性。

预测方法c1c2MAPE(%)nRVMAPE(%)nRVRVM1．8160．635改进RVM0．7540．244

4 结束语

作为导弹装备的核心组成部件，末制导雷达的退化状态预测是导弹CBM工作的重要内容。为了进一步提高装备退化状态预测精度，实现精确化保障目标，本文对RVM模型进行了改进，通过构建方差高斯核函数来提高核函数的全局性能和泛化能力;然后利用H-Q准则对训练空间预测嵌入维数进行优化，避免了其主观选取的盲目性;并提出一种线性搜索算法，优化确定核参数值。末制导雷达性能参数预测实例证明了改进RVM具有更高的预测精度，且计算简便，具有不错的工程应用前景。

参考文献：

[1] 马飒飒,贾希胜,夏良华.军队装备维修工程CBM综述[J].装备学院学报,2008,19(2):111-116.

MA Sa-sa,JIA Xi-sheng,XIA Liang-hua.Military Equipment Maintenance Engineering Review CBM[J].Journal of Institute of Equipment,2008,19(2):111-116.

[2] 李颖峰.改进灰色模型在电力负荷预测中的应用[J].电网与清洁能源,2009,25(3):10-11.

LI Ying-feng.The Application of Improved Grey Model in Power System Load Forecast[J].Power System and Clean Energy,2009,25(3):10-11.

[3] LI Dong-qin.Application of Support Vector Machine Regression Method in Prediction of Ship's Price Index[J].Ship & Ocean Engineering,2009,38(2):104-106.

[4] 朱建平.神经网络在电力负荷预测中的应用研究[J].科技资讯,2015,13(23):32-32.

自我校引进了数码互动系统应用于形态实验学教学，对以下几方面进行了改革。建立六个显微数码互动教室，建立大体标本图片库，建立形态学考试题库。六个数码互动教室中每间教室都配置40台显微镜和40台电脑，教师机总体操控投影仪，学生机和数码显微系统。

ZHU Jian-ping.Research on Application of Neural Network in Power Load Forecasting[J].Science and Technology Information,2015,13(23):32-32.

[5] 赵文邦,王少华,蒲膺中,等.基于云理论的装备技术状态预测[J].火力与指挥控制,2013,38(7):62-65.

ZHAO Wen-bang,WANG Shao-hua,PU Ying-zhong,et al.Research of Technical Condition Prediction of Equipment Based on Cloud Theory[J].Fire Control & Command Control,2013,38(7):62-65.

[6] TIPPING M E.Sparse Bayesian Learning and Relevance Vector Machine[J].Journal of Machine Learning Research,2001,1(3):211-244.

[7] SAMUI P,DIXON B.Application of Support Vector Machine and Relevance Vector Machine to Determine Evaporative Losses in Reservoirs[J].Hydrological Processes,2012,26(9):1361-1369.

[8] 周建宝.基于 RVM 的锂离子电池剩余寿命预测方法研究[D].哈尔滨:哈尔滨工业大学,2013.

ZHOU Jian-bao.Research on Prediction Method of Remaining Life of Lithiumion Battery Based on RVM[D].Harbin:Harbin Institute of Technology,2013.

[9] YU J.A Nonlinear Kernel Gaussian Mixture Model Based Inferential Monitoring Approach for Fault Detection and Diagnosis of Chemical Processes[J].Chemical Engineering Science,2012,68(1):506-519.

[10] WEI L,WEI B,WANG B.Text Classification Using Support Vector Machine with Mixture of Kernel[J].Journal of Software Engineering and Applications,2013,5(12):55.

[11] 段青,赵建国,马艳.优化组合核函数相关向量机电力负荷预测模型[J].电机与控制学报,2010,14(6):33-38.

DUAN Qing,ZHAO Jian-guo,MA Yan.Optimized Combination Kernel Function Correlation Vector Machine Power Load Forecasting Model[J].Proceedings of the World’s Electric Power and Control,2010,14(6):33-38.

[12] 杜杰,曹一家,刘志坚,等.混沌时间序列的局域高阶 Volterra 滤波器多步预测模型[J].物理学报,2009,58(9):5997-6005.

DU Jie,CAO Yi-jia,LIU Zhi-jian,et al.A Multi-Step Prediction Model of Local High Order Volterra Filters with Chaotic Time Series[J].Acta Phys Sinica,2009,58(9):5997-6005.

[13] MENG Qing-fang,CHEN Yue-hui,PENG Yu-hua.Small-Time Scale Network Traffic Prediction Based on a Local Support Vector Machine Regression Model[J].Chinese Physics B,2009,18(6):2194-2199.

[14] BING Q,GONG B,YANG Z,et al.A Short-Term Traffic Flow Local Prediction Method of Combined Kernel Function Relevance Vector Machine[J].Journal of Harbin Institute of Technology,2017,49(3):144-149.

[15] HANNAN E J,QUINN B G.The Determination of the Order of an Autoregression[J].Journal of the Royal Statistical Society,1979,41(2):190-195.

[16] 刘祥楼,贾东旭,李辉,等.说话人识别中支持向量机核函数参数优化研究[J].科学技术与工程,2010,10(7):1669-1673.

LIU Xiang-lou,JIA Dong-xu,LI Hui,et al.Research on Kernel Parameter Optimization of Support Vector Machine in Speaker Recognition[J].Science Technology & Engineering,2010,10(7):1669-1673.