基于MCMC算法的多元线性回归变点模型的贝叶斯估计

刘 贞， 周菊玲， 董翠玲

（新疆师范大学数学科学学院，乌鲁木齐 830017）

变点问题在经济、金融、医学、工程等领域应用广泛，是统计学中比较热门的研究方向之一. 线性回归模型自19世纪发展以来就被广泛应用于各学科中. 王振友和陈莉娥运用多元线性回归方法，建立了俄亥俄州臭氧含量与气象的回归方程［1］. 周晨等分析了多元线性回归模型在东北地区需水量中的应用［2］. 王培冬基于多元线性回归模型，分析及预测了沪深股价［3］. 袁水林利用多元线性回归模型，探讨了企业更有效的物流成本管理方法及对企业效益的影响动因［4］. 王康慧通过建立多元线性回归模型验证了工业、最终消费以及货币M2对我国GDP的增长有较为显著的影响［5］.

近年关于线性回归系数变点模型问题的研究，主要有两种方法. 一是通过构造统计量对变点进行检测. 如Liu等提出了一种新的经验似然比检验统计量来检验线性回归模型的回归系数变点问题［6］. 陈占寿等通过引进一个窗宽参数，对线性回归模型系数变点和方差变点进行在线监测［7］. 秦瑞兵等提出了两个基于回归残差的平方累积和的比值型监测统计量，并在这两个统计量的基础上讨论了线性回归模型系数变点的在线监测问题［8］. 杨兆新等在构建分位数LASSO估计量的基础上研究了线性回归模型变点位置的估计问题［9］.二是利用贝叶斯方法估计变点位置等未知参数. 如Tang等主要讨论了在先验分布为beta-binomial分布和幂型先验的条件下，一元线性回归模型变点的贝叶斯估计［10］. 杨丰凯和袁海静基于非迭代IBF抽样算法，详细讨论了线性回归模型中回归系数变点的贝叶斯估计问题［11］. 贝叶斯方法需要对后验分布进行计算，目前MCMC算法因为能够高效处理复杂问题和程序相对容易等优点被广泛应用于贝叶斯方法中. 关于利用贝叶斯方法研究线性回归变点的文献中，Tang等［10］主要侧重于变点模型先验分布的选择，未详细介绍其算法，杨丰凯等［11］主要讨论了IBF算法. 本文在前人学者的研究基础上，研究了基于MCMC算法的多元线性回归系数变点模型的贝叶斯估计，并对位置参数和其他参数做了随机模拟.

1 多元线性回归变点模型

其中：yi,i=1,…,n相互独立. 称（2）式为多元线性回归系数变点模型.

2 贝叶斯估计

2.1 满条件分布

2.2 MCMC抽样

3 随机模拟

本文使用R软件进行随机模拟，利用Gibbs抽样和M-H算法相结合的MCMC算法讨论多元线性回归变点的位置参数和其他参数的贝叶斯估计效果. 考虑如下一元线性回归变点模型：

假设εi,i=1,…,n相互独立.

其中：l表示待估参数的真值；lˆ表示该参数的贝叶斯估计；l()t表示第t次迭代该参数产生的样本. 模拟结果如表1所示.

表1 随机模拟结果Tab.1 Stochastic simulation results

MCMC算法很重要的一个问题是收敛性诊断，如果用MCMC方法生成的马尔可夫链不收敛，则得到的后验估计将是不可靠的. MCMC算法收敛性的诊断一是判断由MCMC方法抽样生成的马尔可夫链是否已经收敛到平稳分布，二是判断由MCMC方法抽样生成的马尔可夫链的样本均值是否已经收敛到遍历均值［13］. 一般常用的方法是画出待估参数模拟得到的马尔可夫链的迭代图，通过迭代图可以直观地发现不正常或不平稳的状态，同时也可以对待估参数取不同初值，产生多条马尔可夫链，在一段时间后，若几条链逐渐稳定并且趋于重合，则说明抽样收敛. 因参数较多，本文只列出参数变点位置r的马尔可夫链迭代图，见图1和图2.

图1 r 的马尔可夫链迭代图Fig.1 Markov chain iteration diagram of r

从表1可以看到，各参数的估计值与真值很接近，RMS均不超过0.7，估计精度较高. 从图1可以看出，r的马尔可夫链在迭代过程中比较稳定，从图2可以看出，r的两条马尔科夫链稳定且趋于重合，说明马尔可夫链收敛，得到的估计是有效的. 因此，随机模拟实验的效果较好.

图2 r 的多条马尔可夫链迭代图Fig.2 Multiple Markov chains iteration diagram of r

4 结论

本文结合贝叶斯方法和MCMC 算法得到了多元线性回归变点模型的变点位置参数和系数参数的贝叶斯估计. 在随机模拟实验中，通过讨论贝叶斯估计的精度及MCMC 算法的收敛性，最终结果表明了该算法的有效性.