如何正确运用χ2检验
——似然比检验与SAS实现

2022-01-07 12:50胡纯严胡良平
四川精神卫生 2021年6期
关键词:对数向量样本

胡纯严 ,胡良平 ,2*

(1.军事科学院研究生院,北京 100850;2.世界中医药学会联合会临床科研统计学专业委员会,北京 100029*通信作者:胡良平,E-mail:lphu927@163.com)

在采用国际通用统计软件(如SAS、SPSS、R等)对列联表资料进行独立性检验和对多因素资料进行回归分析时,在输出结果中常会出现似然比χ2检验的结果。其方法名称至少有以下4种,即Likelihood Ratio、-2Log L、2Log L 和Deviance;若查阅文献[1-3],可知似然比χ2检验统计量的定义至少有3种;若深入学习统计学方面的文献[4-6],可知似然比χ2检验的变种大约有10种。本文从实际出发,介绍前述提及内容中最常用部分,通过实例并借助SAS软件实现统计计算。

1 基本概念

1.1 似然

在日常生活中,人们经常会提及“机会”,有时还会用到“几率”,更专业的名词是“概率”。通常,“似然”就是“概率”的同义词。其实,它们都是用来度量随机事件发生可能性大小的一个数量。然而,在统计学上,“似然”具有更多特定的含义,它是在给定产生数据的概率模型的前提条件下,观测数据出现的概率(或概率密度)。“似然”被用来比较模型中的参数取多个不同的可能的候选值时,以确定参数真值最可能的估计值[1]。换句话说,通过给模型中的参数设定多个不同的数值来计算似然值,选取似然值最大时所对应的参数值为模型中参数的最佳估计值,在统计学上称为参数的最大似然估计值(简写为MLE)。

1.2 似然比与对数似然比

所谓似然比,就是将模型中的参数或参数向量取两组不同的数值,分别代入一个似然函数表达式中,再将这两个表达式以商的形式呈现出来。于是,该商就被称为似然比。对这个似然比取对数,就得到对数似然比。

似然函数一般都由特定问题中随机变量的概率密度函数(对连续型随机变量而言)或概率函数(对离散型随机变量而言)在各观测点上取值的乘积构造而成。也就是说,似然比的分子与分母都是由N(样本含量)项似然连乘之积构成。对似然比取对数变换,就可以将分子与分母中的连乘运算转化成连加运算。于是,在求对数似然函数最大值的过程中,可以达到简化计算的目的。

2 似然比统计量的三种定义

2.1 基于参数向量的空间大小构造似然比统计量

设观测数据xobs被随机地抽自一个总体,该总体由一个依赖于未知参数向量θ的联合密度函数f(x;θ)来描述,我们必须作出一个关于θ的假设(见下文中的H0和H1)。总体的分布可以是离散的或连续的或兼有离散和连续两种成分,例如,包括可能具有删失数据的情形。

函数L(θ)=f(xobs;θ)被称为似然函数。让Θ代表可能的参数向量的集合,让Θ0代表Θ的一个子集。设拟检验的假设如下:H0:θ∈ Θ0;H1:θ∉ Θ0。于是,Neyman和Pearson于1928年提出的似然比统计量[1-2]如式(1):

由式(1)定义的λ<1。在式(1)中,L(θ̂)代表 θ在整个Θ中变化时似然函数取得的最大值;L(θ̂0)代表θ在整个Θ0中变化时似然函数取得的最大值。使似然比统计量λ取得最大值的参数向量θ̂被称为θ的最大似然估计量;而θ̂0是在无效假设成立的条件下θ的最大似然估计量。

如果无效假设为真,即真实的参数向量在Θ0中,那么,也就意味着θ̂和θ̂0都接近于真实的参数向量。因此,λ就接近于1。

2.2 基于两个嵌套统计模型来构造似然比统计量

假定模型P嵌套于模型K内,并设模型P与模型K的似然函数分别为L(P,Y)与L(K,Y)。按下式构造似然比λ统计量[4-6]:

由式(2)定义的λ<1。

2.3 基于全模型与部分模型来构造似然比统计量

假定全模型(即含全部自变量的模型)中的参数向量为bfull(参数个数为k),部分模型(即含部分自变量的模型)中的参数向量为bpartial(参数个数为r),并设全模型与部分模型的似然函数分别为L(bfull,Y)与L(bpartial,Y)。按下式构造似然比λ统计量:

由式(3)定义的λ>1。

2.4 三种定义之间的区别

从本质上来看,上述三种定义是完全相同的。其区别仅在于:对似然比统计量取对数后,计算结果的绝对值相同,但相差一个符号。这就是为什么国际通用统计软件(例如SAS)和数理统计学教科书中给出的对数似然函数值有时以正值(表示为2lnλ或2logλ)形式表达,有时以负值(表示为-2lnλ或-2logλ)形式表达的原因。其中,当λ>1与λ<1时,系数分别为“2”与“-2”都是基于数学原理推导所需要的常数。也就是说,对于同一个资料,采用式(1)和式(2)得到的“-2lnλ”与采用式(3)得到的“2lnλ”是相等的,且都为正数。

3 似然比与对数似然比χ2检验统计量

3.1 名称的约定

人们不能直接依据前面的式(1)、式(2)和式(3)中的任何一个进行假设检验,因为它们都只是一般统计量,它们并不服从某种已知的概率分布。因此,无法直接进行统计推断。然而,对似然比统计量取对数变换,并乘以必要的系数就可构造出新统计量,若能证明其服从某种已知的概率分布,就可利用它和收集到的观测数据进行假设检验了。

2倍(或-2倍)对数似然比检验统计量如下[说明:分别由式(1)、式(2)和式(3)得到]:

文献[2]明确告知,对数似然比检验统计量近似地服从自由度df=k-r的χ2分布(即极限分布),记为χ2k-r,其中,k与r分别为全模型与部分模型中的参数个数。在数理统计学教科书中,常把对数似然比χ2检验简称为似然比χ2检验,还被称为广义似然比χ2检验和最大似然比χ2检验[1]。

【说明】为了与文献和统计软件中的名称一致,本文也沿用简称,即采用“似然比χ2检验”取代“对数似然比χ2检验”。

3.2 似然比χ2检验的种类及应用场合

3.2.1 概述

依据不同的条件或假设,似然函数及似然比χ2检验统计量有很多变种。若把最原始的似然比χ2检验称为一般似然比χ2检验,在文献中还会看到以下变种的似然比χ2检验,即校正似然比χ2检验、剖面(或轮廓)似然比χ2检验、拟似然比χ2检验、伪似然比χ2检验和Rao-Scott似然比χ2检验等。

3.2.2 一般似然比χ2检验统计量

为了进行列联表资料的独立性检验,可以采用多种方法,包括 Pearson’s χ2检验、一般似然比 χ2检验(简称似然比χ2检验)和Fisher’s精确检验等。其中,似然比χ2检验的计算见下式:

在式(7)中,eij为第(i,j)网格上的理论频数,其计算见下式:

在式(8)中,ni·与n·j分别代表第i行与第j列上的合计频数。

3.2.3 校正似然比χ2检验统计量

在SAS/STAT的SURVEYPHREG过程中,校正似然比检验统计量见下式:

式(10)中,L(·)代表偏伪似然函数,β̂代表估计的K个回归参数组成的向量。

【说明】此检验可用来检验整个回归模型中全部回归系数是否为0。

3.2.4 剖面(或轮廓)似然比χ2检验统计量

剖面(或轮廓)似然函数不是一个一般的似然函数,而是在给定感兴趣的参数值的条件下,让所有多余参数取遍其参数空间中的一切值,从而能被最大化的一个似然函数。

对于数据y,让θ和φ分别代表统计模型f(y|θ,φ)中感兴趣的参数与多余参数。一旦y被观测到,似然函数就是L(θ,φ)=Pr(y|θ,φ)。那么,剖面似然函数P(θ)被定义成如下形式:P(θ)=L[θ,φ̂(θ)],此处φ̂(θ)是给定θ的条件下φ的最大似然估计。因此,剖面似然函数是随着多余参数φ延着路径φ=φ̂(θ)移动通过其参数空间过程中产生的似然函数的值。由此可知,剖面似然比检验统计量的定义如下:

在式(11)中,PL服从自由度df=k的χ2分布,其中k是θ的维数。

【说明】可用此方法检验全回归模型是否可简化。

3.2.5 拟似然比χ2检验统计量

在独立同分布(iid)假设下,Koenker和Machado于1999年提出了两种类型的拟似然比检验,其检验统计量分别记为LR1和LR2,分别见式(12)和式(13):

在式(12)和式(13)中,df1和df2分别是简化模型与扩展模型的自由度;τ为分位水平[即分位数,τ∈ (0,1)];D1(τ)和D2(τ)分别为简化模型和扩展模型的检查损失之和,其计算分别见下式:

在式(14)和式(15)中,ŝ(τ)是估计的稀疏函数,在独立同分布(iid)假设下,其计算见下式:

式(16)中的误差F的分布具有灵活性,但不局限于非对称的拉普拉斯分布。估计ŝ(τ)的算法比较复杂,可参阅文献[4],此处从略。

【说明】此方法可用于分位数回归分析,检验扩展回归模型与简化回归模型之间的差别是否具有统计学意义。

3.2.6 伪似然比χ2检验统计量

在SAS/ETS的ENTROPY过程中,有如下表述:Mittelhammer和Cardell于2000年使用条件最大化熵函数F作为伪似然函数,构造出伪似然比检验统计量见下式:

当对回归模型中参数施加线性限制进行检验时,上式与下面的Wald检验统计量具有相同的极限分布。

让H0:Lβ=m,此处L是β的元素的独立线性组合的一个集合。那么,在这个无效假设成立的前提条件下,下面的Wald检验统计量TW服从中心χ2极限分布,其自由度为L的秩。

Mittelhammer和Cardell于2000年还提出了一个与前面两个检验统计量等价的拉格朗日乘数检验统计量,见下式:

在式(19)中,G是F的梯度(说明:一个函数对于其自变量分别求偏导数,这些偏导数所组成的向量就是函数的梯度),其值可在限制参数的优化点上被估计。

【说明】此方法可用于需要对模型中某些参数施加限制或约束的场合。

3.2.7 Rao-Scott似然比χ2检验统计量

3.2.7.1 概述

Rao-Scott似然比χ2检验是一个似然比检验的校正设计版本,它涉及观察和期望频数之比。该检验具有两种形式,分别被称为一阶Rao-Scott似然比检验和二阶Rao-Scott似然比检验。这个检验的计算通过将设计校正应用于基于估计的总样本量的加权似然比检验统计量,主要用途是列联表资料的拟合优度检验。

3.2.7.2 一维表资料的Rao-Scott似然比χ2检验统计量

设一维表资料的水平数为C,则一维表资料的Rao-Scott似然比χ2检验统计量如下式:

在式(20)中,G2服从自由度df=C-1的χ2分布;n是样本含量,N̂是估计的总体样本含量,N̂i是估计的第i水平组的总体样本含量,Ei是在无效假设下估计的第i水平组的期望总体样本含量。对于等比例的无效假设而言,每个水平组的期望总体样本含量可按下式计算:

对于用户指定的第i水平组的无效比例P0i,则第i水平组的期望总体样本含量可按下式计算:

3.2.7.3 二维表资料的Rao-Scott似然比χ2检验统计量

设二维表资料的行、列水平数分别为R、C,则二维表资料的Rao-Scott似然比χ2检验统计量如下式:

在式(23)中,G2服从自由度df=(R-1)(C-1)的χ2分布;n是样本含量,N̂是估计的总体样本含量,N̂ij是估计的第(i,j)网格上的总体样本含量,Eij是在无效假设下估计的第(i,j)网格上的期望总体样本含量,其计算见式(24):

4 实例与SAS实现

4.1 问题与数据

【例1】设某研究者对10例某疾病患者进行了5年随访观察,并记录他们的结局情况[1],最终的结果为:4例死亡、6例存活。假设该疾病患者的死亡概率为π,试基于已经得到的试验数据估计π最可能的取值。

【例2】有一个新药的毒理试验:受试对象为大鼠,设各批次试验药物的剂量为x,死亡大鼠数为r,试验大鼠数为n。4批试验的条件和结果[1]见表1。基于试验结果构建死亡率关于药物剂量的回归模型,检验药物剂量对死亡率是否具有统计学意义。

表1 新药毒理试验条件及大鼠相关数据

4.2 分析与解答

4.2.1 对例1的分析与解答

对每一位患者来说,观察结果y都是一个二值随机变量的一种取值,即y=1(死亡)或y=0(存活)。在统计学上,称y是一个服从两点分布的随机变量。一般假定,10例患者的结果之间是互相独立的,对他们进行观察,相当于进行了10次独立重复试验,同时进行10次两点分布为具有试验次数n的二项分布。根据问题中给定的观察结果:死亡数k=4、死亡概率为π(未知),则依据二项分布概率计算原理可知,对应的概率(似然函数)计算如下:

为了比较π=0.1与π=0.5中哪一个更接近本问题中真实的死亡率,可计算两个似然值:L(π)=L(0.1)=210×0.14×0.96=0.011160,L(π)=L(0.5)=210×0.54×0.56=0.205078。所以,π=0.5比π=0.1更可能作为本问题中的死亡概率。当然,如果借助计算程序来计算,可得到最大概率约为0.250823所对应的死亡率π=0.4。

【结论】本问题中死亡率的真值π=0.4。

4.2.2 例2的分析与解答

【分析与解答】设所需要的SAS程序如下:

【说明】这是一个结果变量为二值变量的多重logistic回归模型分析问题[7-9]。

【SAS输出结果及解释】

以上是“检验全局原假设:BETA=0”的输出结果,其中,Wald χ2检验得到 P=0.1186>0.05,认为剂量x对死亡率的影响无统计学意义;而似然比χ2检验和评分χ2检验都得到P<0.001的结果,认为剂量x对死亡率的影响有统计学意义。特别是似然比χ2检验,χ2=15.7447,P<0.0001。

以上是参数估计和轮廓似然置信区间输出结果。

【说明】为节省篇幅,以上仅保留了与似然比检验有关的结果。

【结论】由似然比χ2检验结果可知,药物剂量对死亡率的影响具有统计学意义;剂量越大,死亡率越高。

5 讨论与小结

5.1 讨论

似然比检验的用途比较广、变种比较多,掌握起来具有一定的难度。准确把握该方法的关键在于以下两点:其一,构建似然函数的方法;其二,掌握常见似然函数的种类。构建似然函数方法的要领是概率乘法原理,即将各观测点上离散型随机变量概率函数连乘或将各观测点上连续型随机变量概率密度函数连乘;而掌握常见似然函数的种类,涉及较复杂的数理统计知识[2-5],因篇幅所限,此处从略。

由前文对例2的分析结果可知,Wald χ2检验法的灵敏度较低,而似然比χ2检验法的灵敏度非常高。随着定量自变量的离散度逐渐减小,前述两种检验方法的检验结果之间的偏差也逐渐缩小。例如:若将例2中的药物剂量修改为“10、24、36、48”,其他数据保持不变,则有关“检验全局原假设:BETA=0”的输出结果如下:

若将例2中的药物剂量修改为“2、4、6、8”,其他数据保持不变,则有关“检验全局原假设:BETA=0”的输出结果如下:

文献[1]深入分析了“Wald χ2检验法和似然比χ2检验法”这两种检验方法的异同点,并揭示出“剖面似然比χ2检验法”的优缺点。

5.2 小结

本文呈现了似然比检验统计量的3种定义,分析了它们之间的异同点;总结了6种常用的似然比检验方法及其应用场合。通过两个实例并借助SAS软件实现了统计计算,对SAS输出结果中与似然比检验有关的内容进行了详细解读。

猜你喜欢
对数向量样本
向量的分解
聚焦“向量与三角”创新题
明晰底数间的区别,比较对数式的大小
比较底数不同的两个对数式大小的方法
规划·样本
人大专题询问之“方城样本”
活用对数换底公式及推论
神奇的对数换底公式
随机微分方程的样本Lyapunov二次型估计
向量垂直在解析几何中的应用