仿真结果动态一致性检验方法研究进展

陈建伟

(河北联合大学建筑工程学院,河北唐山063009)

0 引 言

仿真技术已经在航空、航天、建筑、电力等领域得到广泛地应用。然而,建模过程中受到诸多因素的影响,例如建模原理、仿真算法、对实际系统的把握和理解程度等因素,可以说不可能实现实际系统和仿真系统真正意义上的等价,这样对建模与仿真的校核、验证、确认(Verification,Validation and Accreditation,简称VVA)就显得十分重要。目前,国内外仿真领域也形成共识:没有经过验证的仿真模型没有任何价值,没有经过可信性评估的仿真系统也没有任何价值。

仿真结果验证是VVA工作中最为重要的内容[1～2]。就统计检验而言,仿真输出数据分为静态数据和动态数据,其中对仿真结果动态一致性检验一直是仿真VVA中的研究热点和难点,国外对仿真可信性评估及仿真结果动态一致性检验的研究起步较早,也形成了很多相应的标准和方法,美国国防部的VVA建议规范中总结了76种校核和验证方法,动态一致性检验方法中包含了11种统计技术[1];国内对仿真结果动态一致性检验的重视程度也在不断加强,也做了大量工作,除了借鉴和改进国外的一些方法以外,也提出了一些新的检验方法,例如灰色关联分析方法、距离检验方法等等,但是,研究工作相对分散,没有系统总结最新国内外各种方法的特点,没有形成统一认识和管理以至于还没有形成统一标准。所以,就仿真结果动态一致性检验方面,结合作者查阅大量国内外文献以及对检验方法研究的体会,对目前国内外检验方法进行总结和分析,指出各种方法的特点及不足,为选择合理的方法进行检验提供建议,同时也为在国内形成统一标准而提供一定的参考。

1 仿真结果动态一致性检验方法的发展及应用

从上个世纪六十年代,国外学者就开始对仿真结果动态一致性检验方法进行研究。研究方法主要分为时域内和频域内方法,在时域内,Kheir和Holm es[3～4]提最早出了TIC(Theil's Inequality Coefficient)方法,已经用于导弹系统仿真模型验证与确认。在此基础上,Row land和Holmes[5]提出适用于稀疏随机数据的TIC改进方法。后来,董居忠[6]提出适用于初值不确定、随机测量噪声、不同验模方案的TIC改进方法,并且应用于水下自航器仿真模型验证。魏华梁[7]等提出灰色关联分析方法,也将其用于导弹系统仿真模型验证,在此基础上,孙勇成[8]等提出灰色关联分析的改进方法,通过实例验证了改进方法的合理性和低风险。柳世考[9]等提出相似度检验方法,随后,焦鹏[10]等提出改进的相似度检验方法,并且将其应用到某型号导弹制导仿真系统可信度评估。傅惠民[11]等提出距离检验方法,给出在正态分布和非正态分布下确定一致性检验拒绝域的方法。Damborg[12]提出误差分析方法。黄柯棣[13]等给出时序模型比较法。Miller[14]提出灵敏度分析方法。Velayas和Levary[15]提出决策理论方法进行仿真模型验证。张伟[16～17]等提出仿真可信度的模糊评判方法。贺仁睦[18～19]等对电力系统动态仿真可信度的方法进行研究。Barlas[20]提出自相关函数方法对动态仿真结果进行验证。

在频域内,M ontgomery和Conard[21]最早提出了运用频谱分析方法对导弹仿真系统的动态性能进行一致性检验。周宪民[22]提出利用最大熵谱估计分析方法用于导弹系统仿真结果验证。M ontgom ery和Greene[23]提出单变谱分析方法和互谱分析方法,并且用于导弹系统计算机仿真模型的验证中。魏华梁[24-25]等给出交叉谱估计分析方法以及在反坦克导弹系统仿真模型验证。杨宝民[26]等提出基于时-频分析的二维互相关方法,用于鱼雷自导目标特性、海洋混响仿真结果的可信性评估中。对于仿真系统输出为多维时间序列和非平稳时间序列的情况下,李鹏波[29]等提出瞬时谱估计方法和演变谱估计分析方法,焦鹏[27]给出多维随机过程谱估计分析方法和高阶谱估计分析方法,并且将其用于某型号红外成像制导仿真系统的可信性评估。

2 仿真结果动态一致性检验方法

根据仿真输出结果的维数不同,分为以下两种情况对其基本原理及特点进行总结与分析,即一元仿真结果动态一致性检验和多元仿真动态一致性检验。

2.1 一元仿真结果动态一致性检验方法

2.1.1 TIC方法

Kheir和Holmes[3]提出,TIC方法就是在相同的输入条件下,根据实际系统的采样数据和仿真模型输出数据而构造出一个标量函数(TIC系数),将其作为一致性检验的指标来对仿真输出是否被接受做出判断。

设xt为实际系统输出序列,yt为仿真模型输出序列或是理论上的期望值,数据长度为n,则其标量函数(TIC系数)为ρ(x,y):

TIC系数具有反身性和规范性的特点,其值越小则表明实际系统和仿真系统输出结果的一致性就越好,并且对样本序列没有限制条件,形象直观,但是TIC系数不能确定其统计特性,无法进行定量分析,仅作为一种定性分析方法[28],经过深入研究分析,TIC系数与坐标原点选取有关,也就是说通过坐标原点的选取可以任意改变TIC系数的大小,从而无法形成统一的判定依据,这样对于同样的仿真结果就可能得出不同的判断结论[11],从而影响其在工程中的应用。后来专家学者又提出不同的改进方法,详细可参见文献[5～6]。

2.1.2 灰色关联分析方法

魏华梁[7]等提出,灰色关联分析方法的基本思想与TIC方法类似,同样构造一个标量函数(灰色关联系数),以此作为指标对仿真输出是否被接受做出判断。

设xt为实际系统输出序列,yt为仿真模型输出序列或是理论上的期望值,数据长度为n,则其标量函数(灰色关联系数)为:

为了便于分析,将各个时刻灰色关联系数综合加权考虑,用灰色关联度表示:

这样对于给定的ξ(权函数),γ(灰色关联度)越大,则表明实测结果和仿真结果之间的关联性就越强,该方法具有计算简便,对样本量没有限制等特点,但是无法确定灰色关联系数的统计特性,仍然属于一种定性分析方法。深入研究发现,灰色关联度反映的是系统输出序列趋势性的一致程度,没有考虑两个样本序列在空间的平均距离,没有考虑序列在样本空间的相对位置,这样进行可信性评估不可避免会带来风险,所以孙勇成[8]等提出灰色关联分析的改进方法,对序列几何形状相似和数值接近两个属性采用乘法合成,从数据间的绝对误差和相对误差来衡量数值的接近程度,并对灰色模型进行修改,结合理论证明和实例验证改进方法的合理性,详细内容可以参见文献[8]。

2.1.3 相似度方法

柳世考[9]等提出,仿真系统的相似度是由诸多因素决定的,通过计算实际系统和仿真系统的相似度,来确定仿真系统的可信度。

设仿真系统A和实际系统B之间存在n个相似元,每个相似元的值qi,每个相似元对相似度的影响权重βi,则系统A和B之间的相似度为

设仿真系统的输出结果ys,实际系统的输出结果yr,则相似元的值为

在某种意义上,相似度就是代替相似元对应特性上的仿真系统的可信度,相似度越大,仿真系统的可信度就越高,反之亦然。这样只有在仿真系统输出为静态变量时,才能计算出相似元,对于动态仿真结果没有意义,焦鹏[10]等提出改进的相似度方法,对公式(5)进行修改,使之可以在动态仿真结果的情况下计算相似元的值qi,具体修改的公式可以参见文献[10],从而使相似度方法在工程中的适应性更强。

2.1.4 距离检验方法

傅惠民[11]等提出了距离检验方法,其基本思想是在N维样本空间中,以实际系统和仿真系统输出数据序列之间的平均马氏距离、平均标准化距离、平均欧氏距离为指标,来衡量仿真系统和实际系统输出结果的接近程度。在正态分布或非正态分布两种情况下,均可以给出仿真结果动态一致性检验拒绝域,对实际系统和仿真系统输出结果的一致性进行定量判断。

若数据序列向量服从正态分布情况下,对于单个实测样本函数和多个实测样本函数,以平均马氏距离为指标,根据多元统计分析理论,得出判断动态仿真结果一致性检验的拒绝域;若数据序列向量服从非正态分布或者是未知服从何种分布时,则需要根据文献[11]中的两步仿真法,给出判断仿真结果动态一致性检验的拒绝域。

距离检验方法对动态仿真数据没有任何限制,对平稳时间序列和非平稳时间序列均适用,不用对数据预处理(中心化和标准化),克服其计算误差带来的影响。并且不受坐标原点选取和量纲的影响,在时域内实现了仿真结果动态一致性检验的定量分析。

2.1.5 自相关函数检验方法

Barlas[20]提出,自相关函数方法是根据实测样本序列的自相关函数和仿真样本序列的自相关函数之间差异程度进行仿真模型的验证。

设时间序列样本自相关函数r(k),N为样本序列长度,对应其方差Var(r(k))由下式可得

设仿真样本序列的自相关函数rS(k),实测样本序列的自相关函数rA(k),k为延迟时间,k=1,2,…, m,可以构造dk=rS(k)-rA(k)。这样根据式(6)得到对应每个延迟时间置信区间为[-2Se(dk), 2Se(dk)],其中

在给定的显著性水平下,如果对应每个延迟k的置信带能包含dk,则认为仿真系统输出结果和实测系统输出结果具有一致性,然而进行判断时,对应每个延迟k的置信区间是在显著性水平α下得到的,可是综合考虑每一个dk是否在每个置信区间时的显著性水平已经不再是α,对α的计算问题复杂,导致难以确定,进一步的实例分析可以参见文献[20]。

2.1.6 误差分析方法

Dam borg[12]提出,误差分析方法是根据实测系统输出数据序列和仿真系统输出数据序列之间的误差序列,定义了平方误差、标准化误差、平均值平方和误差、最大绝对值误差、引入权值的误差等五个指标,依据五个指标判断实际系统和仿真系统的差别是否在允许的误差指标范围内具有一致性。该方法计算简便,对样本序列也没有任何要求,但是该方法只是在某一个误差指标下对仿真结果一致性的检验,并没有全面的考虑仿真模型的有效性。文献[12]不仅给出以上指标的计算公式和误差传播的估计,而且还给出实例进行验证。

2.1.7 傅立叶谱估计分析方法

M ontgomery和Conard[21]提出,傅立叶谱估计分析方法是通过传统的傅立叶余弦变换,得到在频域内实测样本序列和仿真样本序列的功率谱函数,依据样本功率谱估计的近似分布来比较功率谱的一致性,以此判断实测结果和仿真结果的一致性程度。

设实测样本序列和仿真样本序列都是平稳的时间序列,对应的功率谱密度分别为 fR(ω)和 fS(ω),对两个样本序列的自相关函数做傅立叶余弦变换可以得到对应的谱密度函数估计值和,k为自由度。在给定的置信水平下,可得置信区间:

若式(8)给出的置信区间上限和下限包含1,则就认为在对应的频率点上两个时间序列的一致性检验通过。如果所有的频率点对应的置信区间上、下限都包含1,可以认为在给定的显著性水平下,实测系统输出序列和仿真系统输出序列是一致的。采用这种方法的理论和算法比较成熟,然而前提要求样本序列是平稳序列,一般仿真系统的输出序列为非平稳序列,如果将样本序列进行预处理而达到平稳化的条件,这样不不可避免会丢失或者加入一些未知的信息[29],有的非平稳序列无法转化为平稳化序列,所以就给使用该方法进行判断带来很大的问题和困难。

2.1.8 最大熵谱估计分析方法

周宪民[22]提出,最大熵谱估计分析方法是一种现代谱估计分析方法,对短时序、低信噪比的样本序列尤为适用,可以大大提高功率谱估计的分辨率,典型的最大熵谱估计计算方法为Burg法和M arp le法,具体的一致性检验分析方法也是根据最大熵谱估计方法分别得出实测系统输出序列和仿真系统输出序列的最大熵谱估计,依据最大熵谱估计的近似统计分布,可以构造出比较两个功率谱估计的检验公式,同样对于每一个频率点都满足检验公式的要求,就可以认为在给定的显著性水平下,实测系统输出序列和仿真系统输出序列是一致的。具体的理论和实例验证可以参见文献[22],最大熵谱估计方法的前提也是要求样本序列满足平稳性,同样存在对样本数据的预处理问题。

2.1.9 交叉谱估计分析方法

M ontgomery和Greene[23]提出单变谱分析方法和互谱分析方法,是根据实测系统输出序列和仿真系统输出序列互协方差函数经过傅立叶变换得到余谱、积分谱、互幅谱、平方相干系数等功率谱函数,通过计算得出各种功率谱函数的置信区间,在频域内进行比较分析和判断[29],具体的计算公式和实例验证可以参见文献[23]。魏华梁[24～25]等给出交叉谱估计方法以及在反坦克导弹系统仿真模型验证,并且指出采用傅立叶变换和最大熵谱估计分析方法不能给出有关相位的任何信息,也不能给出两类输出在频域内线性相关程度的定量估计,然而采用交叉谱估计分析方法可以解决这两方面的不足,用实例表明采用交叉谱估计分析方法具有更强的适用性。

2.1.10 时-频分析方法

杨宝民[26]等提出基于时-频分析的二维互相关分析方法,文中指出,如果单独采用时域内或者是频域内的方法进行仿真结果一致性检验,不能同时反映动态仿真结果在时间和频率上的特性,所以提出采用时-频分析方法对仿真的动态一致性进行检验。结合鱼雷自导仿真结果可信性分析实例,验证该方法在鱼雷自导仿真结果可信性评估中的适用性和有效性,具体的时-频分析的二维互相关分析方法和实例分析可以参见文献[26]。

2.1.11 瞬时谱和演变谱估计分析方法

李鹏波[29]等提出,对于动态仿真结果为非平稳时间序列的情况,不必进行数据平稳化的预处理,可以采用瞬时谱估计方法和演变谱估计方法都能直接得出功率谱估计,进而根据相应的检验判断标准来判断动态仿真结果的一致性。但是同时也指出瞬时谱估计的计算难以实现,并且计算存在较大的误差,仅作为一种新的方法,具体在工程中应用还需要做进一步研究,演变谱估计是瞬时谱估计的数学期望,所以也存在同样的问题。

2.2 多元仿真结果动态一致性检验方法

相比而言,多元仿真结果动态一致性检验方法较少,当仿真系统输出的参数指标有多个时,采用一元仿真数据动态一致性检验方法只能对其中某一个参数指标进行一致性检验,然而,判断仿真系统输出是否与实际系统输出结果满足一致性,不仅要考虑单个参数指标是否满足仿真结果的一致性检验,更重要的要考虑多个参数指标共同作用时仿真结果是否满足一致性要求,因为各个参数指标之间可能存在一定的相关性,采用多元仿真数据动态一致性检验方法可以在一定程度上综合考虑各个参数指标之间存在的隐藏信息。

2.2.1 多重TIC方法

文献[30]对于多输出的系统,利用THEIL不等式系数可以类似定义,从而给出多重TIC方法:

多重TIC方法的判断标准和上述介绍的TIC方法一样,所以也是一种定性的检验方法。

2.2.2 多重灰色关联分析方法

文献[30]对于多输出的系统,给出多重灰色关联分析方法,使得灰色关联分析方法进一步推广,类似于式(2)和式(3),可以得出

为了便于分析,将各个时刻灰色关联系数综合加权考虑,用灰色关联度表示:

多重灰色关联分析方法的判断标准和灰色关联分析方法一样,所以也是一种定性的检验方法。

2.2.3 多元仿真结果距离检验方法

文献[11]针对多元动态仿真结果,提出多元距离检验方法。如果仿真结果服从正态分布,给出各变量相互独立和各变量不相互独立两种情况确定一致性检验的拒绝域,如果仿真结果不服从正态分布或未知其分布,给出确定一致性检验拒绝域的两步仿真法,实现多元动态仿真结果定量的检验,具体的计算以及判断原理可以参见文献[11]。

3 存在问题及发展方向

仿真结果动态一致性检验是仿真系统VVA中的重要内容,我国虽然对此方面研究起步较晚,但是经过几十年的研究发展,也提出了一些新的方法并且在实际的工程中得到应用,然而也存在着一些问题,为解决这些问题而提出相应的发展方向。

1)对仿真可信性评估中的诸多概念理解和表述各异,没有形成统一的认识,没有一个管理部门或是研究学会负责形成统一的标准。从工程应用来看,对武器系统仿真结果一致性检验偏多,类似于国外,我国国防部门也可以成立专门的管理机构,负责协调仿真可信性评估中概念、原则,检验方法以及相关研究成果等问题而形成共识。

2)目前的检验方法多为事后检验,得出的结论是实际系统输出结果和仿真系统输出结果是否满足一致性,如果经过检验不一致,大部分方法并不能给出对仿真系统的修改建议。所以,进一步研究使检验结果不仅可以判断仿真系统一致性,还可以对仿真系统提出一些修改意见,形成检验-修改-再检验的循环模式。

3)多元仿真结果动态一致性检验方法有待进一步的研究,因为该类方法要考虑单个指标结果的一致性和各指标之间的隐藏的相关信息,可以综合考虑来对仿真系统的一致性进行判断,能够较全面地反映实际系统和仿真系统输出结果的一致性。

4)各种检验方法大都存在自身的适用性和局限性,采用单一的检验方法可能会带来较大的检验风险,可以进一步研究多种检验方法的综合运用,可以是主观比较与客观验证相结合、时域方法和频域方法相结合、定性方法和定量方法相结合来提高动态仿真结果一致性检验的可信程度。所以针对以上的问题,为了逐步的解决存在的上述问题,也是将来的发展方向。

4 结 论

动态仿真结果是以时间序列的形式给出,不同的检验方法的存在着不同的难度,所以作为仿真系统VVA工作中最为重要的内容,经过几十年的发展仍然是仿真系统可信性评估的热点问题。

美国制定的VVA建议规范中总结了多种的仿真结果动态一致性检验的统计技术,文中分为一元和多元动态仿真数据情况,综述最新或是常用检验方法的基本原理、特点,并且对目前国内外检验方法进行总结和分析,指出各种方法的特点及不足,为选择合理的方法进行检验提供建议,同时也为在国内形成统一标准而提供一定的参考。

[1] 吴旭光,杨惠珍,王新民.计算机仿真技术[M].北京:化学工业出版社,2005.6.

[2] 吴重光.仿真技术[M].北京:化学工业出版社,2000.5.

[3] Kheir N.A,H olmesW.M.On Validating Sim ulation Models of M issile Sy stems[J].Simulation,1978,30(4):117～128.

[4] 黄柯棣,查亚兵.系统仿真可信性研究综述[J].系统仿真学报,1997,9(1):4～9

[5] James R.Row land,W illard M.H olmes.Simulation Validation with Sparse Random Data[J],Computersand Electrical Engineering,1978,5(3):37～49.

[6] 董居忠.THEIL不等系数法在水下自航器仿真模型验证中的应用[J].计算机仿真,1998,15(2):51～53,13.

[7] 魏华梁,李钟武.灰色关联分析及其在导弹系统仿真模型验证中的应用[J].系统工程与电子技术,1997,19(2):55～61.

[8] 孙勇成,周献中,李桂芳,江金龙.基于灰色关联分析的仿真模型验证及其改进[J].系统仿真学报,2005,17(3):522～524.

[9] 柳世考,刘兴堂,李军.利用相似理论进行仿真系统模型验证[J].计算机仿真,2001,18(6):1～3.

[10] 焦鹏,唐见兵,查亚兵.仿真可信度评估中相似度方法的改进及其应用[J].系统仿真学报,2007,19(12):2658～2660.

[11] 傅惠民,陈建伟.动态仿真结果距离检验方法[J].机械强度,2007,29(2):206～211.

[12] Mark J.Damborg.An Exam ple of E rror Analysis in Dynam ic Model Validation[J].Simu lation,1985,44(6):301～305

[13] 黄柯棣,张金槐,李剑川,邱晓刚,查亚兵,梁加红.系统仿真技术[M].长沙:国防科技大学出版社,1998.10.

[14] D.R.M iller.Sensitivity Analysisand Validation of Simu lation Models[J].Jou rnal of Theoretical Biology,1974,48:345～360.

[15] James M.Velayas,Reuven R.Levary.Validation of Simulation Models Using Decision Theory[J].Simulation,1987,48(3):87～92.

[16] 张伟,王行仁.仿真可信度模糊评判[J].系统仿真学报,2001,13(4):473～475.

[17] 张伟,王行仁.仿真可信度[J].系统仿真学报,2001,13(3):312～314.

[18] 贺仁睦.电力系统动态仿真准确度的探究[J].电网技术,2000,24(12):1～4.

[19] 张进.电力系统动态仿真可信度研究.博士学位论文[D].北京:华北电力大学,2002.

[20] Yaman Barlas.An Autocorrelation Function Test for OutputValidation[J].Simulation,1990,55(1):7～16

[21] Montgomery D.C,Conard R.G.Comparison of Simu lation and Fligh t-Test Data for M issile Sy stems[J].Simulation,1980,34 (2):63～72.

[22] Zhou Xianm in.A New Method w ith High Confidence for Validation of Compu ter Simu lation Models of M issile Systems[J].Proceeding of 2ndBeijing international conference on system simu lation and scien tific compu ting,1992,197～201.

[23] Douglas C.Montgomery,Latricha Greene.Methods for Validating Computer Simu lation Modelsof M issile Systems[J].Journal of Spacecraft,1983,272～278.

[24] 魏华梁,刘藻珍.交叉谱估计及其在导弹系统仿真模型验证中的应用[J].系统仿真学报,1997,9(3):116～121.

[25] Wei Hualiang,Liu Zaozhen,Zhang Tianqiao.Cross Spectral Estimation and Its Application in M issile Systems Simulation[J]. Journal of Beijing Institute of Technology,1996,5(1):80～84.

[26] 杨宝民,陈航,田婉逸.鱼雷自导仿真可信性的时-频分析研究[J].系统仿真学报,2001,13(4):429～431.

[27] 焦鹏.制导仿真系统VV&A的理论、方法和软件工具研究.硕士学位论文[D].长沙:国防科技大学,2004.

[28] 刘藻珍,魏华梁.系统仿真[M].北京:北京理工大学出版社,2004.2.

[29] 李鹏波,谢红卫.现代谱估计方法在仿真可信性研究中的应用[J].计算机仿真,1999,16(1):45～48.

[30] 康风举.现代仿真技术与应用[M].北京:国防工业出版社,2001.9

[31] 李鹏波.频谱分析方法在仿真可信性研究中的应用[J].系统仿真学报,1998,(3):20.

[32] 王子才.关于仿真理论的探讨[J].系统仿真学报,2000,12(6):604～608.

[33] 王子才,张冰,杨明.仿真系统的校核、验证与验收(VV&A):现状与未来[J].系统仿真学报,1999,11(5):321～340.

[34] 吴晓燕,许素红,刘兴堂.仿真系统VV&A现状及标准/规范研究的军事需求分析[J].系统仿真学报,2003,15(8):1081～108.

[35] 杨明,张冰,马萍,等.仿真系统VV&A发展的五大关键问题[J].系统仿真学报,2003,15(11):1506～1508.

[36] 魏华梁,王肇敏,刘藻珍,李钟武.系统仿真置信度研究中的若干问题与准则[J].系统仿真学报,2000(1):39～42.

[37] 冉承新,凌云翔.关于仿真模型检验的研究[J].计算机仿真,2005,22(8):62～64.