不同方法对青海2020年强降水模式产品预报性能的检验对比

沈晓燕，申燕玲，权 晨，杜华礼，颜玉倩

(1.青海省气象科学研究所，青海 西宁 810001;2.青海省防灾减灾重点实验室，青海 西宁 810001)

引 言

随着数值预报技术的不断发展及模式分辨率的逐步提高，数值模式已成为天气预报的重要手段。预报检验是数值模式发展及应用的重要组成部分，检验能够辨析不同模式之间的客观差异[1]，不仅可以反馈给模式开发者以提高其预报性能，还可以为模式应用者提供有价值的参考信息。

以往模式预报检验分析大多采用点对点的传统检验方法[2-8]，如TS评分、空报率、漏报率以及HSS评分、ORSS评分、HK评分、SEDS评分[9-10]等。传统检验方法定量且易于理解，但预报时间和空间上的细微偏差均会导致漏报或空报，从而引起总体评分较低，且缺乏对预报和观测之间误差来源的详细分析，有时还与模式预报的主观评价不一致。因此，空间检验逐渐备受关注[11]。空间检验方法可分为4种类型：邻域法、尺度分离法、特征法、场变形法[12-15]。不同方法各有优缺点，邻域法也称“迷糊法”，通过对高分辨率模式预报结果滤波，获取不同空间尺度评分来体现模式预报能力[16]，它通过放宽传统检验中观测与预报一一对应的要求，给予与观测场空间接近的更高预报评分，避免了将此类预报判定为无效预报[17]；尺度分离法是分离出与尺度相关的误差，需要通过小波分析等空间滤波器进行检验评估；特征法是检验降水系统的宏观尺度特征，而场变形法则是对预报场进行形变以便更好地与观测场进行匹配，与特征法相比它还能够识别出预报与实况严重不符的情况，但计算过程复杂。FSS(fraction skill score)是目前应用较为普遍的空间邻域检验方法，若检验目的是为了诊断预报误差来源，则特征法更为合适，而面向对象的检验方法(method of object-based diagnostic evaluation，MODE)是最具代表性的特征法，它通过分析预报与观测对象的空间特性，有效诊断出对应组合对象的位置、大小等属性差异[18-20]。通过对比TS(threat score)评分、FSS评分、MODE方法在模式降水预报性能检验中的应用，发现传统检验方法虽然有一定的缺陷，但能够得出模式预报的整体性能，故而仍然具有一定的适用性[21-26]；在降水量级较小情况下FSS评分与TS评分的评估效果相差不大，但在降水量级较大时TS评分不稳定，而FSS评分依旧可以区分不同条件下模式预报性能[27]，且可以判别预报效果较好的空间尺度(邻域半径)；MODE方法通过计算降水对象的多种位置、形状属性，从多视角展现模式预报能力[28]。

青海位于青藏高原东北部，强降水次数虽然较少，但因局地性强，在地形复杂特殊、生态环境脆弱条件下极易引发山洪、泥石流等灾害，因此提升模式降水预报准确率对当地防灾减灾、人类生命财产安全意义重大，而预报检验是模式改进的重要前提。目前，全球及区域模式对强降水预报能力较弱，传统点对点检验效果较差，无法体现模式性能差异，而空间检验则是传统点对点检验的有益补充。为此，本研究针对青海省2020年7—8月强降水天气个例，选取多种模式降水预报产品，采用传统检验方法、邻域法及面向对象方法，对比检验各模式在青海地区强降水预报中的性能，以期为不同模式在该地区的应用及改进提供一定参考。

1 资料及处理

按照24 h降水量达到大雨及以上量级的站点超过3个的原则，选出2020年7—8月青海省[包括海西蒙古族藏族自治州(简称“海西州”)、海北藏族自治州(简称“海北州”)、海南藏族自治州(简称“海南州”)、玉树藏族自治州(简称“玉树州”)、黄南藏族自治州(简称“黄南州”)、果洛藏族自治州(简称“果洛州”)及西宁市、海东市8个行政区域]10次强降水天气个例(表1)，强降水落区主要集中在祁连山区、东部农区、玉树州东部、果洛州东部及海南州、黄南州地区。

所用资料包括：(1)欧洲中期天气预报中心(European Center of Medium-range Weather Forecasts,ECMWF)(水平分辨率12.5 km)和美国国家环境预报中心(National Center for Environmental Prediction，NCEP)(水平分辨率25 km)全球模式、中国气象局全球同化预报系统(China Meteorological Administration global assimilation forecast system，CMA-GFS)(水平分辨率25 km)及GRAPES(global and regional assimilation and prediction system)区域中尺度数值预报系统(GRAPES regional mesoscale numerical prediction system，GRAPES-Meso)(水平分辨率9 km)24 h降水量预报产品；(2)青海省232个气象站24 h降水量观测资料，其中52个国家级地面观测站，180个国家地面天气站，站点分布如图1所示；(3)中国气象局国家气象信息中心制作的青海区域地面-卫星-雷达三源融合的实时降水格点分析产品(CMA multi-source precipitation analysis system，CMPAS)，水平分辨率为5 km。文中的青海省及各市(州)行政边界是基于国家测绘地理信息局标准地图服务网站下载的审图号为GS(2019)1696号的标准地图制作，底图无修改。

表1 2020年青海7—8月强降水天气个例信息Tab.1 Information of heavy precipitation weather cases in Qinghai from July to August in 2020

图1 青海省地形高度(彩色区，单位：m)与气象站点(黑点)分布Fig.1 Distribution of topography elevation (colour areas, Unit: m) and meteorological stations (black dots) in Qinghai Province

传统检验过程中采用最邻近插值法将模式网格数据插值到232个站点上，而空间检验过程中则采用双线性插值法将模式网格数据插值到CMPAS产品网格上，空间检验范围为青海省区域(89.2°E—102.95°E、31.4°N—39.4°N)。另外，根据24 h累计降水量，将降水等级划分为小雨(0.1～9.9 mm)、中雨(10.0～24.9 mm)、大雨(25.0～49.9 mm)和暴雨(≥50.0 mm)。

2 检验方法

2.1 传统检验法

传统检验选用TS评分、空报率(false alarm ratio，FAR)、漏报率(missing ratio，MR)、预报偏差(Bias)作为检验指标，计算公式如下：

(1)

(2)

(3)

(4)

式中：k为降水等级；NAk为k等级降水预报正确的站数；NBk为k等级降水空报的站数；NCk为k等级降水漏报的站数。

2.2 空间检验法

FSS评分是目前应用较为普遍的空间邻域检验方法，它是基于FBS评分(fraction Brier score)的变形，利用方差技巧评分构建思路，用来检验预报降水概率[27]，其计算公式如下：

(5)

(6)

式中：Pf、Po分别为单个邻域窗内预报和观测降水发生的概率(可类比于邻域窗内降水的概率)；N为检验区域内邻域窗个数。

MODE检验方法是将观测场和预报场进行平滑，设定雨量阈值，选取关注的降雨面积最小值提取对象。然后，通过计算对象质心距离、目标面积、最小边界距离等属性，将相似的观测场和预报场目标进行匹配，如果观测场和预报场目标存在多对多的情况，则将多对多的目标进行合并。最后，通过综合计算观测和预报对应对象的属性，得出预报对象的整体相似度，其公式[28]如下：

(7)

式中：ai、wi分别表示对象第i个属性及其权重系数；Ci表示对象第i个属性的置信水平；I(ai)表示对象第i个属性的收益函数，是ai的函数。通常认为，目标相似度达到0.7时，模式对雨带的预报较为准确。

在计算FSS评分时使用了MET V9.1.1(model evaluation tools)。MET是由美国数值预报发展试验中心研发，主要针对WRF(weather research and forecasting)中尺度模式(也可应用于其他模式)提供多种检验方法，其中FSS评分包含于基于格点-格点的邻域空间检验方法。MODE的计算采用基于Python的Meteva程序库，该程序库由中国气象局国家气象中心预报技术研发室检验科研发，同样提供了多种检验算法。

3 结果与分析

3.1 整体检验评分

图2是2020年7—8月青海10次强降水天气个例的传统点对点检验TS评分、漏报率、空报率及偏差。可以看出，各模式小雨及以上量级预报TS评分相差不大，平均值介于0.85～0.87之间，ECMWF略优，CMA-GFS略差；GRAPES-Meso漏报较多，空报较少，而其他全球模式空报较多。针对中雨及以上量级，NCEP和ECMWF预报较好，TS评分分别为0.36、0.35，GRAPES-Meso预报相对较差，TS评分为0.29。其中，NCEP空报率、漏报率均较低，GRAPES-Meso漏报较多，CMA-GFS空报较多。针对大雨及以上量级，GRAPES-Meso预报相对较好，但TS评分仅为0.06，所有模式空报和漏报均较高，其中NCEP和GRAPES-Meso相对较优。从预报偏差来看，小雨及以上量级的预报偏差较小，介于1.03～1.14之间，而中雨及以上量级和大雨及以上量级的模式预报均偏多，且CMA-GFS预报偏差均最大(1.72、2.85)，预报偏差最小的分别是GRAPES-Meso(1.18)、ECMWF(1.38)。

图2 2020年7—8月青海强降水天气个例不同模式降水预报的平均TS评分(a)、漏报率(b)、空报率(c)及偏差(d)Fig.2 The average TS score (a), MR (b), FAR (c), Bias (d) of precipitation forecast by different models for heavy precipitation weather cases in Qinghai Province from July to August 2020

邻域检验法是计算检验区域内所有空间邻域集合的误差矩阵。邻域是以每个格点为中心的网格窗口，窗口可以是圆形或正方形，不同邻域窗对检验结果影响不大[17]。为简便计算，本文选择正方形邻域窗，邻域半径为3×3、5×5、…、21×21网格窗口。由于邻域检验使用的CMPAS降水格点分析产品空间分辨率为5 km，因此计算的邻域半径相应为15×15、25×25、…、105×105 km。从图3看出，随着邻域空间尺度的增大，整体上各量级降水的FSS评分逐渐增加；不同量级降水，各模式预报的FSS评分优劣存在差异，小雨及以上量级FSS评分自GRAPES-Meso、NCEP、ECMWF、CMA-GFS依次减小，中雨及以上量级自NCEP、ECMWF、CMA-GFS、GRAPES-Meso依次减小，其结果与TS评分一致，而大雨及以上量级则自ECMWF、CMA-GFS、GRAPES-Meso、NCEP依次降低。

分别针对中雨和大雨及以上量级进行MODE检验，并对比目标属性(表2)。可以看出，就中雨及以上量级预报而言，NCEP整体相似度相对较好，ECMWF次之，GRAPES-Meso最差，这与TS评分和FSS评分一致。从10次个例的相关属性(图略)来看，NCEP质心距离仅次于GRAPES-Meso，总体平均面积比(观测和预报中较小者与较大者之比)及交叉面积最大，ECMWF各目标属性仅次于NCEP，而CMA-GFS交叉面积小，质心距离整体偏大；GRAPES-Meso预报的7月至8月初几次过程整体相似度低，交叉面积小，质心距离远，而对8月中下旬海东地区过程表现较好。从预报与观测目标质心距离及方位角[图4(a)]来看，不同模式预报整体较观测偏西，这与青海中南部中雨及以上雨量预报偏多有关系。

图3 2020年7—8月青海强降水个例不同模式预报的平均FSS评分Fig.3 The average FSS score of precipitation forecast by different models for heavy precipitation cases in Qinghai Province from July to August 2020

表2 2020年7—8月青海强降水天气个例MODE检验的预报与观测对象平均属性Tab.2 The average attributes of forecast objects corresponding to observation for MODE test of heavy precipitation weather cases in Qinghai Province from July to August 2020

图4 2020年7—8月青海强降水天气个例MODE检验的中雨及以上量级(a)和大雨及以上量级(b)预报与观测对象质心距离(单位：km)及方位角(4位数字为强降水发生日期)Fig.4 The centroid distance (Unit: km) and azimuth of moderate rain and above (a) and heavy rain and above (b) forecast objects corresponding to observation for MODE test of heavy precipitation weather cases in Qinghai Province from July to August 2020(four digits for the occurrence date of heavy rainfall)

对于大雨及以上量级预报(表2)，ECMWF、CMA-GFS、GRAPES-Meso整体相似度相差不大，而NCEP整体相似度明显偏低；NCEP预报与观测目标质心距离最大、面积比和交叉面积最小，FSS评分最低；ECMWF质心距离最小、交叉面积最大，CMA-GFS面积比最大，两种模式FSS评分较高；GRAPES-Meso质心距离、面积比、交叉面积均相对表现较好。另外，ECMWF、GRAPES-Meso的大雨及以上量级中心预报均较观测偏北，而NCEP预报的2次大雨及以上量级中心较观测偏南[图4(b)]。

整体来看，不同模式对小雨及以上量级预报评分均较高，模式之间差异不大，但不同检验方法下评分最高的模式略有不同；4种模式的中雨及以上量级预报在不同检验方法下优劣程度表现一致，均自NCEP、ECMWF、CMA-GFS、GRAPES-Meso依次降低，其中MODE检验可以分析预报与观测对应对象的质心距离、方位角、面积比、交叉面积等属性，进而获得预报与观测间的误差来源；对于大雨及以上量级，传统点对点检验评分均较低，很难区别模式间预报能力，FSS评分虽有效提高了模式间预报差异性的评估能力，但MODE检验则提供了模式应用参考价值。

3.2 典型个例检验评分

2020年7—8月青海省大到暴雨超过10站的个例有3次(表1)，均出现在8月，分别为5日08:00至6日08:00(简称“case1”)、22日08:00至23日08:00(简称“case2”)、28日20:00至29日20:00(简称“case3”)，这3次个例大雨站数较多且较为集中。当大雨站数较多且较为集中时，MODE检验的目标对象属性更为明显。下面详细对比分析这3次个例不同检验方法结果。

从图5看出，CMPAS降水格点分析产品上，case1和case2大雨及以上量级站点主要出现在海东市、海南州、黄南州，232站中分别有11、18站达到大雨量级，2、1站达到暴雨量级，最大降水量分别出现在海南州南部同德秀麻乡(60.8 mm)及海南州北部共和县石乃亥乡(94.0 mm)；case3大雨及以上量级站点主要出现在祁连山区、海东市，35站达到大雨量级，9站达到暴雨量级，最大降水量出现在湟源(81.5 mm)。在case1中，针对中雨及以上量级，ECMWF对青海东部降水预报较好，而NCEP、CMA-GFS预报的青海东部降水中心位置偏北，GRAPES-Meso预报的青海东部降水范围偏小；除ECMWF外，其余模式对玉树州北部均有空报。在case2、case3中，不同模式对青海东部降水预报相对较好，但对青海南部均有空报。

综上可见，就中雨及以上量级而言，不同模式对case1预报效果存在明显差异，NCEP、ECMWF、CMA-GFS、GRAPES-Meso预报的TS评分依次为0.27、0.26、0.09、0.02[图6(a)]，最高与最低评分相差0.25。同样，各模式预报的空间检验结果也差异较明显，FSS评分[图7(a)]与MODE检验结果[图8(a)]一致，自ECMWF、NCEP、CMA-GFS、GRAPES-Meso依次降低，MODE检验的整体相似度依次为0.91、0.89、0.73、0.54。另外，从MODE检验的预报与观测对象属性来看，各模式对case1预报对象的质心方位角均较观测偏西北[图4(a)]，其中ECMWF预报与观测对象质心距离仅次于GRAPES-Meso，面积比、交叉面积最大；GRAPES-Meso预报与观测对象质心距离、面积比、交叉面积均最小[图8(a)]，说明预报较实况范围偏小。

case2和case3的中雨及以上量级预报TS评分明显优于case1，但在case2和case3中不同模式预报结果差异不明显，最高与最低TS评分分别相差0.11、0.05[图6(a)]，且不同检验方法下各模式表现略有差异。在case2中，ECMWF、NCEP、GRAPES-Meso、CMA-GFS预报的TS评分分别为0.61、0.59、0.54、0.50，FSS评分自CMA-GFS、ECMWF、NCEP、GRAPES-Meso依次降低[图7(a)]，MODE整体相似度GRAPES-Meso、NCEP、CMA-GFS、ECMWF依次为0.83、0.73、0.72、0.70[图8(a)]。从MODE检验来看，GRAPES-Meso质心距离最小、面积比和交叉面积最大，整体相似度高，而ECMWF面积比偏小，整体相似度最低。由于CMA-GFS降水空间分布形态更为接近实况，故而FSS评分较高。另外，各模式对青海南部空报较多，故而预报对象的质心方位角普遍较观测偏西[图4(a)]。在case3中，传统TS评分GRAPES-Meso(0.55)表现较好[图6(a)]，而FSS评分及MODE检验整体相似度NCEP表现略好。从预报相对观测的方位角来看，各模式均偏西南，与青海南部地区空报有关，质心距离CMA-GFS最小，NCEP次之，但NCEP的面积比和交叉面积最大，故而MODE检验整体相似度较高[图8(a)]。

当各模式大雨及以上量级预报的传统检验TS评分均为0时，空间检验则是传统检验的有益补充。在case1中，各模式大雨及以上量级预报的TS评分均为0，模式差异无法体现[图6(b)]。但从模式预报空间分布(图5)来看，case1中ECMWF预报较好，NCEP落区位于玉树州北部，为空报，而CMA-GFS落区位置偏东北，但范围与实况接近，GRAPES-Meso漏报。空间检验显示，ECMWF与CMA-GFS预报结果较优，两种模式预报对象均位于实况东北部；ECMWF质心距离较小、交叉面积较大，但面积比远小于CMA-GFS，故ECMWF的FSS评分高于CMA-GFS[图7(b)]，而整体相似度小于CMA-GFS[图8(b)]。

图5 2020年8月青海省3次暴雨天气个例的降水分析产品和模式预报产品(单位：mm)(从上至下依次是CMPAS和ECMWF、NCEP、CMA-GFS、GRAPES-Meso，从左至右依次为case1、case2、case3)Fig.5 The precipitation analysis product and forecast products of model for three rainstorm weather cases in Qinghai Province in August 2020 (Unit: mm)(The precipitation products are CMPAS, ECMWF, NCEP, CMA-GFS and GRAPES-Meso from top to bottom in turn; the cases are case1, case2 and case3 from left to right in turn)

图6 2020年8月青海省3次暴雨个例不同模式中雨及以上量级(a)和大雨及以上量级(b)预报的TS评分Fig.6 TS score of moderate rain and above (a) and heavy rain and above (b) forecast by different models for three rainstorm cases in Qinghai Province in August 2020

从图5看出，case2，不同模式均报出了青海东部大雨及以上量级降水中心；case3，除NCEP外，其余模式均报出了青海东部大雨及以上量级降水中心。当模式预报较好时，不同检验方法下模式评分均较高。在case2中，CMA-GFS在不同检验方法下均表现最优，其TS评分为0.24，远大于其余模式，且面积比、交叉面积最大，整体相似度高(0.66)；ECMWF、GRAPES-Meso预报对象质心均位于实况北部，而NCEP、CMA-GFS预报值均位于实况西部，且NCEP略偏南。具体来看，CMA-GFS对青海东部及东南部预报均较好，但质心距离较大、方位偏西，对青海南部地区有空报；ECMWF、GRAPES-Meso对青海东部预报较好，但对东南部存在漏报，而NCEP预报位置偏南。当模式未预报出降水中心或与实况偏离较远时，不同检验方法下模式评分均较差。在case3中，除NCEP表现较差外，其余模式TS评分相对较高且相差不大，GRAPES-Meso、CMA-GFS、ECMWF分别为0.27、0.24、0.22[图6(b)]。不同检验方法下3种较优模式也略有差异，FSS评分自ECMWF、GRAPES-Meso、CMA-GFS依次降低[图7(b)]，整体相似度自CMA-GFS(0.83)、GRAPES-Meso(0.79)、ECMWF(0.65)依次减小[图8(b)]。由于CMA-GFS预报与观测对应目标面积较为接近、交叉面积大，整体相似度最高；ECMWF空间分布形态与实况最为接近，质心距离最小，FSS评分最高，但在祁连山区预报面积小，整体相似度不高；NCEP三种评分结果均最差。

结合环流形势(图略)来看，case1降水区位于副热带高压边缘西南气流中，水汽条件好。不同模式传统检验TS评分差异较大时，空间检验结果(MODE和FSS评分)同样差异较大， CMA-GFS和GRAPES-Meso表现均较差，不同检验方法得出的结论较为一致。case2、case3，青海中东部存在高空槽，低层有切变线，青海东部有地面辐合线。不同模式中雨及以上量级预报效果均较好，模式之间差异不大，但不同检验方法下表现较优的模式略有不同，观测与预报对应对象在面积接近、交叉面积大情况下，MODE整体相似度较高，而在质心距离接近、空间分布形态相似时，FSS评分较高；CMA-GFS和GRAPES-Meso在大雨及以上量级预报中表现较好。

4 结 论

(1)2020年7—8月青海强降水天气个例，ECMWF、NCEP、GRAPES-Meso、CMA-GFS模式对小雨及以上量级预报的TS评分均较高(超过0.84)，预报偏差略偏高(介于1.03～1.14之间)；对中雨和大雨及以上量级预报均偏多，中雨及以上量级CMA-GFS预报偏差最大为1.72，GRAPES-Meso偏差最小为1.18，而大雨及以上量级ECMWF偏差较小(1.38)，其余模式偏多明显(介于2.12～2.85之间)。

(2)2020年7—8月青海强降水天气个例，小雨及以上量级，不同模式间相差不大，不同检验方法下表现较优的模式略有差异；中雨及以上量级，不同模式间差异较为明显，不同检验方法下各模式优劣表现一致；大雨及以上量级，各模式预报均较差，TS评分差异不大，FSS评分能够有效提高模式差异性的表现能力，MODE方法则提供降水对象的属性表现。另外，中雨及以上量级预报较观测普遍偏西，质心距离介于1.69～1.93 km之间，与青海南部空报较多有关，而大雨及以上量级预报普遍偏北，质心距离介于0.62～1.12 km之间。

(3)当模式预报效果较好时，不同检验方法下模式评分均较高；当模式未预报出降水中心或与实况偏离较远时，不同检验方法下模式评分均较差。

总体来看，4个模式产品中ECMWF、CMA_GFS、GRAPES_Meso对强降水有较好的参考价值，ECMWF预报与实况质心距离最为接近，CMA_GFS预报与实况面积比最大，ECMWF、GRAPES_Meso预报较观测偏北。然而，由于青海省强降水天气个例严重偏少，还不足以概括每一种模式产品在本省较稳定的偏差。另外，MODE检验结果对参数的选择较为敏感，如平滑半径、滤波阈值、合并距离等，致使检验结果缺乏一致性，可能会引起一定误导。然而，邻域方法不需要选择参数，能够体现不同邻域空间尺度下评分变化，对检验一些“模糊的”不包含匹配良好对象的预报表现较好。随着高分辨率数值模式的广泛应用，如何有效利用空间检验方法以提高模式释用还有待更进一步研究。