结合RF 与1DCNN的多信息融合气温预报方法

2022-03-25 04:45唐全莉
软件导刊 2022年3期
关键词:气温卷积神经网络

李 晶,唐全莉

(1.昆明理工大学 管理与经济学院,云南 昆明 650093;2.昆明理工大学 理学院,云南 昆明 650500)

0 引言

气温是影响气候最主要的参数之一,近100 年来中国年均气温升高0.5~0.8℃,其中近50 年气候变暖趋势尤为明显[1],导致干旱、洪涝等极端气象灾害频繁发生,进而对全球气候产生影响[2]。中国水利部部长陈雷在2008 年第二届中瑞防洪减灾研讨会上指出,自公元前206 年至公元1949 年的2 155 年间,中国共发生特大洪灾1 092 次,较大旱灾1 056 次,平均每两年发生一次较大水灾或严重干旱。因此,对气温进行精准预报有助于预防极端气象灾害,对人类经济活动、地质灾害防控、医疗实践等众多领域具有重要意义。

随着社会的高速发展和人民生活水平的不断提高,人们对气温预报的精准程度提出了更高要求,机器学习模型作为近年的研究热点,为气温的精准预报提供了新思路[3-5]。Jallal 等[6]运用多层神经网络构建了一种智能自回归模型,对2014 年摩洛哥马拉喀什记录的气温值进行预报;门晓磊等[7]分别运用岭回归、随机森林(Random Forest,RF)和深度学习(Deep Learning,DL)方法,对BABJ、ECMF、RJTD 以及KWBC 这4 种数值预报模式的气温预报结果进行订正,以提高气温预报精度;Karimi 等[8]运用支持向量机和RF 模型,对伊朗30 个气象站所记录的1986-2000 年间的月气温值进行预报,实验结果表明RF 模型气温预报效果更好。因此,机器学习模型在气温预报领域中得到应用,前期的研究成果对提高气温预报精度具有一定的参考价值。

一维卷积神经网络(One-Dimensional Convolutional Neural Network,1DCNN)是一种特殊的机器学习模型,与传统卷积神经网络(Convolutional Neural Network,CNN)相似,具有强大的表征学习能力[9],在气象站观测数据以及具有固定周期的信号数据分析预测中效果较好[10]。Shubhi等[11]基于一维单CNN 和一维多CNN 深度学习模型,分别对斯图加特和荷兰的风速风向进行预测,均取得了良好的预测效果;Liu 等[12]基于小波包分解、CNN 神经网络和卷积长短记忆网络,构建了一种风速预测模型。该模型能有效对一维风速时间序列数据进行预测,尤其在风速发生突变时,与传统风速预测模型相比,该模型具有更好的预测性能;Huang 等[13]基于一维时间序列信号数据具有周期性和短时脉冲特性的特点,提出一种将三次样条插值池法与1DCNN 神经网络相结合的故障诊断方法,该方法能在保持信号连续性的前提下最大限度地保留原始信号的特征重构。因此,1DCNN 模型在时间序列数据处理领域得到应用,提高了气温预报精度。

由于原始气象观测数据大多是高维的,且存在大量物理噪音和与气温无关的冗余特征,导致传统的1DCNN 模型在实际气温预报过程中对特征和特征值之间的理解减弱,加大了模型学习难度。鉴于此,本文运用RF 模型理论和1DCNN 神经网络模型理论,对气象观测数据进行特征选择,构建一种多信息融合气温预报模型RF-1DCNN。该模型具有较强的特征选择和特征提取能力,能够从海量气象观测数据中提取与气温高度相关的深层信息,有效避免了传统气温预报模型受大量物理噪声和与气温无关的冗余特征的误导影响,提高模型的学习能力、泛化能力和拟合能力,更精准地对气温进行预报。

1 研究方法

1.1 随机森林模型

RF 模型是Leo[14]于2001 年提出的一种用于提高分类精度的集群分类器,主要由Bagging 算法和Random Subspace 算法构成。基于集成学习思想,RF 模型能够运用多棵决策树从海量数据中提取有价值的隐藏信息,进而筛选出对影响模型预测精度相关性较大的指标,以提高数据分析效率。因此,RF 模型被广泛应用于回归问题和分类问题。随机森林模型结构如图1 所示。

Fig.1 Structure of random forest model图1 随机森林模型结构

由图1 可以看出,RF 模型由多棵决策树h1(x),h2(x),…,hnTree(x)集合而成,每棵决策树之间通过共同作用挖掘出对影响模型预测精度相关性较大的指标,操作步骤如下:①分别度量出每棵决策树对提高模型预测精度的贡献值,进而计算出每个指标的特征重要性得分;②将每个指标的特征重要性得分由低到高进行排序;③根据特征重要性得分排序结果,剔除分值较低的特征,筛选出对提高模型预测精度贡献较大的指标作为神经网络模型的输入变量。

1.2 1DCNN 神经网络模型

1DCNN 神经网络是CNN 神经网络的一种特殊结构,具有强大的表征学习能力,能够从输入信息中提取高阶特征[15-16]。一个典型的1DCNN 模型通常包括输入层、若干个交替的卷积层和池化层、全连接层和输出层。其中,卷积层和池化层是1DCNN 模型特有的网络结构,可以对输入数据进行特征提取。

(1)卷积层。卷积层通过卷积运算从输入数据中提取子序列,以达到从局部输入中提取高阶特征,提高特征鲁棒性的目的,卷积公式如式(1)所示。为了提高1DCNN 模型的稀疏性,减少参数之间的依存关系,通常采用线性整流函数(Rectified Linear Unit,ReLU)作为卷积层的激活函数,数学表达式如式(2)所示。

(2)池化层。池化层在卷积层之后,利用最大池化方法对卷积层的输出执行池化操作,通常采用sigmoid 函数作为池化层的激活函数,如式(3)和式(4)所示。

2 多信息融合气温预报模型构建

2.1 研究区域

本文研究区域为云南省昆明市。昆明由于其独特的地理位置,经常出现倒春寒、洪涝、干旱等多种气象灾害,以及由气象灾害引发的泥石流、山体滑坡等地质灾害,造成经济和人员等重大损失。因此,本文充分挖掘云南省昆明市气象观测数据间的隐藏特征,以提高气温预报精度,进而增强气象灾害预防能力。

2.2 预报时间范围

气温变化易受各种不可控因素影响,随着预报时间的增加,预报误差逐渐累积,导致气温预报精度不断降低。本文拟对云南省昆明市未来10 小时的气温进行预报,探究多信息融合气温预报模型RF-1DCNN 在未来10 小时中的气温预报效果,为后期对中长期气温预报研究提供理论依据。

2.3 数据收集

气温易受太阳辐射量、地形、海陆位置、洋流、气压、风向、风速以及相对湿度等各种不可控因素影响,为气温的精准预报增加了难度。基于此,本文将构建多信息融合的预报方法对气温变化进行深入研究。运用文献分析法得到影响气温变化的主要因素有气温(T)[17]、气象站气压(PO)[18]、海平面气压(P)[19]、相对湿度(RH)[20]、风向(WD)[21]、风速(WS)[22]以及水平能见度(VV)[23]等,单位分别为摄氏度(℃)、毫米汞柱(mmHg)、毫米汞柱(mmHg)、百分率(%)、罗盘方向、米/秒(m/s)、千米(km)。根据以上影响因素收集云南省昆明市地面气象站2017 年1 月1 日0 时至2019 年12 月31 日23 时(共计1 095 天)的每小时气象观测数据(共计26 280 条)进行实证研究,同时运用差分法对气象观测数据进行预处理,将预处理后的数据集中前80%的数据作为训练集,后20%作为测试集,并随机抽取训练集中的20%作为验证集。

2.4 预报性能评价指标

通常情况下,用于评估机器学习模型预报性能所采用的评价指标主要包括均方根误差[24](Root Mean Square Error,RMSE)和皮尔逊相关系数[25](Pearson correlation coefficient,PCCs)等。其中,RMSE 是预测误差的衡量指标,指标值越小表明预测精度越高,即预测值越接近真实值。PCCs是度量相关性的衡量指标,常用r 表示。r 值越接近1,表明预测值与真实值之间的相关性越强,拟合度越高。训练集上RMSE的值体现模型的学习能力,该值越小,表明模型的学习能力越强。验证集上RMSE的值体现模型的泛化能力,该值越小,表明模型的泛化能力越强。测试集上RMSE和r的值体现模型的拟合能力,RMSE 值越小且r 值越接近1,表明模型的预报精度越高。因此,本文选取模型的学习能力、泛化能力以及拟合能力作为衡量多信息融合气温预报模型RF-1DCNN 预报性能的评价指标。RMSE 和r的计算公式分别如式(5)和式(6)所示:

2.5 RF-1DCNN 模型建立

随着计算机技术和应用数学的发展,神经网络模型在气温预报领域已取得一定的应用成果。传统的气温预报方法主要包括1DCNN、LSTM 和BP 神经网络。LSTM 神经网络是经典的时间序列处理模型,能够深度挖掘历史气象观测数据间的时间相关性,进而有效解决梯度消失和梯度爆炸问题;1DCNN 神经网络具有强大的表征学习能力,能够从输入信息中提取隐藏特征,进而挖掘出与气温高度相关的高阶特征,在提高模型预报精度的同时减少训练时间;BP 神经网络具有较强的非线性映射能力,能够利用误差反向传播算法自动调整权值和阈值,进而较好地对时间序列数据进行处理。

因此,本文运用特征选择能力较强的RF 模型和表征学习能力较强的1DCNN 神经网络模型理论,构建一种多信息融合气温预报模型RF-1DCNN。该模型能够从海量气象观测数据中剔除大量物理噪声和与气温无关的冗余特征,进而克服传统单变量气温预报方法只考虑气温这一个气象要素的局限性,提高气温预报精度。模型总体框架如图2 所示。

Fig.2 Multi-information fusion temperature forecast method 1DCNN overall framework图2 多信息融合气温预报方法RF-1DCNN 总体框架

由图2 可以看出,多信息融合气温预报方法RF-1DCNN 主要由RF 和1DCNN 两部分构成。①RF 模型对预处理后的气象观测数据进行特征选择,挖掘出与气温高度相关的气象要素作为1DCNN 神经网络模型的输入变量;②1DCNN 模型特有的卷积层和池化层,从输入变量中提取与气温高度相关的隐藏特征,进而降低数据维度和时间复杂度,提高气温预报精度。

3 实验结果与分析

本文基于RF-1DCNN 模型,运用Python 软件进行程序编译,挖掘出与气温变化高度相关的气象要素作为神经网络模型的输入变量。同时选取LSTM、1DCNN 和BP 神经网络作为基线模型,与所构建的RF-1DCNN 模型在总体预报效果、气温预报性能两个方面进行对比分析。

3.1 RF 特征选择

特征重要性得分是衡量指标对提高模型预测精度所作贡献的标准,根据特征重要性得分排序结果能够筛选出与气温变化高度相关的气象要素。通常情况下,当指标的特征重要性得分低于0.1 时,表明该指标对提高模型预测精度所作的贡献较小,即在对模型进行训练时,该指标不仅增大了模型的训练难度,还容易导致模型过拟合,进而降低气温预报精度。因此,本文选取0.1 作为衡量气象要素对提高模型气温预报精度所作贡献的基线,剔除特征重要性得分低于0.1的气象要素,进而挖掘出与气温变化高度相关的气象要素作为神经网络模型的输入变量。

在运用RF-1DCNN 模型进行气温预报之前,首先运用RF 模型对预处理后的气象观测数据进行特征选择。通过Python 软件进行程序编译,分别计算出PO、P、RH、WD、WS以及VV 对气温变化的特征重要性得分,并由低到高进行排序,如图3 所示。

由图3 可以看出,特征重要性得分高于0.1的气象要素有3 个,分别为PO、P 和RH。其中,PO 和P的特征重要性得分较高,分别为0.485 和0.223,说明气温变化与气压变化高度相关,气压越低气温就越高。RH的特征重要性得分为0.122,表明相对湿度对气温的变化影响较大,必须引起重视。同时,特征重要性得分低于0.1的气象要素也有3 个,分别为WD、WS 和VV。其中,VV的特征重要性得分最低,仅为0.032,表明水平能见度与气温变化相关性较小,只能间接影响气温变化。WD 和WS的特征重要性得分分别为0.072 和0.067,表明风向和风速对气温变化的影响较小,不是影响气温变化的主要因素。影响气温变化的相关性程度从高到低依次为PO、P、RH、WD、WS 以及VV。

Fig.3 Results of feature selection in RF model图3 RF 模型特征选择结果

综上所述,本文选取T、PO、P 以及RH 这4 个气象要素作为神经网络模型的输入变量,克服传统气温预报模型因特征提取能力不足而导致的气温预报精度较低的问题,有效提高气温预报精度。

3.2 模型预报效果比较分析

在进行气温预报性能比较之前,首先对模型的总体预报效果进行比较分析。通过Python 软件进行程序编译,分别绘制出RF-1DCNN、1DCNN、LSTM 和BP 模型的气温预测值与真实值比较曲线,如图4 所示(彩图扫OSID 码可见,下同)。

Fig.4 Overall temperature forecast results of RF-1DCNN,1DCNN,LSTM and BP model图4 RF-1DCNN、1DCNN、LSTM 和BP 模型整体气温预报结果

由图4 可以看出,除了少数的波峰和波谷预报效果较差以外,RF-1DCNN、1DCNN、LSTM 和BP 模型的总体气温预报结果相似,具体表现为RF-1DCNN、1DCNN、LSTM 和BP 模型的气温预报曲线都十分贴近气温真实曲线,能较好地预测气温变化的总体走势。这表明上述4 种模型都能较好地刻画气温的动态变化。

为了更清晰地描述RF-1DCNN、1DCNN、LSTM 和BP模型的气温预报效果,本文随机抽取图4 中连续2 天共48个数据,分别绘制各模型的气温预测值与真实值对比曲线,如图5 所示。

由图5 可以看出,相较于传统的1DCNN、LSTM 和BP 模型,本文所构建的多信息融合气温预报模型RF-1DCNN的气温预测值更接近真实值,气温预报结果较准确,表明RF-1DCNN 模型能够从含有大量物理噪声和与气温无关的冗余特征的气象观测数据中提取出与气温高度相关的潜在信息,进而在降低数据维度和时间复杂度的同时提高气温预报精度。

Fig.5 Temperature forecast results randomly selected by BP model图5 BP 模型随机抽取的气温预报结果

3.3 模型预报性能比较分析

本文选取模型的学习能力、泛化能力以及拟合能力作为衡量多信息融合气温预报模型RF-1DCNN的性能评价指标。首先针对训练集中的数据,从RMSE的角度对RF-1DCNN、1DCNN、LSTM 和BP 模型的学习能力进行比较分析。模型的学习能力越强,表明该模型挖掘隐藏信息的能力越强,能够从海量的气象观测数据中提取更多与气温相关的潜在信息,进而提高模型的学习能力;其次,针对验证集中的数据,从RMSE的角度对RF-1DCNN、1DCNN、LSTM和BP 模型的泛化能力进行比较分析。模型的泛化能力越强,表明该模型的实际预测能力越强,理论上气温预报精度就越高,进而具有较好的拟合能力;最后,针对测试集中的数据,从RMSE、r 以及P 值的角度对RF-1DCNN、1DCNN、LSTM 和BP 模型的拟合能力进行比较分析。其中,P 值是统计学中应用最广的假设检验指标之一,将其与给定的显著性水平进行比较,可以确定是否具有统计学意义。本文将选定显著性水平为0.05,当P≤0.05 时,模型的RMSE、MAE 和r 值均具有统计学意义。RMSE 值越小且r 值越接近1,表明该模型的拟合能力越强,气温预测值越接近真实值,进而预报精度越高。

3.3.1 模型学习能力比较分析

通过Python 软件对验证集中的数据进行程序编译,分别绘制出RF-1DCNN 与1DCNN、LSTM 以及BP 模型在不同迭代次数下的RMSE 对比曲线,如图6 所示。

Fig.6 RMSE comparison results of RF-1DCNN model and 1DCNN,LSTM,and BP models on the train set,respectively图6 RF-1DCNN 模型分别与1DCNN、LSTM 和BP 模型在训练集上的RMSE 比较结果

由图6 可以看出,RF-1DCNN、1DCNN、LSTM 和BP 模型在训练集上的RMSE 曲线均随着迭代次数的增加而持续降低,最终趋于稳定,表明各模型在训练集上都能有效收敛,具有良好的学习能力。同时,在图6(a)、图6(b)以及图6(c)的总体迭代过程中,RF-1DCNN 模型的RMSE 曲线在0.355 附近趋于稳定。其中,由图6(a)可以看出,1DCNN 模型的RMSE 曲线也在0.355 附近趋于稳定。对比1DCNN 模型,RF-1DCNN 模型在前100 次迭代过程中的RMSE 曲线较低,表明RF-1DCNN 模型的整体学习能力更强,能够更有效地提高气温预报精度;由图6(b)可以看出,LSTM 模型的RMSE 曲线在0.435 附近趋于稳定。对比LSTM 模型,RF-1DCNN 模型的RMSE 曲线明显更低,表明RF-1DCNN模型能够更有效地降低气温预报误差;由图6(c)可以看出,BP 模型的RMSE 曲线在0.485 附近趋于稳定。对比BP模型,RF-1DCNN 模型的降低幅度更加明显,表明RF-1DCNN 模型能够学习更多与气温相关的潜在信息,进而提高数据分析效率。

综上所述,相较于1DCNN、LSTM和BP模型,RF-1DCNN模型在训练集上的RMSE 曲线最低,具有较强的学习能力,表明该模型能充分学习气象观测数据中与气温高度相关的隐藏信息,进而提高气温预报精度。

3.3.2 模型泛化能力比较分析

针对验证集中的数据,通过Python 软件进行程序编译,分别绘制出RF-1DCNN 与1DCNN、LSTM 以及BP 模型在不同迭代次数下的RMSE 比较曲线,如图7 所示。

由图7 可以看出,RF-1DCNN、1DCNN、LSTM 和BP 模型在验证集上的RMSE 曲线均随着迭代次数的增加而持续降低,最终趋于稳定,这表明各模型在验证集上都达到有效收敛,具有良好的泛化能力。同时,在图7(a)、图7(b)及图7(c)的总体迭代过程中,RF-1DCNN 模型的RMSE 曲线在0.285 附近趋于稳定。由图7(a)可以看出,1DCNN 模型的RMSE 曲线在0.295 附近趋于稳定。对比1DCNN 模型,RF-1DCNN 模型的RMSE 曲线降低幅度明显更大,表明RF-1DCNN 模型能够更有效地提高气温预报精度;由图7(b)可以看出,LSTM 模型的RMSE 曲线在0.295 附近趋于稳定。对比LSTM 模型,RF-1DCNN 模型的总体RMSE 曲线较低,表明RF-1DCNN 模型能够有效缓解过拟合现象,具有更强的泛化能力;由图7(c)可以看出,BP 模型的RMSE 曲线在0.335 附近趋于稳定。比较BP 模型,RF-1DCNN 模型的RMSE 曲线明显更低,表明RF-1DCNN 模型具有更强的气温预报能力,能对气温进行精准预报。

Fig.7 RMSE comparison results of RF-1DCNN model and 1DCNN,LSTM,and BP models on the validation set,respectively图7 RF-1DCNN 模型分别与1DCNN、LSTM 和BP 模型在验证集上的RMSE 比较结果

综上所述,相较于1DCNN、LSTM 和BP模型,RF-1DCNN模型在验证集上的RMSE 曲线最低,具有较强的泛化能力。该模型不仅能较好地拟合验证集中的数据,还能较好地拟合未学习过的其他气象观测数据,进而对气温进行精准预报。

3.3.3 模型拟合能力比较分析

针对测试集中的数据,通过Python 软件进行程序编译,分别计算得出未来10 小时的气温预报过程,RF-1DCNN 模型相较于LSTM、1DCNN 和BP 模型在RMSE 和r 上改进的百分比如表1 所示。

由表1 可以看出,RF-1DCNN、LSTM、1DCNN 和BP 模型的p 值均小于0.05,表明各模型的RMSE 和r 值均具有统计学意义。同时,在对未来10 小时的总体气温预报过程中,各模型每小时的RMSE 和r 值的百分比都大于0,且RMSE 值在第一小时内降低最多,r 值在第10 小时最接近1,表明相较于LSTM、1DCNN 和BP 模型,RF-1DCNN 模型的气温预报精度更高,能够更好地对气温进行精准预报。其中,对比LSTM 模型,RF-1DCNN 模型的RMSE 值最大降低了13.110%,r值最大提高了0.240%,这是因为RF-1DCNN具有较强的特征选择和特征提取能力,能够有效避免传统LSTM 模型受大量物理噪声和与气温无关的冗余特征的误导,进而改善LSTM 模型训练时间较长、易过拟合的缺陷。对比1DCNN 模型,RF-1DCNN 模型的RMSE 值最大降低了26.176%,r 值最大提高了0.567%,这是因为RF-1DCNN 模型基于RF 能够度量特征重要性,能够从海量气象观测数据中提取与气温高度相关的深层信息,进而提高数据分析效率,提高模型预报精度。对比BP 模型,RF-1DCNN 模型的RMSE 值最大降低了17.612%,r 值最大提高了0.355%,这是因为BP 模型虽然具有较强的非线性映射能力,但与LSTM 模型无法进行特征提取和特征选择的缺陷相似,BP模型无法避免物理噪声和与气温无关的冗余特征对气温变化的影响,气温预报误差略大。因此,4 种模型的气温拟合能力从优到劣依次为:RF-1DCNN 模型、LSTM 模型、1DCNN 模型、BP 模型。

Table 1 Percentage improvement of RMSE,r and P of RF-1DCNN compared with 1DCNN,LSTM and BP model表1 RF-1DCNN 相较于1DCNN、LSTM 和BP 模型在RMSE、r 和P 上改进的百分比

综上所述,针对RMSE 指标,RF-1DCNN 模型较LSTM、1DCNN和BP模型最大降低了13.110%、26.176%和17.612%,气温预测值更接近真实值,具有较高的气温预报精度;针对r 指标,RF-1DCNN 模型较LSTM、1DCNN 和BP 模型最大提高了0.240%、0.567%和0.355%,气温预测值与真实值的相关性最高。因此,相较于LSTM、1DCNN 和BP 模型,本文所构建的多信息融合气温预报模型RF-1DCNN 能够充分挖掘出与气温变化高度相关的气象要素,提高模型的气温预报精度,进而对气温进行精准预报。

4 结语

为避免大量物理噪声和与气温无关的冗余特征对气温预报产生的负面影响,本文运用特征选择能力较强的RF模型和表征学习能力较强的1DCNN 神经网络模型构建了一种多信息融合气温预报模型RF-1DCNN。该模型不仅能有效缓解传统气温预报模型因关联信息不足而导致的预报精度低、泛化能力较差的缺陷,还能从海量气象观测数据中提取出与气温变化高度相关的潜在特征,进一步提高模型的数据分析效率。实验结果表明,在对未来10 小时的总体气温预报中,相较于传统的1DCNN、LSTM 和BP 模型,本文所构建的多信息融合气温预报模型RF-1DCNN 在训练集、验证集和测试集上均具有更好的气温预报效果,气温预报值更接近真实值。特别是在对前6 小时的气温预报过程中,RF-1DCNN 模型的RMSE 值降低最多,相关性r值也更接近于1,表明相较于1DCNN、LSTM 和BP 模型,RF-1DCNN 模型具有更强的短时气温预报能力,能够更好地对短时气温进行精准预报。为进一步提高中长期气温预报精度,将多信息融合气温预报模型RF-1DCNN 与滚动预测方法相结合是后续研究方向。

猜你喜欢
气温卷积神经网络
基于FY-3D和FY-4A的气温时空融合
基于3D-Winograd的快速卷积算法设计及FPGA实现
深冬气温多变 蔬菜管理要随机应变
神经网络抑制无线通信干扰探究
从滤波器理解卷积
基于傅里叶域卷积表示的目标跟踪算法
基于神经网络的拉矫机控制模型建立
复数神经网络在基于WiFi的室内LBS应用
与气温成反比的东西
基于支持向量机回归和RBF神经网络的PID整定