基于Deep AR神经网络时间序列模型的电能消耗预测

邱禧荷，茹亚军，陈 斌，郭 韵

(1.上海工程技术大学 电子电气工程学院，上海 201620；2.上海理工大学 机械工程学院，上海 200093；3.上海工程技术大学 机械与汽车工程学院，上海 201620)

现如今电力已经成为最重要的能源之一，预测电能消耗有利于更合理地规划利用能源，保证电力系统能够正常运行.大多数电能消耗数据都是以小时或者分钟为单位记录用电量，这种区域性时序数据预测可以提供用电负荷的估计，对电力线路以及供热网络的设计是至关重要的.常用的电能消耗预测方法包括回归模型法、基于时间序列方法及基于指数加权方法.研究人员利用这些模型预测短期用电量.传统的时间序列方法中，自回归移动平均方法(autoregressive integrated moving average，ARIMA)[1]和ARIMA派生方法(seasonal ARIMA，SARIMA)[2]被应用于电能消耗预测中，神经网络方法[3-4]由于能够模拟非线性特征，常常被应用于电能消耗预测以及其他任务的建模中[5-7].

国内外学者对电能消耗预测的研究成果有很多.程玉桂等[8]使用BP(back propagation)神经网络对城区未来十几年的基本电能消耗进行预测，并做了验证性分析；使用机器学习的方法，利用径向基函数(radial basis function，RBF)神经网络对电力负荷进行短期预测，同时结合岭回归方法进行参数估计，该方法提高了预测结果的准确性，同时验证了该方法相比于其他方法的优势.KIM N.等[9]使用长、短期记忆网络(long short term memory network，LSTM)来预测一个月内的电能消耗.KANG K.等[10]使用一种自编码的网络，将天气以及节日信息一同当作网络输入，进行电能消耗的预测.M.IBRAHIM等[11]使用径向基函数神经网络(radial basis function neural network，RBFNN)、卷积神经网络(convolutional neural network，CNN)等方法来预测短期电能消耗，并使用不同的统计方法和时间指标来评估不同方法的性能表现.

笔者基于美国PJM公司所记录的数据集，通过对历史数据进行建模，采用一种时间序列的预测方法，即基于深度自回归循环网络(deep autoregressive recurrent networks，Deep AR)预测模型[12]来预测Commonwealth Edison公司未来某12 h区间的电能消耗.

1 基于Deep AR神经网络预测模型

1.1 电能消耗预测的总体流程

基于Deep AR神经网络的模型能够很好地对时间序列数据做出预测，常用时序预测模型中的ARIMA和LSTM[13]都只能进行单点预测，不能刻画事件发生的情况.Deep AR是一种协变量预测，不仅能够进行单点预测，还能描述事件本身的概率分布，属于全局预测.基于Deep AR模型电能消耗预测流程大致如下：数据预处理→Deep AR模型的训练→模型预测→对结果的评估.

1.2 基于Deep AR的预测模型

电能消耗数据是按时间记录的序列数据.给定时间序列zi，T，其中i表示时间序列的位置，T表示时间序列的时刻.以t0为时间点，可将时间序列zi，T划分为zi，1:t0-1和zi，t0:T，其中zi，1:t0-1表示过去的值，zi，t0:T表示未来的值.给定模型的参数Θ，目的就是建立模型的概率分布，即QΘ(zi，t0:T∣zi，1:t0-1，xi，1:T)，其中xi，1:T为协变量，表示影响电能消耗的其他特征.该模型的分布可表示成几个似然因子的乘积:

QΘ(zi，t0:T∣zi，1:t0-1，xi，1:T)=

(1)

式中：l为似然函数；hi，t可由自回归网络输出；t为时间.自回归网络是基于LSTM网络来实现的，即

hi，t=h(hi，t-1，zi，t-1，xi，t，Θ)，

(2)

其中h由带有多层循环神经网络来完成.自回归网络内部结构如图1所示，其中S表示sigmoid函数.

图1 Deep AR中内部自回归网络结构

文中所使用模型为循环模型.也就是说网络的前一个输出hi，t-1作为新的输入，传递到下一个时间步长来作为反馈.其结构中主要有4个变量，分别是f(遗忘门)、I(输入门)、C(细胞状态)和O(输出门).

该模型的似然函数是一个固定的分布，文中使用高斯似然，使用均值和方差来参数化高斯似然，即θ=(μ，σ)，其中均值μ是由LSTM网络中的hi，t经过线性变换得到；方差σ是hi，t经过线性变换后，再通过softplus函数约束得到.计算公式如下:

(3)

(4)

式中：w和b分别为对应的权重矩阵和偏置项.根据得出的均值和方差，似然函数可由下式计算:

(5)

1.3 模型的训练与测试

在训练阶段，给定时间序列和协变量，通过最大化对数似然方法得到模型的参数，即

(6)

式中：L是损失函数.

图2 模型训练和测试时的结构图

2 试验设计与仿真

2.1 数据预处理

试验使用的数据集来自于美国PJM电力公司，该数据集记录了Commonwealth Edison公司从2011年1月1日到2018年8月3日每小时电能消耗，共记录了66497条数据[14].电能消耗数据以“yyyy-MM-dd-HH-mm”的形式存储.图3为Commonwealth Edison公司的总电能消耗及1周电能消耗的变化趋势图.为了将其他特征作为该模型的协变量，首先通过时间分裂将小时和星期分离出来，以年月日作为数据的日期索引，以小时和星期作为该模型的协变量.

图3 总电能消耗及1周电能消耗变化趋势图

由图3可知数据差异比较大，在试验开始前对其进行量纲一处理，将数据处理成均值为0，标准差为1的正态分布，即

(7)

式中：μ和σ分别为数据样本均值和标准差；s为总的样本数据.

2.2 试验设置

试验平台硬件配置为AMD Ryzen7 3700X 8-Core Processor 3.59 GHz处理器，运行内存是16 G，使用python编程语言和pytorch框架.

参数设置时，LSTM层数设置为3层，LSTM的隐藏层和嵌入层的维度设置为64维，批次大小设置为64次，学习率设置为0.001，训练了1 000轮.试验中，选取数据样本的前70%作为训练集，后30%用作测试集.试验采用Adam优化算法进行了优化.

3 试验结果与分析

将试验结果和2种基线模型ARIMA和Prophet对比，并使用均方根误差(RMSE)、平均绝对误差(MAE)和平均绝对百分比误差(MAPE)作为评价指标.误差越小，准确性越高.3种评价指标公式如下:

(8)

(9)

(10)

试验中，使用滑动窗口对12 h内数据进行短期预测，预测数据可以是未来任意12 h的数据.本试验使用Deep AR预测样本数据中最后12 h的电能消耗，时间步长为1 h，预测结果如图4所示.图4中，Deep AR不仅可以预测具体数据，还可以预测事件发生概率.试验中用预测值的二分位数作为预测结果，该预测结果描述了事件的整体性质.

图4 使用Deep AR预测的最后12 h电能消耗

表1为基线模型ARIMA与Prophet、Deep AR模型的预测结果误差对比.理想情况下，希望RMSE、MAE和MAPE都为0，此时表明预测值和实际值完全吻合.随着数据样本的增多，RMSE和MAE都会增大.RMSE、MAE和MAPE都考虑了预测值和实际值的误差，MAPE同时还考虑了误差与真实值之间的比例.因此MAPE是本试验中主要评价指标.

表1 不同时序模型预测性能

由表1可知；Deep AR方法在预测未来某个时间区间的准确性更高，可以看到该模型预测的均方根误差最小，ARIMA次之，而Prophet最大；Deep AR模型的平均绝对百分比误差最小，比Prophet小了11.97%；ARIMA的平均绝对误差最小，Deep AR次之.可见，笔者提出的Deep AR方法在预测能源消耗方面性能表现较佳.

以上结果都是在试验后对其预测值进行反量纲一处理后得到的.由于试验数据的量级单位比较大，所以性能指标评价结果的量级也比较大.为了使预测结果更加直观，试验比较了不同方法预测12 h内电能消耗数据，结果如图5所示.从图中可以看出：ARIMA模型在预测开始时误差较大，但随后预测值越来越接近于真实值；Prophet模型的预测结果和真实值的误差比较大；Deep AR整体预测误差比较小，试验中以小时和星期为协变量作为网络的输入.

图5 不同方法预测12 h内电能消耗数据比较

4 结 论

1)笔者采用Deep AR模型进行电能消耗预测，Deep AR是一种时间序列的模型，能够对时间序列的数据做出比较合理预测.常规时间序列模型中，ARIMA和LSTM只能做出单点预测，无法预测某个事件发生的概率，而Deep AR模型更加适合全局预测.

2)对比了Deep AR、ARIMA和Prophet方法，以MAE、RMSE和MAPE为评价指标进行预测试验.结果表明，Deep AR模型的MAE、RMSE和MAPE分别为1070.01、1279.31和6.12%，可见其在电能消耗预测应用方面明显优于其他对比模型.