基于深度并行CNN-BiLSTM的能源互联网电负荷和热负荷联合预测模型

廖清阳， 王 军， 胡凯强， 宋 尧， 宗志亚， 范俊秋

(1. 贵州电网有限责任公司贵安供电局，贵州 贵安 550025; 2. 华南理工大学，广东 广州 510599)

0 引 言

能源互联网系统集成多种能源存储和转换装置，因此电、热等能源系统存在紧密的联系，呈现能源互联的特点[1]。电、热等负荷预测在能源调度、设备检修等发挥关键作用。为完成负荷预测这一复杂的非线性问题，专家们提出一系列电、热等负荷预测模型。例如，有专家应用灰度关联[2]、时空特征变量[3]理论开展电力负荷预测研究工作，并尝试开展电、热、冷负荷联合预测工作[4]。

深度学习技术凭借优异的特征表达能力在多领域发挥重大作用[5]。其中，双向递归神经网络（bidirectional recurrent neural network，BiRNN）[6]可从前后两个方向学习数据序列的时序信息，长短期记 忆 网 络 （ long and short term memory network，LSTM）[7]可学习数据序列的长期依赖信息，卷积神经网络（convolutional neural network，CNN）[8]可学习数据序列中局部区域的关键特征。在BiRNN方面，程换新等[9]应用改进粒子群算法优化RNN，有效优化电力负荷模型网络权重参数。在LSTM方面，杨甲甲[10]应用LSTM开展工业负荷短期预测研究，取得较好的预测结果；张建寰[11]分别应用LSTM、门循环单元（GRU）神经网络、栈式自编码器（SAE）构建电力负荷预测模型，经仿真确定三种预测模型具备一定的可行性，LSTM预测模型对于单因素预测精度较高；吕海灿等[12]提出基于Wide&DeepLSTM的短期电力负荷预测模型，可捕获多维度和时序性电力负荷特征信息。在CNN方面，吕志星等[13]采用CNN开展用户短期电力负荷预测研究，预测的误差值百分比降低了约20%。史佳琪等[14]提出多元负荷预测模型，并验证其在实际环境中的有效性。对于电力负荷预测任务，存在较多的LSTM和CNN研究成果[15-16]，但神经网络的应用价值还有待挖掘；同时，学者们主要提取单一能源负荷特征来开展电、热等负荷预测研究，未考虑多能源的互联状态完成负荷预测任务。

本文应用BiRNN和CNN并行网络的特征提取优势开展电热负荷联合预测研究工作，提出基于深度并行CNN-BiLSTM的能源互联网电热负荷联合预测模型。首先设计了三个电热负荷联合预测模型，再仿真确定较优模型，研究并行网络和联合预测方式对模型性能的影响，对比分析本模型与同领域模型的负荷预测性能。

1 电负荷和热负荷联合预测模型

1.1 模型简述

基于深度并行CNN-BiLSTM的能源互联网电负荷和热负荷联合预测模型简图如图1所示。

图1 能源互联网电负荷和热负荷联合预测模型简图

采用可表征电负荷和热负荷序列信息的样本作为负荷序列数据集；对于特征提取层，设计三个具备不同优势的网络从负荷类序列数据集中捕获关键负荷特征信息；对于预测层，应用全局平均池化对不同尺寸的关键负荷特征作降采样操作，再应用一个全连接层统计负荷特征，预测电负荷和热负荷值。

1.2 深度并行CNN-BiLSTM模块

双向长短期记忆网络（bidirectional short and long term memory network，BiLSTM）可直接从数据序列中捕获上下文依赖特征；CNN可通过灵活的多分支子网络提取局部、大感受野、抽象的特征，且保留完整的特征信息，增强特征表达能力。因此，在特征提取层中采用BiLSTM，且为验证完整、大感受野、抽象的负荷特征对模型的贡献，修改CNN的多分支子网络，设计三个深度并行CNN-BiLSTM模块。

三个深度并行CNN-BiLSTM模块的头部均应用BiLSTM捕获电负荷和热负荷序列数据的长时间上下文依赖信息。BiLSTM[17]由BiRNN和LSTM两部分构成。BiRNN计算方式如公式（1）、公式（2）和公式（3）所示。

BiRNN先从负荷序列数据前后两个方向同时捕获负荷特征，再采用线性方式组合两种负荷特征，有效提高模型对负荷序列数据的特征表达能力。但BiRNN不具备捕获负荷序列中长期依赖关系的能力，因此应用LSTM改进计算方式，捕获长期依赖信息。计算方式如公式（4）、公式（5）、公式（6）、公式（7）、公式（8）、公式（9）所示。

*——矩阵乘法；

·——点乘运算。

结合BiRNN和LSTM的优点即获得BiLSTM。BiLSTM从负荷序列数据中捕获双向和长期依赖的多层次负荷特征信息，有利于模型的特征表达。

考虑负荷特征信息的完整性对模型的贡献，设计深度并行CNN-BiLSTM模块1，如图2所示。

图2 深度并行CNN-BiLSTM模块1

对于深度并行CNN-BiLSTM模块1的CNN部分，设计两个分支子网络。对于第一个子网络，应用卷积核维度为1、步长为1的卷积操作和ReLU非线性激活函数对负荷特征进行线性和非线性变换，捕获细致的局部性负荷特征；对于第二个子网络，仅将输入负荷特征直接引至输出端，保留较完整的特征信息。

考虑大感受野负荷特征信息对模型的贡献，设计深度并行CNN-BiLSTM模块2，如图3所示。

图3 深度并行CNN-BiLSTM模块2

对于CNN部分，设计两个分支子网络。对于第一个子网络，应用卷积操作和ReLU捕获细致的负荷特征；对于第二个子网络，依次应用步长为1、步长为3的卷积操作期望捕获更大感受野下的多维度特征信息。

在负荷特征信息的完整性和大感受野负荷特征信息的基础上，同时考虑深层次网络提取的抽象负荷特征对模型的贡献，设计深度并行CNN-BiLSTM模块3，如图4所示。

图4 深度并行CNN-BiLSTM模块3

对于CNN部分，设计四个分支子网络。对于第一个子网络，仅应用一个卷积操作捕获细致的负荷特征；对于第二个子网络，依次应用步长为1、步长为3和步长为3的卷积操作捕获大感受野、抽象的负荷特征；对于第三个子网络，依次应用步长为1、步长为3、步长为5的卷积操作捕获抽象、多维度的负荷特征；对于第四个子网络，保留经BiLSTM处理的长期依赖的多层次负荷特征，避免梯度消失现象的出现；对于所有的卷积操作，均应用ReLU对输出值作非线性变换操作，迫使模型快速收敛。

1.3 仿真环境

为预测某一时刻的电负荷和热负荷值，需从某个综合能源系统园区中采集预测时刻前1小时内的电负荷平均值、热负荷平均值、温度平均值、湿度平均值、风速平均值、降雨量平均值、工作日/节假日（1/0）标识值，将其组合为向量作为输入数据序列。

为完成模型的仿真，共采集10000个小时的样本数据集，依据比例8∶1∶1随机划分样本数据到训练集、验证集和测试集中，则有8000个训练集、1000个验证集和1000个测试集。

应用Tensorflow深度学习框架在Ubuntu16.04平台上实现模型；应用Xavier方法初始化所有卷积核权重，迫使权重符合零均值、单位方差的自然分布状态；设置偏置值为0.02；设置学习率为0.0001。

2 训练阶段仿真分析

2.1 批次样本量仿真研究

对于模型特征提取层，设置应用深度并行CNNBiLSTM模块1的模型为电热负荷联合预测模型1，则应用深度并行CNN-BiLSTM模块2的模型为电热负荷联合预测模型2，应用深度并行CNN-BiLSTM模块3的模型为电热负荷联合预测模型3。应用误差值比作为本模型性能评价指标，计算方法如公式（10）、公式（11）和公式（12）所示。

验证误差值比比训练误差值比具备更高的参考价值。

研究批次样本量下模型负荷预测性能。合理的批次样本量有利于获得具备泛化性的损失值，从而增强模型泛化能力。设置批次样本量分别为4、8、12、16、20，训练三个模型至800代，观察验证综合负荷误差均值比，如图5所示。

图5 不同批次样本量下的验证综合负荷误差均值比

对于各批次样本量，模型1的验证综合负荷误差均值比明显高于模型2和模型3，说明模型1从样本数据中捕获的负荷信息较少，不具备较好的电热负荷预测能力；当批次样本量逐渐增加时，三个模型的验证综合负荷误差均值比首先快速降低，再稍有上升局势，说明一定数量样本量有利于模型统计具备代表性的损失值，促进模型优化参数；当批次样本量为16时，三个模型均具备最佳的验证综合负荷误差均值比，分别为 0.0627、0.0397和0.0314。

2.2 迭代次数仿真研究

研究迭代次数下模型负荷预测性能。结合验证负荷误差和训练负荷误差可观察模型是否出现过拟合现象，应用损失值可知模型收敛状态，便于保存最佳的电热负荷联合预测模型。

当批次样本量为16时，模型1、模型2和模型3的训练、验证CLE均值如图6、图7、图8所示，三个模型的损失值变化状态如图9所示。模型1的损失值始终高于模型2和模型3，说明模型1的综合电荷预测值与真实值差值较大；在约600代后，模型1损失值波动较小，到达收敛状态，验证CLE均值为0.0627；在约700代后，模型2到达收敛状态，验证 CLE均值为 0.0397；在约 600代后，模型3到达收敛状态，具备最优的验证CLE均值，为0.0205。

图6 模型1的负荷误差均值比

图7 模型2的负荷误差均值比

图8 模型3的负荷误差均值比

图9 三个模型的损失值

综上，在批次样本量为16时，选择训练至600代模型1、训练至700代模型2和训练至600代模型3开展后续研究。

3 测试阶段仿真分析

3.1 CLE仿真分析

应用CLE评测模型的电热负荷预测性能。在测试样本集上统计三个模型的和CLE的平均值，结果如图10所示。

图10 模型电热负荷预测性能

应用模型3预测某一周的电负荷和热负荷，结果如图11、图12所示。

图11 模型3的电负荷预测结果

图12 模型3的热负荷预测结果

对于电负荷和热负荷的预测任务，模型3的预测结果仅在部分数据突变区域与真实结果有略大差异，在其他数据区域皆逼近真实结果。说明电热负荷联合预测模型3具备较优的预测性能。

3.2 串行与并行网络仿真分析

研究并行子网络结构与串行网络结构预测性能。基于本文电热负荷联合预测模型，对于特征提取层，设计串行CNN-BiLSTM模型，如图13所示。

图13 串行CNN-BiLSTM模型

在同样的仿真环境中训练此串行电热负荷联合预测模型，并在测试集上统计和CLE平均值，如表1所示。

表1 串行和并行网络模型电热负荷预测性能

统计两个模型的负荷误差分布情况，箱线图结果如图14所示。

图14 模型的CLE分布情况

模型3的CLE分布区域在4%以下；串行预测模型的CLE分布区域在6%以上，且存在两个偏离较大的异常值。说明模型3可捕获电热负荷的强相关特征信息，有利于完成负荷 预测任务。

应用模型3和串行预测模型预测同一周的电负荷和热负荷，结果如图15、图16所示。

图15 两个模型的电负荷预测结果

图16 两个模型的热负荷预测结果

模型3对于电负荷和热负荷的预测数据仅在部分数据突变区域与真实数据有略大差异；串行预测模型对于电负荷和热负荷的预测数据与真实数据有较大差异，在热负荷方面体现得最明显。说明模型3的并行网络结构比串行网络结构具备更优的负荷特征捕获能力，有效增强模型的特征表达能力。

3.3 联合预测与单负荷预测仿真分析

采用当前模型3联合预测电负荷和热负荷值。为研究单负荷预测性能，对于模型3网络，分别设置预测目标为电负荷和热负荷，并在相同环境中训练模型，测试负荷误差均值比，结果如表2所示。

表2 联合预测和单负荷预测阶段的误差均值比

对于电负荷和热负荷，单负荷预测阶段的负荷误差均值比分别为 0.0597和 0.0692，均高于联合预测阶段的负荷误差均值比。说明联合预测方式可学习到电负荷和热负荷的互联信息，降低负荷误差均值百分比约3%，具备较优的预测性能。

研究单负荷预测和联合负荷预测方式的模型训练和预测时长。对于训练阶段，记录模型在训练集中的负荷特征学习时长；对于预测阶段，记录模型在测试集中的电热负荷预测时长。结果如表3所示。

表3 联合预测和单负荷预测阶段的训练和预测时长

与联合预测方式相比，在训练阶段，单负荷预测方式的电、热负荷训练时长略小，但总训练时长很高；在测试阶段，单负荷预测方式的总预测时长同样很高。说明对于模型训练和预测过程，联合预测方式下模型的训练时长和测试时长分别为4275 s和604 s，均约为单负荷预测方式下时长的一半，具备较高的效率。

3.4 模型综合分析

研究联合预测模型的负荷预测性能。经调研，程换新等[9]、吕海灿等[12]、吕志星等[13]、史佳琪等[14]的负荷预测模型应用了深度学习中典型的RNN、LSTM和CNN等技术，获得较好的结果，因此复现对应模型，分别称为RNN-Net、LSTM-Net、CNN-Net、Shi-Net， 其 中RNN-Net、LSTM-Net、CNN-Net为电负荷预测模型，Shi-Net为多元负荷预测模型。称本文模型为BiLSTMCNN-Net。仿真所有模型在本文数据集下的误差值百分比。其中RNN-Net、LSTM-Net、CNN-Net是单负荷预测模型，所以将它们依次在电负荷序列数据集（电负荷平均值、温度平均值、湿度平均值、风速平均值、降雨量平均值、工作日/节假日（1/0）标识值）、热负荷序列数据集（热负荷平均值、温度平均值、湿度平均值、风速平均值、降雨量平均值、工作日/节假日（1/0）标识值）下训练并获得测试结果；Shi-Net和本文的BiLSTMCNN-Net均为联合预测模型，所以将Shi-Net在电、热负荷序列数据集下训练并获得测试结果。仿真结果如表4所示。

表4 模型负荷预测结果的误差均值比

观察可知，RNN-Net、LSTM-Net、CNN-Net、Shi-Net的平均值分别为 0.0575、0.0424、0.0457、0.0431，平均值分别为 0.1312、0.1390、0.1053、0.0375；RNN-Net、LSTM-Net、CNN-Net原为电负荷预测模型，Shi-Net原为多元负荷预测模型，LSTMNet的均值较低，为0.0424，但它们的均值远高于Shi-Net；Shi-Net的均值和CLE均值较低，分别为 0.0375和 0.0474；BiLSTMCNN-Net拥有最低的、、CLE均值。说明当前的电负荷预测模型不适用于热负荷预测任务；多元负荷预测模型Shi-Net具备较好的电、热负荷预测性能，但仍差于本文的BiLSTMCNN-Net。

综合分析，本文的联合预测模型较全面提取电负荷、热负荷的特征信息，具备较好的应用价值。

4 结束语

本文提出了能源互联网电负荷和热负荷联合预测模型，得出结论：

1）研究各模型负荷预测能力。模型1、模型2和模型 3的 CLE 均值分别为 0.0627、0.0498和0.0311，说明模型3通过四个并行子网络同时捕获完整、大感受野、抽象的负荷特征，对电、热负荷的预测误差均值比分别为0.0315和0.0301。将模型3作为最终的能源互联网电热负荷联合预测模型。

2）研究模型的并行网络与联合预测方式优势。由四个并行子网络组成的电热负荷联合预测模型的负荷误差均值比低于串行网络模型约3%，说明并行网络有利于模型捕获多层次负荷特征信息；电热负荷联合预测模型的负荷误差均值比低于单负荷预测模型约3%，且其训练和预测时间均约为单负荷预测模型的一半，说明联合预测方式可保持较高的效率学习电热负荷互联信息，增强模型的特征表达能力。

3）分析同领域模型负荷预测性能。将本文模型与领域内典型的 RNN-Net、LSTM-Net、CNN-Net、Shi-Net在相同条件下开展仿真分析，可知LSTMNet的均值较低，为 0.0424；Shi-Net的均值和 CLE 均值较低，分别为 0.0375和 0.0474；本文模型的均值、均值和CLE均值最高，分别为 0.0315、0.0301、0.0311。说明本文模型适用于电负荷、热负荷联合预测任务。