基于空洞卷积的密集连接网络人流量预测模型

刘培培，赵岭忠，翟仲毅，郑鹏鹏

(桂林电子科技大学 计算机与信息安全学院学院，广西 桂林 541004)

基于城市大数据预测城市中每个区域的人流量，在交通管理、风险评估、公共安全等领域具有重要作用。人流量预测作为一个典型的时空预测问题，旨在基于历史数据对人流量进行准确预测。

近年来，各种机器学习方法被应用于交通流量预测，但主要集中在时间序列预测上。时空问题是许多独立的时间序列预测问题的集合，许多传统的基于机器学习的时间序列预测方法可以应用于这一领域，如自回归综合移动平均(ARIMA)[1-2]方法在交通预测问题中得到了广泛应用。一些其他的传统机器学习方法也被用来处理预测问题。Sun[3]等利用贝叶斯网络分析原因节点(用于预测的数据)对结果节点(待预测的数据)的影响。Chen[4]等利用马尔科夫随机场识别交通拥堵位置，解决了地理位置的不确定性和低分辨率问题。模糊贝叶斯网络[5]也被应用于时空交通流预测领域。然而，这些方法都不能有效地探索数据的时空特性，其可扩展性受到限制。

与传统的基于机器学习预测模型相比，基于深度学习的预测方法[6-8]可以从交通流量数据中学习更加复杂的非线性时空特征，提高人流量预测的精度。然而，由于以下3个复杂的因素，将现有的深度学习技术应用于这样的时空数据预测问题仍然存在很多挑战：1)复杂的空间依赖性；2)动态时间依赖性；3)外部因素，如假期、天气、活动事件等。为了解决上述因素对人流量预测的影响，很多学者[9-11]提出了不同的解决方案，虽然取得了不错的预测效果，但预测精度仍需提高。

鉴于上述问题，提出了一种基于空洞卷积的密集连接网络人流量预测模型。该模型采用空洞密集连接网络建模相邻区域之间不同层次上的空间特征,通过SE-LSTM(squeeze-and-excitation LSTM)模块对提取的空间特征图的各个通道进行权重分配，帮助网络有选择地强调有用特征，抑制不重要的特征，同时更好地学习人流量数据中潜在的时间依赖关系；针对外部因素对人流量预测的影响，采用全连接网络处理天气、假期、事件等外部因素特征进行辅助预测。

1 基础理论

1.1 人流量表示及定义

定义1[11]在形式上，根据经度和纬度将一个城市的面积划分为P×Q的网格地图，每个网格代表一个区域。城市人流流入/流出元模型示意图如图1所示，每个网格均有流入和流出2种类型的流。

图1 城市人流流入/流出元模型示意图

定义2[11]设M为第n时间间隔的轨迹集合，对于第n时间间隔的网格(p,q)，时间间隔为n时,区域(p,q)的人群流入和流出分别为

(1)

(2)

流量预测问题定义为：给定历史人流数据，{Xn|n=1,2,…,t-1}，预测Xt。

1.2 空洞卷积

空洞卷积又被称为扩张卷积[12-13]。空洞卷积的提出主要是为了解决图像分割中存在的一些问题。在图像分割领域，图像被输入卷积网络中，先卷积再进行池化操作，在降低图像大小的同时，能增大感受野，通过上采样操作还原图像的尺寸。然而，在先减小再增大图像尺寸的过程中，通常会造成内部数据结构和空间层次化信息丢失，而空洞卷积的设计则避免了该问题，其最大优点是在增加感受野的同时，能减少细节的丢失。空洞卷积如图2所示。

图2 空洞卷积

1.3 密集连接网络(DenseNet)

Huang等[14]为了更好地改善DenseNet层与层之间信息的传递，设计了一种不同的连接模式：每层都会接受其前面所有层的输出，作为其额外输入。密集连接网络使用DenseBlock+Transition结构，DenseBlock是由多层卷积网络构成的模块，每层的特征图大小一样，层与层之间采用密集连接的方式。而Transition模块是连接2个相邻的DenseBlock，并通过池化层降低特征图的尺寸。这让DenseNet在参数和计算成本更少的情形下能实现比ResNet更优的性能。DenseNet的网络结构如图3所示。

图3 DenseNet的网络结构

1.4 挤压激励网络(SENet)

图4 SE模块的整体的框图

2 人流量预测模型设计实现

本研究提出的基于空洞卷积的密集连接网络人流量预测模型(ST-DDN)主要包括面向时空数据的空间预测、基于外部因素的辅助预测、面向时空数据的时间预测3个部分。人流量预测模型架构如图5所示。

图5 空洞密集连接网络人流量预测模型架构

2.1 面向时空数据的空间预测

针对城市各区域之间存在的复杂空间依赖性问题，可基于空洞密集连接模块捕获城市每个区域之间的空间依赖关系。在密集连接网络中，Transition模块采用池化操作进行特征压缩来达到获取更大感受野的目的。然而，无论是最大池化操作，还是平均池化操作，都会造成数据信息丢失。因此，采用空洞卷积来模拟密集连接网络中的池化操作。在密集连接网络中需要进行池化操作时，采用空洞率为2的空洞卷积替换传统卷积，并去掉池化层，当再次使用池化操作时，使用之前的空洞率乘以2，得到的结果作为新的空洞率，同样去掉池化操作。因此，本研究提出的网络结构具有基于密集连接网络的骨架。在网络中，使用不同空洞率的空洞卷积形成一个块，在无池化层的情况下，卷积神经网络中间层的特征图上的每个点都对应输出结构上同样的点。因此，在每个空洞密集连接的块间也使用密集连接，使信息和梯度能更好地在网络中流动，增强其特征重用。

在时间间隔t内，将城市的所有区域视为维度为(2,p,q)的图像，通道数为2，表示在这段时间间隔内的流入和流出。通过传递第i-1层所有的输出到第i层来实现密集连接结构。因此，对于每个时间间隔t，都能够得到一个有2个通道的图像Xt，Xt∈R2×P×Q。根据人流量数据的时间属性，将不同时间戳的数据连接在一起，每个时间间隔对应的历史人流量数据被输入L个分离的网络模型，以此建模人流量数据的时间属性。

将每个区域n个时间间隔的人流量数据输入卷积核大小为1×1的Conv1，将Conv1的输出作为空洞密集连接网络的输入。空洞密集连接网络有3个块组成，每个块包含k个卷积层，每层的转化定义为

(3)

将3个空洞密集连接块提取的空间特征图输入卷积核大小为3×3的Conv2，并将Conv2输出的空间特征定义为St。

2.2 基于外部因素的辅助预测

用归一化方法将数据映射到[0,1]。将外部因素数据，如假期数据、天气数据和元数据等，都转换为二进制向量。将温度和风速数据采用标准化方法映射到[0,1]。在时间间隔t时，形成最终的外部因素特征Et，并将提取的空间特征St与外部因素特征Et融合，融合结果定义为Ft，将Ft作为所有区域的融合特征。

(4)

2.3 面向时空数据的时间预测

在时间预测部分，将SE模块引入LSTM来帮助网络有选择地强调有用特征，抑制不重要的特征。通过SE-LSTM提取全局特征序列的时间特征，并将生成的时空特征进行维度重塑，将其输入tanh激活函数并作非线性变换。实验时，挑选L个时间间隔的数据作为LSTM的输入序列，并利用其预测下一时间间隔的人流量。所提取的L个时间间隔的数据在时间间隔t+1的时空特征为

Xt+1=f(Xt,Ft)，

(5)

其中：f(·)为LSTM网络；Xt为时间间隔t的时空特征。

2.4 算法与优化

算法1ST-DDN 训练算法

Input: Historical observations:{X1,X2,…,XT};

external features:{e1,e2,…，eT};

sequence length:L.

Output: ST-DDN model.

//generate samples from historical data

Msample←∅

fort∈{1,T-L} do

put a training instance

({(Xt,et)},{(Xt+1,et+1)},…,{(Xt+L-1,et+L-1)},Xt+L)

intoMsample;

end

divideMsampleintoMtrainandMtest

//train the model

initialize all the learnable parametersθin ST-DDN

Repeat

randomly select a batch of samplesMbatchfromMtrain

findθby minimizing the objective withMbatch

until stopping criteria is met

output the learned ST-DDN model

该算法概括了ST-DDN模型的训练过程，根据历史数据构造样本集Msample并将其划分成训练集Mtrain和测试集Mtest，前者用于训练模型，后者用于测试模型。最后，通过反向传播算法[18]和Adam[19]算法训练、优化ST-DDN模型。

3 实验与结果分析

3.1 实验设置

1)平台: 实验设置在Windows Server 2016上。采用Pycharm智能集成开发工具作为开发环境，使用python库和keras在theano库的支持下完成实验。

2)数据集：用2个不同的数据集来验证ST-DDN模型。每个数据集包含车辆轨迹数据和气象数据(温度、天气、风速等)2个子数据集。2个数据集的详细描述如下：

a)TaxiBJ：来自北京的4个时间段的出租车GPS数据和气象学数据：2013-07-01/2013-12-30, 2014-03-01/2014-06-30,2015-03-01/2015-06-30,2015-11-01/2016-04-10。挑选后4周的数据作为测试数据，之前的所有数据都是训练数据。

b)BikeNYC：轨迹数据取自2014年4月1日至2014年9月30日纽约自行车系统。轨迹数据包括轨迹持续时间、起始和结束站id、起始和结束时间。选取前10天的数据为测试数据，其余为训练数据。

3)基线模型：根据模型是否考虑了数据的时间、空间和外部特征因素，将本模型与其他基线模型进行比较，如表1所示，其中，“√”表示模型考虑了对应的因素，“×”表示模型未考虑该因素。

表1 本模型与其他基线模型在是否考虑3个因素方面的比较

4)超参数设置：空洞密集连接网络包含3个块，每个块包含3个卷积层，空洞率为{1,2,4}，每个卷积层采用32个大小为3×3的卷积核。LSTM的序列长度L设置为6，LSTM层的隐藏单元设置为256，批处理大小设置为64。在训练过程中，设置最大的训练迭代次数为500。

3.2 实验结果与分析

表2为在BikeNYC数据集上本模型与其他模型的预测误差。从表2可看出，ST-DDN模型降低了预测误差，超过了其他基线模型的预测精度；与其他模型相比，HA模型预测结果较差，其在BikeNYC上的预测误差为11.76，造成该误差较高的主要原因是其仅采用了历史数据，抛弃了外部因素数据和空间依赖关系对预测结果的影响。

表2 各模型对BikeNYC数据集的预测误差

在实验中，通过调整LSTM的序列长度且不改变常量超参数的值来研究LSTM的输入序列长度对实验结果的影响。设置序列长度L的取值范围为{3,4,5,6,8,10}并获取不同取值的预测误差。图6为不同序列长度的预测误差曲线。从图6可看出，当序列长度为3时，其时间间隔为1 h，ST-DDN模型的预测结果最好。预测的误差值会随序列长度的增加而增大，且模型变得更加复杂，可能会发生过拟合，从而影响预测精度。

图6 不同序列长度的预测误差

表3为在TaxiBJ数据集上本模型与其他基线模型的预测误差比较。从表3可看出，本模型的预测误差为15.41，与现有基线模型HA、ARIMA、DeepST等相比，预测效果更好。这表明空洞密集连接网络能够更好地学习数据间的时空依赖关系，且SE-LSTM也提升了LSTM从输入数据中提取时间特征的能力。

表3 各模型在TaxiBJ数据集上的预测误差

4 结束语

提出了一种基于空洞卷积的密集连接网络的人流量预测模型。利用空洞密集连接模块来捕捉城市区域之间的空间依赖关系，通过SE-LSTM提取人流量数据的时间特征，充分利用外部因素信息来协同预测人流量。实验结果表明，与其他已有模型相比，该预测模型能够更好地学习数据中的时空依赖关系，提升预测精度。