基于注意机制的时空图卷积网络交通量预测研究

吴文平 卢 彪

（宿州学院信息工程学院 安徽宿州 234000）

一、引言

随着经济的快速发展和汽车量的持续增长，许多国家都致力于大力发展智能交通系统来辅助交通管理的高效运行。而交通量预测是智能交通系统中不可缺少的一部分，尤其是在交通量大、行车速度快的高速公路上。由于高速公路相对封闭，一旦发生拥堵，将严重影响通行能力，特别是在节假日期间拥堵将更加严重，图1是2021年第一季度拥堵排名前10的城市[1]。如果能够提前准确预测交通量，交通管理部门将能够合理地引导车辆通行，从而提高高速公路网的运行效率。

交通量的预测由于受到Temporal和Spatial的相互影响变得异常复杂，具体表现为如下特征。

（一）随机性。车辆在道路上的行驶路径受到各种外界因素的影响且具有突发性，例如雷雨、雨雪等恶劣天气；交通事故以及其他突发事件等。

（二）周期性。交通量的周期性在相同路段会体现出日周期性（一天中早高峰和晚高峰交通量会表现出拥堵现象）；周周期性（工作日和周末交通量会表现拥堵和通畅的规律性）；近期周期性（近期由于一些外界因素的影响，例如国庆、春节等假期，或者恶劣天气以及疫情等，交通量在这一段Temporal都会呈现出规律性）。

（三）Spatial-Temporal相互作用。交通量具有短时连续性的特征，下一段Temporal的交通量会受到历史交通量的影响，同时邻近路段的交通量也会相互影响。

综上所述，交通量由于受到各种因素的影响，一天、一周的不同Temporal和相邻路段的相互作用、相互影响，且表现出不确定性和突发性，因此给交通量预测工作带来了难度。

如果能为交通管理提供合理的路线规划，进而提升交通效率，这正是我们所要研究的。目前，很多研究者已经提出了相应的解决方法。

1.用Temporal序列分析模型来对交通量进行预测。然而，在实际应用中，他们很难处理不稳定的非线性数据。

2.用机器学习方法来开发模拟更复杂的数据，但是这样仍然难以考虑高维交通数据的Spatial-Temporal相关性。此外，这种方法的预测性能严重依赖于特征工程，这通常需要来自相应领域专家的大量经验。

3.采用深度学习方法来处理高维Spatial-Temporal数据，即采用卷积神经网络（CNN）来有效提取网格数据的Spatial特征；graph Convolutional神经网络（GCN）用于描述基于图的数据的Spatial相关性。然而，这些方法仍然不能同时对交通量数据的Spatial-Temporal特征和动态相关性进行建模。

综上所述，我们在此基础上提出了基于注意机制的Spatial-Temporal相关性来对交通量进行预测。Spatial注意机制用来模拟相邻地段交通量的相关性，Temporal注意机制用于相关Temporal交通量数据的相关性。

二、时空注意机制在交通量中的应用

近些年以来，自然语言处理、图像字幕和语音识别等领域都运用了注意机制，在这些领域需要提取到与当前任务高度相关的数据，而这与注意机制相互契合。Xu等人2015年在图像处理中提出了两种注意机制，并采用可视化方法直观地展示了注意机制的效果[2]。为了对图形节点进行分类，Velickovic等人2018年利用自我注意层通过神经网络处理图形结构数据，并取得了最先进的结果。为了预测Temporal序列，Liang等人2018年提出了一种多级注意网络，以自适应调整多个地理传感器Temporal序列之间的相关性[3]。然而，由于需要为每个Temporal序列训练单独的模型，因此在实践中这是非常耗时的。基于上述研究，考虑到交通量网络的图结构和交通量数据的动态Spatial-Temporal模式，我们同时采用graph Convolutional和注意机制对交通量数据网络结构进行建模。

在相邻地段对交通量进行观测不是独立的，而是相互动态关联的。因此，解决这些问题的关键是有效地提取数据的Spatial-Temporal相关性[4]。图2显示了交通量的Spatial-Temporal相关结构。这里所有测量值均标准化为[0,1]区间值。我们可以发现，随着Temporal的推移，不同地点的影响不同，甚至同一地点对影响也不同，不同地点的历史观测在未来不同Temporal对交通量也有不同的影响。总之，公路网交通量数据中的相关性在Spatial维度和Temporal维度上都表现出强烈的动态性。如何探索非线性和复杂的Spatial-Temporal数据，以发现其固有的Spatial-Temporal模式并作出准确的交通量量预测是一个极其有难度的问题。

图2 交通量数据的Spatial-Temporal结构

（一）时空注意机制框架。Spatial-Temporal注意机制有助于网络模型为不同的输入分配不同的权重，关注关键和重要信息，并做出准确的预测。Spatial注意机制用来模拟相邻地段交通量的相关性，Temporal注意机制用于相关Temporal交通量数据的相关性[5]。Spatial-Temporal卷积模块包括用于从原始基于图的交通量网络结构中捕获Spatial特征的graph Convolutional和用于描述来自附近Temporal片的依赖关系的Temporal维度中的卷积。

图3是Spatial-Temporal注意机制OURS总体框架。它由三个具有相同结构的独立组件组成，分别用于建模历史数据的最近、每日周期和每周周期依赖关系。其中SAtt：Spatial注意；Tatt:Temporal注意；GCN：graph Convolutional；Conv：卷积；FC：完全连接；ST区块：Spatial-Temporal区块。

图3 OURS框架

假设在交通网络G中的每个节点上记录的第f个Temporal序列是交通量序列，并且 f∈（1,…,F）。我们用表示节点i在Temporalt的第c个特征值，表示节点i在Temporalt的所有特征值。表示Temporalt时所有节点的所有特征值。表示Temporal片上所有节点的所有特征值。给定X，在过去的Temporal片内，交通量网络上所有节点的各种历史测量值，在下一个TpTemporal片上预测整个交通量网络上所有节点的未来交通量序列，其中表示节点i从的未来交通量量。

假设采样频率为每天q次，假设当前Temporal为t0，预测窗口的大小为Tp。我们沿着Temporal轴截取长度为Th、Td和Tw的三个Temporal序列段，分别作为最近、每日和每周周期分量的输入，其中Th、Td和Tw都是Tp的整数倍。有关三个Temporal序列段的详细信息如下：

这三个组件共享相同的网络结构，每个组件由几个Spatial-Temporal块和一个完全连接的层组成。为了优化实验效率，我们在每个组件中采用了剩余学习框架。最后，我们对三个分量的输出基于参数矩阵进行了深度合并，得到最终预测结果。整个交通量网络结构经过精心设计，从而来描述交通量的动态的Spatial-Temporal相关性。

（二）时空卷积网络。Spatial-Temporal注意模块让网络自动对有价值的信息给予相对更多的注意，由注意机制调整的输入被送入Spatial-Temporal卷积模块，我们的Spatial-Temporal卷积模块由一个Spatial维度的graph Convolutional和一个沿Temporal维度的卷积组成，前者从邻域中获取Spatial依赖性，后者从邻近Temporal获取Temporal依赖性[6]。

1.Spatial维度 graph Convolutional。Spatial维度的 graph Convolutional谱图论将卷积运算从基于网格的交通数据推广到基于图结构的交通数据。在研究中，交通网络本质上是一个图形结构，每个节点的特征可以被视为图形上的信号，因此，为了充分利用交通量网络的拓扑性质，我们利用交通网络在Spatial维度上的信号相关性，我们在每个Temporal片上采用基于谱图论的graph Convolutional直接处理信号。谱图论的原理是通过将图转化为代数形式来分析图的拓扑性质。

在谱图论中，图是由相应的Laplace矩阵表示。通过分析Laplace矩阵及其特征值，可以得到图结构的性质。定义图的Laplace矩阵L=D-A，它的规范化形式是,其中A是相邻矩阵，是单位矩阵，度矩阵是对角矩阵，由节点度组成。由于图形信号的卷积运算等于通过图形傅里叶变换变换到谱域的这些信号的乘积，因此上述公式可以理解为分别将g和x变换到谱域的傅里叶变换，然后将它们的变换结果相乘，进行傅里叶逆变换，得到卷积运算的最终结果[7]。然而，当图的规模较大时，直接对Laplace矩阵进行特征值分解的代价较高。因此，我们采用Chebyshev多项式近似但有效地解决了该问题。

2.时域卷积。Temporal维度上的卷积在graph Convolutional操作已经捕获了Spatial维度上的图上的每个节点的相邻信息之后，Temporal维度上的标准卷积层进一步堆叠以通过合并相邻Temporal片上的信息来更新节点的信号，以最近组件中层上的操作为例。

其中*表示标准卷积运算，是Temporal维卷积核的参数，ReLU是激活函数。Spatial-Temporal注意模块和Spatial-Temporal卷积模块形成Spatial-Temporal块，然后将多个Spatial-Temporal块堆叠以进一步提取更大范围的动态Spatial-Temporal相关性[9]。最后，添加一个完全连接层，以确保每个组件的输出具有与预测目标相同的尺寸和形状，最终完全连接层使用ReLU作为激活函数。

三、预测结果对比分析

我们将我们的模型OURS与PeMSD4上的六种方法进行比较。表1显示了未来一小时内交通量预测性能的平均结果。从表1可以看出，就所有评估指标而言，我们的OURS在PeMSD4数据集上达到了最佳性能。我们可以观察到，传统的Temporal序列分析方法的预测结果通常并不理想，这表明这些方法对非线性和复杂交通数据的建模能力有限。相比之下，基于深度学习的方法通常比传统的Temporal序列分析方法获得更好的预测结果。其中，STGCN、GLU-STGCN、GeoMAN和我们模型同时考虑了Temporal和Spatial相关性的模型优于传统的深度学习模型，如LSTM和GRU。此外，GeoMAN的表现优于STGCN和GLU-STGCN，表明GeoMAN中应用的多级注意机制能够有效地捕捉交通数据的动态变化。我们的MSTGCN在没有任何注意机制的情况下，比以前的现有模型取得了更好的结果，证明了我们的模型在描述公路交通数据的Spatial-Temporal特征方面的优势。然后结合Spatial-Temporal注意机制，我们的ASTGCN进一步减少了预测误差。

表1 PeMSD4上不同方法的平均性能比较

其中，均方根偏差RMS用来衡量真实值yi和预测值之间的偏差。

图4显示了随着预测间隔的增加，各种方法的预测性能的变化。总的来说，随着预测间隔变长，相应的预测难度越来越大，因此预测误差也会增加。从图中可以看出，仅考虑Temporal相关性的方法，如HA、ARIMA、LSTM和GRU，在短期预测中可以取得良好的效果。然而，随着预测间隔的增加，它们的预测精度急剧下降。相比之下，VAR的性能下降要慢于这些方法。这主要是因为VAR能够同时考虑在长期预测中更重要的Spatial-Temporal相关性[10]。然而，当交通网络的规模变得更大时，即模型中考虑的Temporal序列更多，VAR的预测误差增加。深度学习方法的误差随着预测间隔的增加而缓慢增加，总体性能良好。我们的OURS模型几乎在所有Temporal都达到了最佳的预测性能。特别是在长期预测中，OURS与其他基线的差异更为显著，表明注意机制与图形卷积相结合的策略可以更好地挖掘交通数据的动态Spatial-Temporal模式。

图4 在PEMSD4数据集上不同方法的预测结果比较

四、结语

我们模型OURS是一种基于注意的Spatial-Temporal图卷积网络模型，并将其用于短时相邻地段和Temporal的交通量预测和研究。该模型将Spatial-Temporal Attention机制与Spatial-Temporal卷积（其中包括Spatial维度的图形卷积和Temporal维度的标准卷积）相结合，从而来捕获交通量数据的动态Spatial-Temporal相关特征。我们在真实数据集PeMSD4上的实验结果表明，该模型的预测精度比现有模型要优化。然而在实际应用中，公路交通量特别是高速公路的交通量受诸多外部因素的影响，例如天气和一些社会事件等。在接下来的工作中，我们会将一些外部影响因素考虑进去，从而进一步提高预测精度，由于OURS是图形结构数据的通用Spatial-Temporal预测框架，我们还可以将其应用于其他实际应用。