基于交叉口多维状态评估的信号配时优化研究

倪 茹

（中国科学技术大学 信息科学技术学院，安徽 合肥 230026）

0 引言

在城市交通网络中，信号交叉口是削弱道路路网通行能力的 “滞点”，因此交叉口运行状态评估是城市交通的研究重点。交叉口处交通运行状况十分复杂，大部分交通问题均会产生在交叉口处，如交叉口阻塞严重，交通事故率上升，车辆通行效率低等。由此，精确实时地评估交叉口运行状态，并将状态信息作为城市交通控制管理的指导依据，相应交叉口处的交通流便能得到较好的时空协调，助力城市路网平稳运行，提升市民幸福感。

国内外在交叉口信号控制方面评价交叉口运行状态的主要指标有通行时间、排队长度[1]、交通流量、平均延误、平均速度、停车次数、停车等待时间[2]等。目前并没有完整的交叉口运行状态评估系统是结合机动车和行人需求而建立的，无法客观地判断交叉口的真实运行效果，导致实际工作的实用性非常受限。

由此，本文以交叉口运行状态评估为基础，在充分考虑融合机动车和行人出行感受的前提下，进行交叉口运行状态评估，确定了包括平均延误、平均排队长度、平均停车次数、空间占有率、行人最大相位绿灯间隔时间和行人过街平均等待时间的评估指标体系，达到主观赋权和客观赋权的综合平衡，以信号周期为评估单位，建立了基于多维交叉口运行状态在线评估方法，结合已建立的评估模型，以评分最高为目的，提出了一种基于深度Q 学习算法的改良模型NoisyNet DQN 强化学习模型，该模型可以自适应地探索参数，加快智能体训练效率，从而达到实时的交叉口信号配时优化。

1 交叉口运行状态评估方法

如今城市信号交叉口的影响因素数量巨大，在以往的研究中，国内外大部分学者在评估指标的选取时仅仅考虑机动车相关指标[3]，然而行人的通行效率也应该是实际生活中需要考虑的重要因素之一。本文分别选择代表机动车和行人需求的评估指标，基于层次分析法（AHP）和变异系数法构建城市交叉口运行状态的实时评估模型。

1.1 评估方法构建流程

评估方法整体流程包括以下4 步[4]，如图1 所示。

1.2 评估指标体系的建立

本文综合各指标的相互独立性及意义，选取了6 个代表性指标，包括平均延误时间、平均停车次数、平均排队长度、空间占有率、行人最大相位绿灯间隔时间和行人过街平均等待时间，分别说明如下：

图1 评估方法整体流程图

(1)平均延误时间。该指标定义为一个周期内车辆通过路口范围的延误时间的平均值，反映交叉口信号控制对交通流的阻碍程度[5-6]。

(2)平均停车次数。该指标定义为一周期内车辆每个进口的停车次数的平均值，直观反映了交叉口运行效率和服务水平。

(3)平均排队长度。该指标定义为一周期内从路口信号灯转为绿灯时刻，该路口进口道各转向车流排队最后一辆车距离停车线的距离的平均值。其反映了交叉口信号配时方案与车流特性的匹配度。

(4)空间占有率。该指标定义为一周期内道路机动车长度之和与道路长度之比，该指标反映了交叉口的运行效率。

(5)行人最大相位绿灯间隔时间。该指标定义为一周期内行人相位中最长的绿灯间隔时间，其反映了行人过交叉口的最大忍耐值。

(6)行人过街平均等待时间。该指标定义为一周期内行人等候时间的平均值，反映了行人相位方案针对行人分布特性匹配度。

1.3 模型固定参数确定

利用AHP-变异系数双层模型法对评估指标体系中各评估指标进行综合赋权。

1.3.1 基于变异系数法的客观权重计算

本文选用C.V 变异系数法来确定各评估指标权重，并根据各个评估指标在城市交叉口运行状态上的变异程度[7]来对各个评估指标确定权重。各评估指标的变异系数σj为：

式中，μj为评估指标Aj的特征值的平均值。

由此，利用该方法计算的指标Aj的权重为：

1.3.2 基于AHP 的主观权重计算

利用专家打分的AHP 法主要步骤[8]如图2 所示。

(1)构造判断矩阵。由本文提出的6 个代表性指标构造的判断矩阵如下：

式中，aij为第i 行指标比第j 行指标的相对重要度。

图2 层次分析法赋权流程图

本文基于专家打分确定判断矩阵的相对重要度，参考9 级评分标准，1～9 级分别从小到大表示了一个指标相对于另一个指标的重要程度。

(2)确定待定指标权重。最终指标权重的计算结果是用判断矩阵的最大特征根对应的特征向量来定义的。

(3)一致性检验。一致性检验的目的在于防止逻辑错误影响打分结果。计算得到一致性比率CR，当条件CR ＜0.1（CR 的计算公式见 式（4）～（6））满足时，则由此计算出的权重是具有意义的；若不满足，需再构造判断矩阵，持续到结果符合要求。

式中，一致性指标CI 的运算方法见公式(5)；RI 可由学者Saaty[9]提出的一致性指标RI 对应不同阶数下的数值分布结果来确定。

1.3.3 AHP-变异系数双层模型

由此，根据AHP-变异系数双层模型的综合集成赋权方法可以确定各指标的最终权重W。

1.4 评估模型

各评估指标得分与等级映射情况如表1 所示。

各指标分为六个等级，从一级到六级分别对应分值100，80，60，40，20，0，用于统一各评价指标量级。

通过AHP-变异系数双层模型计算出综合权重后，可计算出交叉口运行状态评估得分值：

式中，η 是交叉口运行状态得分值；n 为指标数量，wj为j 指标的综合权重值，yj为j 指标得分值。

2 交叉口信号配时优化算法

强化学习算法是一种以智能体在环境互动中基于最大回报为目标选择采取最优动作的算法。DQN 是一种使用深度卷积网络逼近最优策略中值函数的强化学习算法。NoisyNet DQN 是一种改进的DQN 强化学习算法[10]，该算法通过在梯度更新网络权重参数的同时给网络添加噪声，使模型可自动地探索参数，达到相较于传统的启发式算法更优的结果。结合上述搭建好的评价模型，通过将交叉口得分最大为优化目标，可实现交叉口信号配时的实时优化。

表1 评估指标得分映射

2.1 NoisyNet DQN 算法及流程

经典的DQN 方法中，利用梯度下降方法训练网络中的θ 参数：

其中α 是学习率。

NoisyNet DQN 通过在DQN 神经网络参数θ 中加入噪声参数，利用梯度下降法对θ 进行改进。噪声参数可以定义为：

式中，μ 和Σ 表示训练过程中需要学习的参数矢量，ε 表示零均值噪声矢量，☉表示一种逐元素的惩罚计算方式。参数θ 的随机性打破了传统的ε 贪婪策略的探索方式，加强了智能体对环境的探索强度。基于此，神经网络更新可以写为：

NoisyNet DQN 的结构如图3 所示。

图3 NoisyNet DQN 结构图

2.2 状态、动作及回报的定义

本文选取固定周期内检测器采集的上一周期交叉口各进道口车流量作为当前强化学习模型的状态。因此对于n 相位的交叉口，模型状态空间为：

式中si表示第i 相位的车流量。

动作空间中每种行为在作用于交通环境中时会得到不同的回报，针对于当前交通配时方案会产生不同的交叉口运行状态评分。将动作空间定义为交通信号灯的配置操作空间，即表示一组车道上的交通信号为绿灯放行，并保持固定周期时间。智能体采取的所有可能的配时操作包括：东西直行、东西左转、南北直行以及南北左转。

结合本文已建立的交叉口运行状态评估模型，将评价模型评估结果作为模型的奖励函数定义。智能体根据上一周期状态计算得到的最高评分选择相应配时操作方案。

3 实例分析

3.1 交叉口概况

巢湖市位于安徽省合肥市，是安徽省辖县级市，近年来机动车数量增长迅速，巢湖市道路老旧，交通拥堵问题日益严重。为验证本文评估方法的有效性，选择巢湖居巢区人民路-天河路、人民路-东河商业街和人民路-东风路3 个交叉口作为研究对象，其概况如图4 所示。

图4 实例交叉口平面图

3.2 评估模型仿真实验

3.2.1 仿真参数设置

SUMO 是一个开源的、微观的、多模式的交通仿真软件，通过设定车道形式、车辆信息、信号配时方案、检测器等交通条件进行仿真，可获得交叉口运行状态的可视化结果，并得到各种交叉口的统计数据，如排队长度、平均速度、平均延误、平均停车次数等。本文将SUMO 仿真软件作为进行模型效果评估验证的平台。

为验证评估方法的泛化性能，定义了三种不同的交通状态，在SUMO 中进行搭建。如图4 所示，路网包括3 个交叉口，涵盖共8 个进口路段，分别编号A～H，将其交通流轮流设定为100，500 及1 200（单位pcu/h），依次表示畅通、 一般拥堵和非常拥堵状态下的交叉口运行态。3 个交叉口信号配时方案均采用4 相位，方案设置见图5，其中颜色由深至浅分别为红、绿、黄。由此得到对应状态的交通仿真运行数据。

图5 交叉口信号配时方案

3.2.2 仿真数据统计

运行SUMO 交通参数检测功能，同时开启仿真数据采集模式[11]。在上述交叉口的所有车道上添加相应种类的检测器，开启采集模式，同时将计数周期设置为信号配时周期，得到每条车道的长度，同时获得了所需交通数据。在仿真过程中，观察到检测器位置会对参数产生细微影响，由于其影响极其有限，故直接忽略。本文所做实验中，涉及3 个交叉口5 个信号周期共45 份采集信息。

3.2.3 指标固定权重确定

借鉴文献[12]和文献[13]的研究成果，采用十位专业人员的打分结果并通过层次分析法依次得到十组指标权重，进行简单加权平均作为最后的指标权重。以下是通过运行层次分析法得到指标权重的完整过程。

以某一领域专家打分结果为例，依照9 级评分标准，针对评估指标进行两两排序打分，构成判断矩阵如下式(13)：

接着计算平均延误时间、平均排队长度、平均停车次数、空间占有率、行人最大相位绿灯间隔时间以及行人过街平均等待时间待定指标权重，结果分别为0.38，0.14，0.04，0.10，0.07，0.25。

最终进行判断矩阵的一致性验证实验。根据式(4)～(6) 可 得 一 致 性 比 率CR=CI/RI=0.019 711＜0.1，证明待定指标权重满足一致性检验要求。因此，该专家打分指标是可靠的。

领域专家问卷反馈结果总结归纳出的指标权重如表2 所示，通过整合数据进行平均值计算，可以计算出本文层次分析法模型的权重系数，分别为0.238，0.176，0.124，0.145，0.127，0.19。

表2 各项指标权重

3.2.4 评估模型结果

根据上述方法，针对涵盖3 个交叉口以及3 种不同的交通拥堵状态，按周期平均后，由式(8)计算可得到各个交叉口在不同拥堵水平下的评估得分，结果见表3。

表3 交叉口评估得分

由表3 可以得到，本文提出的评估方法基于信号配时周期，可迭代地进行周期性评估，为接下来的交通配时优化提供了前提条件。且实验验证了当各路段交通量分别在不同状态时，其评估结果与仿真设定一致，表明此评估方法有显著的有效性。再比较各交叉口的评估得分，发现同等条件下，人民路-东河商业街的运行状态评分最低。实际中分析此交叉口的交通环境特性，发现其由于车道较窄，易导致交通拥堵，影响交叉口的运行。表明本文提出的评估方法可行性较高。

3.3 基于NoisyNet DQN 的配时优化仿真实验

通 过 SUMO 提 供 的 TraCI （Traffic Control Interface）仿真接口，可获取仿真中实时参数，与运行中的智能体进行交互操作，通过每个时间步的数据收集交叉口实时状态。以拥堵情况较严重的人民路-东河商业街交叉口为实验对象，基于PyTorch 框架搭建模型，并使用了以下超参数进行训练：

神经网络：5 层，每层包含400 个神经元；折扣因子为0.25。

图6 为可视化的模型训练过程。

图6 模型训练过程

为证明NoisyNet DQN 算法的有效性，将实验结果与经典信号配时算法Webster 算法[14]进行仿真结果的比较，结果如表4 所示。

表4 两种算法实验结果

由表4 可知，在交通量状态为畅通、一般拥堵和非常拥堵的情况下，相较于Webster 算法，经过NoisyNet DQN 算法优化交叉口运行得分分别提升了4.71%，3.39%和21.05%，交通拥堵情况明显得到改善，尤其在交通量为非常拥堵状态下格外显著。

4 结论

本文经过调研国内外针对交叉口运行状态评估使用的各评价指标以及现有的评估方法，综合考虑了机动车和行人的通行感受，确定了具有代表机动车和行人需求的评价指标体系。接着，运用AHP-变异系数双层模型确定各指标的权重，构建了多维交叉口运行状态在线评估模型。最后，基于该评价模型提出了一种实时性较高的NoisyNet DQN 算法的信号控制配时优化模型。

在上述研究下，本文选择了合肥市巢湖市的3个实际交叉口作为研究对象，交叉口交通量在不同水平下的指标参数由仿真软件SUMO 进行采集，通过评估该交叉口的实际运行状态，验证了本文提出评价方法可行性较高，拓展性较强，能适用于不同的交通状态。在此基础上，针对较拥堵的人民路-东河商业街交叉口进行信号控制配时优化，验证结果显示，较经典的Webster 配时算法，基于NoisyNet DQN 算法的信号配时优化模型的性能更优。