基于多智能体的城市交通区域协调控制方法*

黄艳国 罗 强 许伦辉

(江西理工大学机电工程学院1) 赣州 341000) (华南理工大学土木与交通学院2) 广州 510640)

城市交通是由大量道路及交叉口组成的道路交通网,交叉口是道路网中连接各支路的节点,是不同方向车流进入和驶出的汇接地,成为整个道路网中的“瓶颈”.如何在保证每个交叉口畅通的前提下提高城市交通运输效率,使整个区域处于最佳运行状态是交通信号区域协调控制的关键[1-3].许多学者将现代控制理论和人工智能技术应用到交通控制领域[4-5],并且取得了一定的成果.本文将智能体技术和加强学习算法应用到城市交通信号控制中,为城市交通协调控制作一些探索和研究.

1 基于多智能体的城市交通信号控制系统

1.1 系统结构

智能体(Agent)理论和技术是计算机和分布式人工智能领域的新一代研究成果,是面向对象技术的新发展,具有处理模糊不确定复杂问题的能力.多智能体系统(multi-agent-system,MAS)[6]以智能体为结构单元,对于解决分布式复杂系统问题是具有广阔前景的方法体系[7].而交通问题是典型的时变不确定系统,通过智能体之间的通信和协调机制,为解决现代交通问题提供了新的思路.

本文以多智能体为基础的分层递阶的城市道路控制系统结构如图1所示.当局部交通状况发生变化时,交叉口Agent之间根据相互关联程度通过通信模块和协调机制进行协调,实时调整信号配时方案.当路口之间的协调无法达到理想的控制效果时,路口Agent向子区域Agent发出协调请求,子区域Agent根据一定的策略和优化目标在子区域内部各交叉口Agent之间进行协商,以求达到满意的控制效果.当子区域Agent无法有效的解决交通问题时,可以通过信息发布模块向区域Agent发布交通状况信息和协调请求,以求在更大的区域之间解决.这种方式不仅在局部小范围能自主决策,达到实时自适应控制,更能从宏观上调整区域的交通状况,使整个区域交通保持较理想的运行状态.

1.2 智能体模型

控制系统以智能体为控制单元,每个交叉口Agent是一个可独立运行的实体,通过智能体之间的协调达到整个优化控制的目的,结构模型如图2所示[8].

图1 多Agent交通信号控制系统结构图

图2 交叉口Agent结构模型

图2 中知识库存储交通信号控制常识、交通规则、本路口和相邻路口相关信息(如路段长度、车道数、车道类型和饱和流量等),为学习器提供基本的数据资料,并为决策模块提供决策的依据.记忆库则存储采集的交通流信息、控制方案以及学习器在学习过程中的中间数据和反馈信息.通信模块负责Agent模型内部模块的数据交互,知识库数据的更新,同时可与相邻路口的Agent以及子区域Agent进行通信.

2 城市区域交通信号的优化与协调

2.1 基于Q-学习的交叉口控制Agent

在多路口的交通协调MAS中,每个Agent负责对一个路口进行控制.感知系统通过车辆检测器将检测到的交通流量和路况信息发送给Q-学习器,学习器根据接收到的信息和知识库中的经验知识以及记忆库中历史数据进行再励学习,并将学习结果发送到决策模块,决策模块根据一定的原则产生控制策略,并交执行模块执行.控制策略包括2种行为{(1)结束当前绿灯相位,转为红灯相位;(2)保持绿灯相位,并延长当前绿灯时间Δt s}.

单步Q-学习算法的Q值更新公式可描述为:

式中:α∈[0,1]为学习速率;γ∈[0,1]为折扣因子为环境的后续状态;r(s,a)为奖惩函数,即为Agent在状态s采用a动作使环境状态转移到s′获得的瞬时奖赏值;A为可供选择的行为的集合.

传统的感应式控制只能根据交通流调节信号周期和绿信比,对车流信息处理过于简单,无法知道控制行为的效果,基于Q-学习的信号控制,根据车流量状况,通过加强学习,调整配时方案,并将控制行为的实际效果作为下次学习的参考,从而实现实时自适应控制.

2.2 智能体间的协调与全局优化

如图3所示的路网图,交叉口Agent实体间的协调可以在两个关联性非常强的相邻交叉口A1与交叉口A2之间进行,也可以在有关联的多个交叉口组成的子区域内部进行,如在子区域E1内部全面协调交叉口A1,A2,A3之间的控制策略,以期最大限度地实现各自目标,提高整体运输效率.

2.绩效审计的目的。绩效审计的目的是从第三者的角度，向有关利害关系人提供经济责任履行情况的信息，促使资源的管理者或经营者改进工作，更好地履行经济责任。同其他审计种类一样，绩效审计产生和发展的理论基础是受托经济责任关系。绩效审计起源于这样一种经济责任关系：在油田企业中，管理层作为受托方对企业资源进行管理和经营，在资源越来越少的情况下，对股权所有者负有不断提高公共资源的使用效率和效果的责任。

图3 区域路网结构图

本文选择的协调控制目标为:区域内各路口的平均车辆延误最小.

设qpn为P相位在第n s时到达的车辆数,在第i-1个周期P相位绿灯信号末该方向车辆滞留数为Qi-1p,则在第i周期该相位绿灯方向的车辆总延误为[9]

式中:O f f_c为绿灯信号时路口通过率;Ti为第i个周期时长,Gp为P相位的绿灯信号时长,则红灯方向车辆总延误为

式中:K为总相位数,对4相位交叉口,K=4,分别表示东西、南北直行和左转,交叉口 A1在P相位的总延误为D 1p=DGP+DRP

N个交叉口车辆平均延误为

式中:Q为参与协调的N个交叉口所有方向到达车辆总数

以主干道关联性较强的相邻两交叉口为例,如图3所示的交叉口A1与A2.

协调算法的步骤如下.

步骤1 按预设的相位差,两路口从初始相位i开始,并执行各自路口该相位绿灯时间tig1,tig2.

步骤2 路口 A1在t时刻检测到车流量变化较大,通过加强学习和决策模块按一定的原则决策以后,形成决策1,对当前相位的绿灯信号时长进行调整,调整时间为Δt s.

步骤3 路口 A1向A2发出请求,并等待 A2的协调结果.

步骤4 路口A2根据当前自身的交通状态和学习结果,对A1的请求进行综合评价,并向A1发出协调结果.

步骤5 路口 A1接收A2的协商结果,若协调成功,则A1执行决策1,A2执行自己的决策,本次局部路口间的协调结束.

步骤6 若A1与A2不能协调,则 A1向所在子区域Agent发送协调请求.

步骤7 区域Agent根据请求信息以及区域内整体交通状况,在区域内部或区域之间权衡利弊,进行整体优化,并计算出新的协调方案.

步骤8 区域Agent协调方案可行,则将新的协调方案传输给各路口Agent执行,结束区域内部之间的协调;若区域 Agent协调方案不可行,则向其他区域Agent发送协调请求,在区域之间进行协调,直至在区域内找到最佳的调整方案为止.

3 仿真实验

基于以上的模型和算法,采用VC++编写交叉口仿真程序,以图3所示的交通网络中主干道相邻两交叉口A1,A2所组成的简单交通网络进行仿真实验,如图4所示,设交叉口环境为:4相位,且左转设专用车道,左转车流占进口车辆的20%,绿灯期间路口通过率为0.4 pcu/s,2交叉口间距为500 m,饱和流量为3 600 pcu/h,分别在不同车流大小情况下进行控制,并与两交叉口定时控制和感应控制相比较,通过对比试验,表1为在不同车流量的情况下车辆的平均延误时间,图5为车辆到达率为1 650 pcu/h的仿真效果图.

图4 相邻交叉口相位运行图

图5 控制效果对比图1-定时控制;2-感应控制;3-Agent协调控制

表1 相邻交叉路口不同控制方式比较

从仿真结果可以看出,在交通流较小的情况下,2路口排队的车辆较少,车辆的平均延误较小,协调控制的作用效果不是很明显;当车流量继续增大但不超过饱和流量时,路口排队等候的车辆逐渐增加,整体的性能指标明显增加,即平均延误增加,而通过协调控制算法与定时控制和感应控制相比,不仅单路口Agent可以根据不同方向车辆的到达情况实时调整不同相位的绿灯时间和信号周期,而且系统通过多路口 Agent进行协调,优化信号配时,因此数据明显下降,控制效果明显;当流量增加到饱和流量甚至超过饱和流量时,协调算法作用也不明显,在这种情况下,在局部子区域内进行协调已经失败,子区域必须向上级区域发送交通拥堵信息,请求在其他子区域的控制来调整该子区域的交通流量,或通过其他道路管理和控制手段,从宏观上解决.

4 结束语

城市道路交通系统是一个复杂的时变系统,本文提出基于多智能体技术的交通区域控制系统结构,单路口Agent实体通过加强学习,对信号配时进行在线调整,实现局部优化,并通过Agent间的相互协调,以平均延误最小为优化目标实现区域交通的整体优化,并以两相关联的交叉口进行仿真,验证该方法的有效性和可能性.本文在将多智能体应用于交通控制领域方面进行了初步的尝试,在此基础上,进一步完善模型结构和协调算法,扩大区域协调控制的范围是进一步研究的方向.

[1]刘灿齐.城市道路网路交通信号协调控制的优化[J].同济大学学报,2003,32(8):1000-1004.

[2]承向军,杜 鹏,杨肇夏.基于多智能体的分布式交通信号协调控制方法[J].系统工程理论与实践,2005(8):130-135.

[3]王继峰,陆化普.公路网布局的多目标优化模型[J].武汉理工大学:交通科学与工程版,2009,33(3):888-891.

[4]Jeffrey L,V ictor J.A cooperative multi-agent transportation managementand route guidance system[J].Transportation Reseach Part C,2002,10:433-454.

[5] 马寿峰,李 英,刘 豹.一种基于Agent协调的两路口交通控制方法[J].系统工程学报,2003,18(3):272-278.

[6]杨煜普,李晓萌,许晓鸣.多智能体协作技术综述[J].信息与控制,2001,30(4):337-342.

[7]O liveira E.Multi-agent system:w hich research for which app lications[J].Robotics and Autonomous Systems,1999,27:91-106.

[8]黄艳国,许伦辉,邝先验.基于M u lti-agent协调的区域交通信号优化控制[J].江西理工大学学报,2009,30(1):49-52.

[9]黄艳国,许伦辉,刘文亮.基于GA的多相位交通信号模糊控制器优化方法[J].南昌大学学报:工科版,2006,28(1):38-41.