智能视频分析在轨道交通车站中的应用

章玮，徐明江

（上海电科智能系统股份有限公司，上海 310110）

0 引言

目前，上海地铁已全面进入超大规模线网时代，运营线路20条（含浦江线、磁浮）、运营长度772km、运营460余座车站，交通出行分担率已超67%，地铁已成为上海市民首选的公共交通出行方式[1]。超大线网规模随即带来的是超大规模设备体量。以轨道交通闭路电视监视系统（CCTV）为例，460余座车站以每个车站平均100路，保持90d（地铁技防规定）来计算，海量的视频监控数据既给地铁的视频智能应用提供了充分发挥素材，同时也为传统监控系统带来较大挑战。这些挑战可以归纳为多目标、跨专业、泛场景。本文将分析智能视频分析在轨道交通车站中的应用。

1 智能视频分析技术介绍

智能视频分析技术的产生为上述挑战提供了新的解决方案。该技术基于人工智能技术在视频监控方面的综合应用，属于图像人工视觉技术在安防领域应用的细分。通过对监控区域内出现的多个不同目标进行自动识别、归类及追踪，在后台标记并计算运动目标动作轨迹，同时也可根据实际场景进行监控范围及对象的自由设置及预案组合。将传统视频系统的“被动监控”提升为“主动监控”，由“事后回看”变为“及时报警”甚至“事前预警”，有效地解决监控人员的能力及责任心问题，极大地提高了城市轨道交通车站日常运营组织和安全应急事件处置能力。

随着地铁建设规模增加及监控需求的完善，地铁车站及控制中心对视频调用的需求高速增长，同时也为传统视频监控系统带来巨大挑战，在车站运营场景中主要体现在：

（1）既有的通过人工轮巡调看视频来监控系统所有的画面已经不能满足地铁运营需要。

（2）传统的事后追看监控录像的方式，无法更好地提升车站运营的安全性。

（3）海量视频监控信息虽然体量巨大，但是有效利用率非常低。

随着基于深度学习的视频分析技术的成熟，对视频进行结构化分析、目标检测及跟踪、人物及动作识别，情感语义深度学习实现视频分析、识别及预警功能[2]。基于深度学习的视频分析技术通过人物、场景、动作的融合可高效提高地铁跨业务、跨场景及处理突发事件的处理能力。在地铁车站日常运营中，通过智能视频分析技术的有效应用，自动捕获监控目标的相关信息、结合人工智能数据挖掘，为地铁车站日常运营、应急处置、安全技术防范等各方面提供了数据来源及技术支撑。

2 视频分析在地铁车站的应用

监控目标种类众多。随着地铁车站监控范围需求的扩大，前端监控设备的分辨率提升，监控的目标从既有的像素级到区域级、事件级、场景级，从不同的监控场景下分析出各种目标的动作行为、群体、区域、实践结合地铁运营场景成为一大难题。

监控主动性提升。以地铁车站运营为例，发生运营突发事件后，通过视频监控系统确认现场状态及动态监控处置情况尤为重要。通过智能视频技术应用实时分析监控区域内的异常事件并自动报警提示将成为可能。

业务需求分门别类。建设一套智能视频分析系统，其发生突发事件产生的有效数据并非只提供给一个地铁业务上层子系统使用，地铁车站业务各部门均会使用到视频分析系统中产生的各类数据，这对视频分析在地铁场景中的选择使用有所挑战。

本文主要研究智能视频分析在车站业务中智能开关站、客流监控、异常行为、标准化作业等方面的应用[3]。

2.1 视频分析技术架构

目前，地铁车站使用功能主体分析设备为后端智能分析服务器，包括客流统计服务器及行为分析服务器，系统架构见图1，部分AI功能需要配套专用智能摄像机实现。为保证准确率，现使用的智能分析设备均采用GPU架构实现智能分析算法。基于深度学习模型算法的视频智能分析技术区别于传统的背景建模及目标建模模型算法，能极大地提升地铁场景内的算法识别准确率。后端智能分析服务器进行算法识别后将报警发送至视频管理平台，再由视频管理平台统一将报警数据发送给各业务部门使用[4]。

图1 车站视频智能分析系统架构

2.2 视频分析在开关站中的应用

开关站中主要使用两种智能算法，人体检测及场景人数统计。这两种场景在车站日常的开关站业务中多有对应的应用场景。例如，当智能分析设备检测到目标场景内有人体或人数大于1时，产生报警数据。此时车站智能管理平台通过该报警数据联动车站电扶梯、卷帘门等出入口控制设备进行开关站。若有报警数据，则关卷帘门及扶梯的控制设备自动停止关闭行为，防止事故发生；当乘客在车站指定安全区域内检测到人体徘徊、剧烈运动等异常行为时，则会取消相关系统启停操作。若系统显示无报警数据，则操作人员通过软件控制按钮一键开关站，并且可通过视频实时复核，确保开关站准确性、安全性。通过视频分析在开关站中的应用，以7号线顾村公园站为例，将传统开关站业务由原来3人次30min减少为1人次5min，完成一个车站完整开关站业务。

2.3 视频分析客流统计的应用

通过统计车站重点部位实时的人群人数和人群密度信息，车站通过联动信息发布系统科学地疏导人群。可以利用数据对地铁线路客流管控起到参考作用。目前视频监控利用各种不断更新和完善的视频图像处理算法，借助计算机强大的数据处理功能，对监控视频场景中出现的行人、其他运动物体进行分析、处理，达到识别乘客、统计乘客数目的目的。结合人体识别和轨迹分析实现进出人数自动统计。通过视频分析客流统计与乘客信息发布及员工智能单兵的综合应用，将客流识别由经验判断及事后疏导，提升为量化客观的整体即发现即处理、局部提前预警处理，全面提高了客流管控的时效性及准确性。

以地铁车站为例，需要利用视频分析技术对车站整体客流特征及局部重点区域的客流特征进行综合分析及研判。如通过车站站厅、站台公共区域视频及AFC客流数据分析整体车站客流态势及站厅、站台客流分布态势；通过出入口视频分析统计15min内进出站客流趋势；通过安检口、售检票区域及闸机口视频分析安检区域客流状态及排队拥挤情况。结合视频分析、AFC数据、客流嗅探等客流感知技术，可有效实现车站客流的实时感知及提前预警，指导车站启动相关客流状态下的运营预案，提高车站客运管理的安全水平及大客流状态下的应急处置效率。

2.4 异常行为的应用

行为分析是利用图像或视频来分析行为主体在做什么。相对于物体检测和分类来说，人的行为分析是在其基础上实现更高层的目标，涉及对人类视觉系统的更深层的理解。监控车站系统需实现对人员扶梯逆行、人员徘徊、快速移动、打架斗殴等异常的检测识别。通过行为识别分析技术，对人员扶梯逆行等实时告警，上层业务系统可根据报警判断是否停止电梯或语音提醒乘客规范行为。对于部分乘客异常行为，如徘徊、快速移动、打架斗殴等均可通过行为分析进行识别报警，快速通知车站值班室人员进行处理。通过车站视频异常行为分析应用，在实施后的12个月劝阻乘客多次，有效避免了客伤运营事件发生及地铁运营票款损失。

2.5 标准化作业的应用

上海地铁客流量大，行车车次密集，司乘人员作为列车的驾驶者，其日常作业的标准化程度会影响列车运行安全。当前大部分系统只能对司乘人员的日常作业过程进行人工监控，如果仅凭监控人员手动切换视频检查，往往不能在第一时间发现这些问题，尚未有系统能够实现实时分析识别司乘人员标准作业动作执行情况。

为提高地铁司乘人员的作业标准，通过对其在作业区域的实时视频进行分析识别，实时分析司乘人员在日常作业中标准作业手势的执行情况，监测到不标准作业则系统自动提示预警，通过确认后通过行政管理手段进行处理，达到提高作业标准的要求，保证地铁运行安全。通过试用阶段7号线顾村公园的应用，有效发现司机异常行为15次（其中发车信号灯确认动作8次、屏蔽门信号确认动作7次），共组织司机标准化作业专题培训3次，通过历史视频进行日常司机培训及新员工培训。

司乘人员作业手势识别系统利用安装在地铁站两端司乘人员作业区域的监视单元实时采集场景图像，通过图像处理技术完成列车启停、作业人员手势识别。系统融合了机器视觉与深度神经网络技术完成部件定位，结合自主异常状态判定算法实现列车进出站台分析识别和司乘人员标准作业手势的执行情况。通过检测系统的实时监测，对不标准作业情况实时预警，实现现场作业管理的要求，符合动态、量化、可追溯管理的发展趋势。司乘人员标准作业手势动作识别系统识别流程见图2。

图2 标准作业手势动作识别系统识别流程

主要功能包括：

（1）列车启停分析识别：抓取实时视频监控画面，分析列车进站和出站行为，提供标准的信号输出作为手势识别分析算法运行的启停条件。

（2）作业手势分析识别：结合列车启停信号，对地铁司乘人员在站台作业时段的作业标准手势执行情况进行实时分析识别，标准作业手势为成套的动作，并且有标准的执行步骤，系统可精确定位错误环节，实现现场作业管理。

（3）消息预警：每趟列车作业完成后对司乘人员作业手势识别的结果进行实时分析，检查手势是否有遗漏，作业动作是否标准、到位，将识别结果展示出来，对不符合要求的作业进行预警通知。

（4）统计与绩效：系统按日期、人员的作业情况进行统计，输入统计结果，作业岗位评优、绩效考核的依据，同时输入不标准作业知识库，可作为重点培训的依据。

为实现视频实时分析识别，首先对截取的单帧原始图像进行去噪与均衡处理；随后进行特征提取，完成列车和作业人员标准动作的定位；系统自动进行列车启停识别，当检测到有列车进站时，启动手势识别程序，直至列车离开站台，停止手势识别，输出手势执行情况结果。列车启停和司乘人员动作的识别结果，预先在GPU平台上以列车/人员等素材为训练数据实现的列车/人员分类器，可实现人员与列车的检测，经异常状态检测引擎后，单帧图像可输出检测结果。

3 视频分析在轨道车站的应用经验及发展方向

结合现有车站场景中智能视频分析应用效果，可以从专业技术和规划应用两方面进行提高。

（1）专业技术方面的提升由视频深度学习技术、智能算法模型、模块化设计等提升带来。

①通过机器视觉与深度神经网络技术进行识别，识别速度快，准确率高，实时反映车站运营状态、工作人员的作业情况、满足运营管理的需要；

②智能算法具备模型学习功能，满足作业标准变化、运营场景化的要求；

③模块化设计，可独立运行，也可提供实时的标准数据接口，满足车站监控平台信息联控的需要。

（2）规划应用方面的提升通过建设规划阶段、运营使用阶段、员工培训阶段的有效应用产生。

①新线建设规划中，监控点布置提前考虑智能视频分析需求，统一安装，避免后续重复布设。CCTV专业预留智能视频分析设备接入空间，包括机柜预留、电源预留、视频码流接入能力等。

②日常地铁运营使用中，利用视频进行分析识别，不干扰乘客、工作人员正常承受及日常工作，满足现场应用的需要。

③日常员工培训中，对异常行为、非标准作业行为进行分析统计，建立作业知识库，满足作业标准重点培训的要求。

4 结语

通过本项目的研究，可深化智能视频分析在地铁运营场景中的应用，提高了地铁运营管理及维护效率，增强对设备的主动维护度。同时可推进相关厂商根据地铁智能视频分析的实际需求进行技术的深入研究，推动技术发展。