基于视频分析的行人闯红灯违法行为检测系统

唐晓东

(杭州市公安局交通警察支队科研所，浙江杭州 310014)

0 引言

近年来，随着机动车数量的日益增多，道路交通安全受到越来越多的关注。以酒驾整治工作为例，自专项行动开展以来，相关违法行为已大幅下降。此后，人们又将目光转向斑马线上的未礼让行为［1］。杭州、无锡和深圳等地率先开始制定相关政策和措施，促进机动车能在斑马线上礼让行人。在2013年，关注点开始从驾驶人转移到行人，作为交通系统中的组成部分的行人，其交通违法行为同样受到关注，“中国式过马路”显示了行人闯红灯违法行为的普遍性。据某地统计，过马路时有八成行人不看红绿灯，这也成为我国城市交通安全管理中的重点和难点。

作为交通参与者中的弱者，行人往往受到更多政策和法律上的照顾。事实上，行人闯红灯是各项交通安全违法行为中违反人数最多的违法行为之一，其危害巨大。行人在闯红灯时若发生交通事故，很容易受到伤害，非死即伤。据公安部交通管理局统计，2011年，全国因不遵守交通信号违法行为导致交通事故4 768起，共造成6 143人受伤、1 175人死亡。2012年1～10月，全国因闯红灯肇事导致交通事故4 227起，共造成798人死亡。除了影响人身安全，行人闯红灯违法行为造成的交通事故往往影响交通秩序，也容易造成交通拥堵。为了遏制行人闯红灯的违法行为，公安交通管理部门开出了各种“处方”，但收效甚微。由于城市中交叉口数量众多，在每个路口布置警力现场执法也不可能。

近年来，随着技术的发展，越来越多的非现场执法系统被应用到交通行业，用于自动检测各种违法行为，并进行自动取证。现有的检测方法主要有以下几种。

(1)电磁感应:现在普遍使用的一种检测方式。利用线圈电感量的变化来检测是否有车辆通过。这种方式可靠，受环境影响小，常用于检测闯红灯等违章行为。缺点是要破坏路面，易被重型车辆损坏，不易移植，线圈容易在夏季断路。

(2)激光/雷达测速:主要用于监测车辆的行驶速度。激光测速精度高，同时还可测量运动物体离观测点的距离。但缺点是测速点必须是静止的，流动性差，价格昂贵。雷达测速方式价格便宜，便于车载拍摄。但是测速距离近、精度低。这两种方式常用于检测车辆超速违章行为。

(3)视频检测技术:视频检测技术具有信息量大、兼容性强、安装方便以及便于实现“一机多能”等优点。这种方式主要用于城市快速路和城市道路两个方面。目前，国内外基于视频检测机动车违章行为的方法主要有基于视频的事件检测和基于视频的违法行为检测。

综上所述，现有的非现场违法行为检测系统或设备多以机动车为目标，并不适用于行人闯红灯违法行为。为此，本文提出一种基于视频分析的非现场执法系统，通过检测行人行为和红绿灯的状态，全天候监控闯红灯违法行为。目前，该系统已在杭州实地实施。试验证明，该系统能有效地检测相关行人交通安全违法行为，并通过内部网络将数据传输至公安交通指挥中心。

1 系统设计

1.1 系统模块

整个行人闯红灯非现场执法系统分为三大模块:视频输入模块、违法检测模块和数据传输模块，如图1所示。

(1)视频输入模块:主要包括两个数字相机及闪光灯组，一个用于行人检测，一个用于红绿灯检测以及违法数据的保存。闪光灯主要用于夜间的照明增强。

(2)违法检测模块:主要包括数据连接在内的四大子模块。连接模块用于从视频输入中获取数据。考虑到通用性，连接模块能自动连接主要厂商(比如海康、大华、锐势等)的各种数字相机。配置模块用于配置相机信息、FTP主机信息、数据保存参数等等。检测模块主要是用于行人和红绿灯检测的核心算法。数据保存模块则保存用于执法证据的违法图像与视频。

(3)数据传输模块:该模块利用FTP或者3G无线方式将违法数据传输到交警指定的服务器。

图1 系统模块图

1.2 系统架构

行人闯红灯系统的架构如图2所示，两台高清相机负责视频输入和数据保存。如果高清相机采用500万像素，则检测模块主机需要intel i7系列4核CPU，可同时处理两个方向的行人闯红灯行为，处理速率为6帧/秒左右;如果使用200万像素高清相机，该系统可同时处理4个方向的行人闯红灯行为，处理速率为8帧/秒左右。两台相机通过网线直接连接到一台交换机，与违法检测主机构成一个局域网，使主机能实时获得相机的视频数据。检测模块通过行人相机输入的行人视频数据，实时分析行人的行为，通过红绿灯相机输入的红绿灯视频数据，检测红绿灯状态。结合两者的信息，自动判断当前是否有行人闯红灯违法行为。一旦发现有行人闯红灯违法行为，利用红绿灯相机进行违法取证，实时保存相关的图像与视频，作为执法依据。最后，通过网络将违法数据上传至交警指挥中心服务器。

为了保证违法数据的有效性，必须能在取证图像中看清违法行人的面部和红绿灯状态。因此在行人发生违法闯红灯行为时，只保存红绿灯相机中的数据，且该相机主轴必须平行于人行横道，如图2所示。而为了检测行人的移动，行人相机的主轴必须垂直于人行横道。由于同时需要行人的视频数据和红绿灯的视频数据，因此在系统初始化时，需要针对两个相机进行时间轴同步。

1.3 违法检测算法

违法行为的检测是整个系统的核心部分，包括基于视频的红绿灯状态检测和行人检测。高清相机数据量大、帧速慢，因此高帧速下的基于目标连续性跟踪的算法，比如基于灰度跟踪［2－3］、Mean-Shift跟踪［4］、基于 KLT 跟踪等［5］都无法获得理想的效果。而且视频中只能看到行人的侧面，也无法使用比较成熟的人脸跟踪算法。基于行人的移动特征，本文采用了帧差与目标检测并用的方法:如果每隔N帧的帧差中，目标的移动非常小，则放弃目标检测;如果帧差比较大，则进行移动目标的检测。检测所用的分类器基于Harr特征，是针对人体行走时的“倒Y”型特点的量化表述。在大部分情况下，上述算法能有效检测行人的移动。为了保证跟踪的鲁棒性，需要考虑以下两种特殊情况。

(1)目标的遮挡:行人在行进过程中，会产生遮挡或者目标丢失的问题。为此，在进行目标跟踪的过程中，需要进行跟踪预测和匹配确认。采用Kalman滤波［6］来进行目标移动方向的预测，并在跟踪目标时，计算前后目标区域的SIFT特征［7］匹配，确保匹配的准确性。

(2)夜间目标的检测:在亮度不足的情况下，需要利用伽马校正对每帧图像进行非线性拉伸。在具体的应用案例中，如果能利用现场的LED灯补足照明，则能获得更佳效果。

基于视频的红绿灯状态检测则相对简单。首先将每帧图像转换到HSV颜色空间，如果是白天，一般根据红绿灯区域的色度H值即可判断当前状态，并记录红绿灯变换的时间间隔;如果是晚上，路灯和车灯等额外光源可能会使红绿灯区域产生过饱和，因此除需要综合考虑色度值H，饱和度值S，还需要参考红绿灯的变换频率。目前，整个系统的红绿灯检测准确率可达95%以上。

1.4 违法数据采集

一旦检测到行人闯红灯违法行为，系统自动从红绿灯相机(见图2)输入的视频中保存相应的图像和视频。为了保证执法的可行性和有效性，每次抓拍至少需要3张图像，如图3所示，分别对应红灯状态下行人在等待区(图3a)、行人进入人行横道(图3b)和行人在人行横道有了一定的位移(图3c)。抓拍的图像中能清晰地显示红绿灯的状态，并能看清行人的脸部。同时，系统对行人闯红灯的过程进行录像，录像的内容充分反应行人闯红灯的全过程。作为取证数据，抓拍图像还需要符合国标《道路交通安全违法行为图像取证技术规范》(GA/T 832—2009)。

图3 抓拍图像示意图

2 案例应用

目前，整套系统已经完成研发并在浙江省杭州市某些路口进行测试。图4展示了部分抓拍的行人闯红灯违法行为。试验表明，采用纯视频检测方式，可以实现24小时全天候的非现场执法取证。目前，抓拍准确率可以达到80%左右，并支持晴天、雨天、白天、夜晚、行人打伞、戴雨披或者骑车，一个人或者几个人同行的情况下的违法行为检测。抓拍的图像中红绿灯和行人的脸均清晰可见(鉴于个人隐私，图4中的人脸均被涂黑)，可用于交通安全执法依据。

图4 违法抓拍案例

3 结语

行人闯红灯导致的交通事故往往造成人员伤亡，影响交通秩序。虽然为了整治行人闯红灯的交通安全违法行为，公安交通管理部门加大了执法力度，但是现场执法的警力非常有限，而传统的非现场执法系统无法检测此类违法行为。本文提出的基于视频检测的非现场执法系统，利用两部高清相机实时检测行人与红绿灯状态，通过自动判断在红灯状态下是否有行人走动，自动抓拍行人闯红灯违法行为。通过路口实地测试，表明该系统能有效工作，具有实际的应用价值。

由于一般城市中红绿灯设备非常多，因此要大量部署整套系统的成本过高。因此，如果仅仅只需要在红绿灯路口布置摄像机，将数据传回交警指挥中心，并统一利用指挥中心的云平台进行存储和检测，将大大节省路口的施工和设备费用。基于云平台和大数据系统，对终端采集的各种视频进行存储、违法行为检测、违法行为取证将是未来的研究方向。

［1］ 周为刚，冯阳，徐舒畅.基于视频分析的机动车斑马线前未礼让违法行为检测系统［J］.中国人民公安大学学报，2012(2):57－60.

［2］ BASCLE B，DERICHE R.Region tracking through image sequences［C］∥Computer Vision，1995.Proceedings，Fifth International Conference on.IEEE，1995:302－307.

［3］ BIRCHFIELD S T，RANGARAJAN S.Spatiograms versus histograms for region-based tracking［C］∥Computer Vision and Pattern Recognition，2005.CVPR 2005.IEEE Computer Society Conference on.IEEE，2005，2:1158－1163.

［4］ COMANICIU D，RAMESH V，MEER P.Real-time tracking of non-rigid objects using mean shift［C］∥Computer Vision and Pattern Recognition，2000.Proceedings.IEEE Conference on.IEEE，2000，2:142 －149.

［5］ SHI J，TOMASI C.Good features to track［C］∥Computer Vision and Pattern Recognition，1994.Proceedings CVPR'94，1994 IEEE Computer Society Conference on.IEEE，1994:593－600.

［6］ WELCH G，BISHOP G.An introduction to the Kalman filter［J］.1995.

［7］ LOWE D G.Object recognition from local scale-invariant features［C］∥Computer vision，1999.The proceedings of the seventh IEEE international conference on.IEEE，1999，2:1150－1157.