道路设施、运行与安全大数据智能分析平台研究与设计

陈岳峰

(福建省高速公路集团有限公司，福州 350001)

近10 年来， 我国道路交通事故起数与死亡人数、万车死亡率等指标整体呈现下降趋势，但当前事故仍频发，国民生命财产安全需要保障。 全面建成小康社会中一项社会指标是非正常死亡率， 而交通事故死亡占我国非正常死亡人数中较大的一部分，有效、持续降低交通事故死亡人数，对于我国社会经济全面发展具有突出意义。

交通事故的超强随机性和复杂诱因， 涉及到道路设施、交通运行、天气环境、交通行为等方方面面，导致安全风险是最难以预测的现象之一，同时，交通事故是典型的观测科学，大数据平台是突破安保关键技术的关键。风险防控的关键在于实现“先知、先觉、先控”，而实现的前提是“全知、全觉、全控”，因此建立完整覆盖安全风险各要素的、不同来源和形式数据相互融合的大数据平台，也是十分必要的。

目前，国内外已经收集、积累了大量的道路设施、道路交通运行数据， 比如美国的公路安全信息系统(Highway Safety Information System， HSIS)[1]、 联合国亚太经济社会委员会牵头建立的 “亚洲公路数据库(Asia Highway Database)”[2]、美国伊利诺伊州交通厅开展的“实现公路零死亡”(Driving Zero Fatalities to a Reality)项目[3]、欧盟的“提供全欧盟范围实时交通信息服务”(Provision of EU-Wide Real-Time Traffic Information Services)[4]、中国道路风险评估系统ChinaRAP[5-6]、北京市交通运行监测调度中心(TOCC)的路网运行监测系统、交通运输部路况管理信息系统等[7]。 但数据的管理与深度挖掘应用尚浅，现有数据库多为单一的基础设施、事故、交通运行、天气等的数据库，没有多种类数据源融合的多源异构数据库；现有数据集中存在大量的非结构化数据(例如视频数据)，均未得到很好地结构化处理，尚未发挥应有的巨大潜能；现有数据库大多属于传统的数据库模式， 尚未建立起现代大数据架构，在数据规模积累越来越大的情况下，现有系统难以对数据进行有效地管理、处理和分析；尤为突出的是，现有的传统模式数据库彼此孤立，不同数据源之间无法实现信息融合，从而为数据联合分析与应用制造了障碍。

为了解决公路基础设施、交通运行与安全等跨部门、跨行业的数据融合技术问题， 本文攻克道路设施与运行相关的大数据的融合、清洗与增补技术，建立数据融合与智能监管功能界面，建成多源异构数据平台，突破交通安全保障全过程、全环节的数据统筹与科学管理关键技术，可作为国家、区域、地方等不同层级的公路安全评价及公路设施安全提升的工作基础， 也可成为高速公路各项数据的存储数据库与展示平台。

1 数据库需求分析

1.1 用户定位与应用场景分析

大数据智能分析平台为一个大数据平台加上3 项应用技术： 应用技术1 “驾驶模拟与虚拟现实交通安全评价”、应用技术2“道路设计与运行风险评估”、应用技术3“事件管控与应急处置”，潜在的用户涵盖了部、省、地市各级道路交通行业主管部门和公路运营管理实体公司等。

应用技术1 潜在的用户主要为各级道路交通行业主管部门、公路运营管理实体公司及大型车企等，其成果可应用于安评项目及车载终端产品研发。

应用技术2 的核心应用领域有3 个：安评项目、生命防护工程项目、智慧道路建设项目及智慧应急保障项目，其成果用于完成3 个核心业务：在安全项目中，用为安全评价的数学模型和应用系统；在生命防护工程项目中，用为风险评估的数学模型和应用系统； 在智慧城市或智慧道路建设项目中， 用为实时风险预测和事故预防预警的数学模型和应用系统，在应急保障项目中，用为事件智慧管控与应急处置的数学模型和应用系统。

应用技术3 潜在的用户主要为高速公路交通主管单位，包括路段级管理单位和路网级管理单位，应用场景主要为高速公路特殊事件下的管控和应急处置， 其成果用于完成1 个核心业务： 为高速公路发生特殊事件下管控及应急处置提供方案库、对策库及匹配算法。

1.2 业务流程分析

业务环节涵盖交通事故的事前、事中、事后等各环节的安全分析与决策支持， 从道路交通行业的业务环节中划分，即涵盖了道路设施设计、运营和养护的各个环节之中，整体的业务流程如图1 所示。

图1 平台整体业务流程

1.3 数据使用流程分析

大数据智能分析平台整体的数据流程如图2 所示。

图2 平台整体数据流程

整体数据流向采用“分-合-分”的形态。 在底层数据库方面，应用技术1、2、3 各自建立数据集，单独开发形成数据库。 应用技术1 汇聚自身业务所需数据源，形成“道路特征与驾驶行为数据库”； 应用技术2 汇聚自身业务所需数据源， 形成 “道路设施数据库”“交通事故数据库”“交通运行(交通流)数据库”及“道路环境数据库”等4 个底层数据库，然后再整合形成“道路设施与交通运行动态风险预测预警数据平台”；应用技术3 汇聚自身业务所需数据源，形成“道路交通事件管控与应急处置数据库”。

上述3 个数据库系统按照分布式、本地化的原则，与包括CAD 设计文件、视频流数据、图像资料、文本文件等其它多源异构数据源统一经过大数据平台 “分布式文件系统”和“资源调配”的流程，最终设计形成大数据架构，汇集形成“道路设施、运行与安全多源融合数据库”。

2 数据库设计与信息处理

平台对所有能获取的道路设施、 运行与安全多源数据按设计流程(图3)进行整理和分析，包括数据鉴别、数据分类、数据清洗(含增补)、数据处理、数据重构、数据融合等(图4～5)，并将数据分类存储到云平台上。

3 大数据平台架构设计

整体大数据平台架构设计如图6 所示， 该平台主要分为数据集成层、文件存储层、数据存储层、编程模型层、数据分析层、应用层。

图3 道路设施、运行与安全多源融合数据库设计流程

图4 数据鉴别与需求分类流程(部分)

图5 数据清洗与数据处理流程(部分)

图6 大数据智能分析平台架构

(1)数据集成层

对底层数据库的融合与集成， 共包括了五大类数据库：道路设施数据库、道路交通事故数据库、道路交通运行数据库、道路环境数据库、驾驶模拟数据库。其中，道路设施数据库涵盖道路线形、路面、路侧、交通防护及安保设施、交通控制设施等的数据集；道路交通事故数据库涵盖交通事故的准确时间、地点、形态、严重程度、伤亡人数、财产损失等；道路交通运行数据库涵盖交通运行动态数据，包括流量、速度、占有率等，其时间粒度为5 min；道路环境数据主要是指公路交通气象， 涵盖温度、 湿滑系数、路面状态、相对湿度、风向、风速、水量、冰量、雪量、能见度、空气温度、路面温度等指标，以及特殊交通天气现象例如“团雾”等的数据；驾驶模拟数据库主要是驾驶模拟、虚拟现象实验中产生的大量数据，作为现实道路采集数据的有效补充，尤其突出的是虚拟现实、驾驶模拟中能够产生在现实世界中尚未采集到的极限区间的数据(例如特大交通量等)。

(2)文件存储层

采用Hadoop HDFS 负责道路设施与运行大数据的存储系统，利用Hadoop 的负载均衡特性把海量数据存储到不同的存储子节点上。 HDFS 支持流式数据访问和存储超大文件，并且负责提供日志收集系统(flume)、数据相移工具(sqoop)、 分布式应用程序协调工具(zookeeper)、Hbase 等高层应用。

(3)数据存储层

采用Hadoop Yarn 作为通用资源管理器， 为上层应用提供统一的资源管理和调度。

(4)编程模型层

可以有两个选项， 分别是MapReduce 计算框架和Spark 计算框架。 本文当前倾向选用Spark 计算框架，在实际运行中将根据数据和建模的需求， 评估这两个计算框架的适用性，最终选用一个最适合的计算框架。

(5)数据分析层

视编程模型的选择而定。 如果选择MapReduce 计算框架，则在数据分析层集成了Hive 数据分析、Pig 数据分析、Mahout 机器学习；如果采用Spark 计算框架，则提供多种大数据分析方法，包括：聚类分析、预测性分析、数据挖掘、数据管理等。

(6)应用层

包括虚拟现实与驾驶模拟交通安全评价应用系统、道路设施与运行动态风险预测预警应用系统以及道路交通事件智慧管控与应急处置应用系统。

4 大数据平台开发与实现

为建立面向大数据存储与处理、 面向前沿技术和实际应用的大数据平台， 基于阿里云、Hadoop 平台框架及C#、MySQL、Python、Node.js 等多种工具进行界面设计和功能完善， 大数据平台已基本能实现云数据的可视化和智能化统计分析，并具备道路安全评价、交通运行风险评估以及事件管控与应急处置等一系列功能。道路设施、运行与安全大数据平台信息界面如图7 所示。

图7 道路设施、运行与安全大数据平台信息界面

5 大数据平台的作用与前景

建立了贯穿道路设施与交通运行风险防控的大数据平台，突破了“数据孤岛”的难题，实现了交通事故与道路设施、交通运行、交通环境等不同来源、不同结构数据的融合；还实现了非结构化的设计资料、道路图片数据、交通监控视频数据等的集成与融合，发挥大数据优势，将非结构化数据进行可视化和充分应用。 对于未来相似领域的交通安全大数据的研究与应用， 本文的成果具有显著的引领意义。

道路设施、 运行与安全大数据智能分析平台的研究成果未来还可进一步拓展到全国各省公路网， 拓展大数

5 结论

(1)对于本文中按照船员不上岸的待航停泊区，其功能较为单一，选址时首先按一般原则选取。

(2)通过对沙县城关下游待航停泊区的3 个方案进行比选，分别从安全性、经济性、船舶调度难易性和河道美观性进行方案分析比选其优缺点，最终推选方案一。针对经济性和安全性进行比选时，始终以安全为首。

(3)山区河流停泊区一般不宜布置在弯道凹岸段，主要是此处水流流速较大，且为航道转弯处，不利于船舶渟靠。通过对官蟹下游待航停泊区凹岸段流向流速分析，本工程建成后对流速流向基本无影响， 且流速满足船舶安全靠泊要求； 同时， 为保证船舶上行离岸时安全过闸要求，停泊区前沿线应尽量与上游航道中心线平行。