基于Storm的机动车检测环保大数据平台研究

陈光 姚海平

摘要：针对机动车尾气检测机构数据采集存储难、并发数据传输丢帧、检测数据利用率低、信息孤岛等问题，利用大数据关键技术研究开发机动车检测环保数据平台。该平台由机动车尾气检测数据实时采集系统、监督管理系统、检测机构管理系统、环保大数据分析系统、可视化展示系统等软件系统及相配套的硬件设备组成，实现全省机动车尾气检测数据信息的自动采集、实时存储和综合管理等功能。

关键词：尾气检测、大数据、可视化

1、引言：

近来，作为中国国民经济的支柱产业，汽车行业在《政府工作报告》中被多次提及，国家领导人对宏观经济视野下汽车行业的发展指明了方向。国家出台了一系列政策，加强机动车的环境监管力度。目前我省有600多个机动车尾气检测站，所要采集与处理的数据类型复杂多样，为了有效监管机动车尾气检测站的检测过程、实时采集机动车尾气检测环保数据，需要建立集海量数据采集、实时存储、分析建模、可视化展示和集群管理等多功能于一体的综合性环保大数据平台。研究建设数据平台可实时分析各项污染指标，有利于政府部门控制区域大气污染物排放总量和对高排放车辆实施淘汰政策，为改善环境质量和减排提拱数据支撑。

2、建设目标

建设机动车检测环保大数据平台实现对机动车查验、检验监督进行综合管理，实现省、市、县级车管所与其辖区内所有机动车监测站联网实时传输数据功能，并实现机动车检测站检测过程全程视频监控、检测数据监控、远程监督审核和数据分析功能。并实现机动车查验数据、图片等资料信息的统一存储、审核、计算、管理等。具体目标如下：

（1）提高对安检机构的监管水平  通过检测数据与车管数据实时比对，有效杜绝车辆年审受托检验、不上线或检测不合格就发检验合格标志的现象，同时对违规业务进行预警，从技术上减少车辆检验的随意性。

（2）规范机动车检验流程   所有车辆检测线采用统一标准和统一流程，检测标准更加科学，工作流程更为规范。

（3）提高检验报告真实性  对车检数据和过程进行监测，自动完成检验报告，对车检数据和异常业务进行审核，并实现对异常、问题数据的过滤和警示，有效预防虚假检测报告的产生，提高检测质量。

（4）规范查验业务  依据相关标准，统一机动车查验记录表的录入和数据的集中管理

（5）节省警力资源  机动车辆的外检由检测线技术人员完成，民警通过监督检测线和业务点完成检查，提高警务人员工作效率。

3、关键技术

基于Storm的机动车检测环保大数据平台主要从机动车尾气检测环保数据实时采集、并发数据传输丢帧、防作弊技术管理、非结构化数据分布存储、环保大数据共享和可视化展示等方面进行设计开发。系统架构如图1：

（1）基于低延时高可靠性的机动车检测数据采集系统

系统可以对多种数据类型进行实时采集，包括结构化数据源、非结构化数据和半结构化数据。

（2）高可靠性，实时存储机制。基于分布式文件系统HDFS的NoSql数据库HBase有存储速度快，易扩展，容错性高等特点，满足采集大规模数据集实时读写、随机访问的需求。数据分析方面，基于Storm技术设计一种低延迟，高吞吐，分层且扩展的流式计算系统，实现对车联网数据实时分析。

（3）Storm结合消息队列Kafka实现低延迟。消息队列是分布式系统中重要的组成部分，消息队列优越，高效的数据读写性能被广泛的应用在数据缓冲，异步通信，系统解耦等各个方面。运用Storm结合Kafka编程API、Kafka负载均衡、Kafka消息存储是构建高性能、高可用、高吞吐量、低延迟、有容灾能力、可伸缩的分布式系统必不可少的组件。

（4）基于Storm架构的大数据中心建设

大数据中心是机动车环保平台的基础工程，它将多级环保部门互相独立的网络系统联系起来，实现了各系统之间跨不同网络平台的实时数据交换和共享，将各系统整合成一个整体，一个跨区域跨部门的大系统。利用大数据技术（如NoSql数据库HBase，高可靠高吞吐的消息队列Kafka，流式计算框架Storm，高速缓存的内存数据库Redis等）搭建高效，可靠的大数据存储与分析平台，满足日益增长的环保大数据需求。

（5）基于深度学习技术的机动车检测智能识别系统

利用深度学习技术，使监控摄像机不仅能录像、拍照，还能实现快速智能识别车牌号码、车牌颜色、车辆型号等车辆信息，检索车辆所有信息并将其自动录入检测平台。避免人工输入错误发生，并提高了检测效率。识别信息结果与车辆信息库数据存在差异，将启动报警程序，提醒检查其该车真实性。利用深度学习技术，设计实现监控摄像机识别尾气探头插入深度不够、人为调节车辆密封装置等功能，将数据传入大数据平台、设定预警阈值，可有效避免检测作弊。

（6）大数据智能分析系统

大数据智能分析系统运用数据仓库、联机分析、数据挖掘等技术提取、整合有价值的数据，可生成全省尾氣检测的数据地图及数据报表，能够可视化的直观展示多维度的全省各地市机动车尾气对环境影响。大数据智能分析系统能满足任意参数条件下的信息的快捷查询功能，并实现检测数据和环保标志数据的汇总、统计分析及可视化展现。大数据智能分析系统通过历史数据分析建立预测未来趋势的数据模型。大数据智能分析系统能对接商业智能BI工具，将数据中心中现有的数据转化为知识，能够为环保部门管理决策提供辅助手段支持。

（7）统一权限划分

实现省级监管中心人员、各地市监管人员和检测站人员的权限管理，具备各级机构的用户管理、用户组管理、用户组权限分配等功能，能为使用系统的不同用户灵活配置权限。

4、应用总结

机动车检测环保大数据平台以机动车环保管理业务需求为主导，利用物联网、云计算、大数据、人工智能等信息技术，依托省环保主干网络将全省机动车检测站工位、检测设备和监管平台联网，实现全省机动车尾气检测数据信息的自动采集、实时存储和综合管理等多能于一体的综合性环保大数据平台。根据系统高并发上传以及实时性的需求，引入Storm实时计算系统进行数据的实时处理。利用Kafka消息队列的异步通信机制将各层之间解耦，采用HBase进行海量数据存储，满足机动车检测过程中非结构化数据存储需求。针对访问数据库开销大的问题，采用Redis缓存策略提高查询效率。该平台能实现异地机动车排气检测监控网络的互连互通，与公安交通部门的进行数据共享交换管理;能够对机动车环保监督管理、机动车检测站数据管理、以及机动车检测人员、资料的监督管理等，达到机动车环保检测的全程监管。该平台的研发应用能改变传统的机动车排气检测信息上报和管理模式，降低了海量数据管理的工作强度和繁琐程度，提高了环保部门的管理工作效率和机动车排气检测工作的管理成效。

参考文献

[1]赵彬，徐晓洁.我国机动车尾气检测存在问题与建议[J].中国新技术新产品，2019（03）.

[2]武守彦.基于大数据的机动车环污检测系统的研究与应用[J].装备制造技术，2021（02）.

[3]张剑，黄旭哲.基于大数据的机动车环境污染检测系统的研究与应用[J].机械管理开发，2020，35（12）.

项目：石家庄市科学技术研究与发展计划项目（项目编号：201130411A）

作者简介：陈光（1983-2），男，工程师，本科，学士，研究方向：软件开发