车联网路侧感知系统发展现状及测试方法研究

2021-12-14 08:38鲍叙言余冰雁王晶
移动通信 2021年6期
关键词:真值激光雷达摄像头

鲍叙言,余冰雁,王晶

(中国信息通信研究院技术与标准所,北京 100191)

0 引言

2018年12月,工业和信息化部印发了《车联网(智能网联汽车)产业发展行动计划》,计划明确以网络通信技术、电子信息技术和汽车制造技术融合发展为主线,充分发挥我国网络通信产业的技术优势、电子信息产业的市场优势和汽车产业的规模优势,形成深度融合、创新活跃、安全可信、竞争力强的车联网产业新生态[1]。从国家对车联网产业的顶层设计层面看,车路协同已成为我国实现高等级自动驾驶、支撑构建智慧交通的技术主线,是实现“弯道超车”、弥补在单车自动驾驶领域与欧美等国技术差距的核心举措。从技术和产业的发展来看,智能化网联化技术融合的发展路线,正在得到更多国家和地区的认可,多个国家和地区正在结合C-V2X网联通信技术,通过搭建智能化、协同化的路侧基础设施规划自动驾驶,乃至智慧交通的发展路线图。

1 车联网路侧感知系统技术发展现状

当前,车联网路侧基础设施的建设主要以构建路侧感知系统为主,即利用摄像头、毫米波雷达、激光雷达等传感器,依托路侧边缘计算形成结构化的感知数据,并通过路侧单元(RSU)、5G网络等通信媒介,实现对交通参与者、路况等信息的实时共享播报[2],一方面能够为自动驾驶车辆提供超视距感知、盲区预警、驾驶意图等感知信息,弥补单车感知局限,一方面能够实现交通环境数据的全量汇聚,支撑构建精细化、实时性的交通监测系统。近年来,欧美日等从政府、科研机构、企业等各层面均开展了面向路侧感知系统的研究、建设及部署工作,国内主要依托四大国家级车联网先导区,先试先行通过部署规模化的路侧基础设施,支撑车路协同应用示范验证。

(1)路侧感知系统主流技术路线

车路云一体化的架构已在业界形成共识,路侧感知系统在车路协同技术体系中具有承上启下的关键作用。区分路侧感知系统技术路线选择的核心要素是传感器组和融合算法的选择。从传感器组的选择层面,目前主流的配置组合包括纯摄像头、摄像头与毫米波雷达融合、摄像头与激光雷达、毫米波雷达全融合三种形式[3],从采集信息的种类、工作场景、定位精度、成本等角度看,不同配置各具优劣势,纯摄像头能够获得丰富的纹理信息和语义信息,对识别车道线和交通标志有明显优势,但受环境光影响较大;摄像头与毫米波雷达融合的方案相对成熟且性价比较高,能够满足传统交通事件及交通流检测的需求,具有精准捕获目标速度、全天候、长距离探测等优势,但难以满足环境精细化感知的需求,也存在有效回波的不确定引入的误检漏检、定位精度难以达到厘米级等问题。相比而言,全融合的配置方案能够充分发挥三类传感器的优势,提高环境精细化感知水平,但也伴随着高额的部署建设成本。

从融合算法的种类看,当前主流的路侧感知算法以融合实施阶段可分为原始数据融合、特征级融合以及目标级融合三种主要类别[4],业内目前最普遍、适用范围最广的是目标级融合,各传感器回传的原始数据独立处理,生成结构化数据后进行融合,该方案实现难度低、易于敏捷部署,缺点是原始数据的精度会在独立处理的环节丢失精度,导致融合感知精度有一定程度降低。另有部分厂家选择特征级融合的技术路线,对来自不同传感器的原始信息进行特征提取,然后对特征信息进行综合分析和处理,一般采用激光雷达与摄像头融合,在降低实现难度的同时,能够进一步丰富语义信息,一定程度保证融合感知精度。

(2)路侧感知系统建设部署现状

从国外的路侧系统建设部署情况看,美国的底特律安娜堡网联式自动驾驶项目[5],在美国主推单车自动驾驶的背景下,首次提出CAV走廊基础设施技术堆栈,跨域点式解决方案,以物理基础设施、数字基础设施、协调性基础设施和运营基础设施构成CAV走廊的技术解决方案,通过构建路侧感知系统赋能车端感知瓶颈,加速车路协同进程。欧洲于2019年3月,ERTRAC更新发布了“Connected Automated Driving Roadmap”[6],此版本纳入了网联化及道路基础设施相关内容,通过构建路侧的感知计算一体化系统,提升网联自动驾驶在ERTRAC交通系统长期愿景中的作用。总体来说,欧美日等国已逐渐将路侧基础设施体系逐渐纳入到自动驾驶、协同智能交通的技术体系中来。与此同时,我国车联网产业发展正从测试验证转向多场景示范应用新阶段,坚定单车智能和网联赋能并行发展的战略路径。从路侧基础设施的产业化进程看,各地车联网先导区的建设推进是带动路侧感知系统规模化部署的重要推力[7]。以工信部批复的国家级车联网先导区为引领,各地正逐步形成地方产业特征强、建设与场景结合度高、参与主体多样化的路侧基础设施建设格局,例如,江苏(无锡)在交通设施的升级改造方面,改造了240路口的道路交通信号控制机,部署视频交通检测器;长沙市完成了约100 km智慧高速、100 km2范围内城市开放道路的智能化改造建设,建设包括路侧通信、传感、计算等信息化基础设施等,通过构建完备的路侧感知系统,支撑各类车联网应用落地实现。

总体来说,我国在路侧基础设施规模化部署的进程上处于引领地位,但从各先导区的建设情况来看,路侧感知系统的技术演进和规模化部署仍有一些痛点问题尚未解决。一是当前市场上路侧感知系统构成形态多样,缺乏标准化、可量化、系统性的整体评测方案;二是路侧基础设施投资巨大,各地先导区投资方、高速公路业主,对路侧感知系统的建前选型及质量把控诉求强烈。因此,本文将基于当前主流的路侧感知系统解决方案,提炼车联网路侧感知系统的参考架构,并设计相应的系统性测试方案,进一步推动车路协同技术迭代和车联网产业发展。

2 车联网路侧感知系统的参考架构

当前,路侧感知系统的产品形态差异较大,主要体现在以下几个方面:一是传感设备差异,目前路侧主要使用的传感设备有激光雷达、毫米波雷达和摄像头等三个大类。每个大类下又包括细分小类,如激光雷达包括机械式、固态;毫米波雷达有24/77 GHz;摄像头包括单目、双目、红外等。二是设备组合差异,根据应用场景和需求不同(如城市交叉口、高速公路等),建设方会选择不同的设备组合,如毫米波雷达+摄像头,激光雷达+摄像头,激光雷达+毫米波雷达+摄像头等,同样的设备组合又会有分体式、一体式等不同的部署方式。三是感知算法差异,感知算法作为非通用件,各厂家采用自有算法进行特征提取和数据融合。四是安装方式差异,主要体现在安装高度,设备相对位置,设备绝对位置选择等方面。但从功能构成和各设备的逻辑连接层面看,路侧感知系统的整体参考架构[8]在产业界基本达成共识。

路侧感知系统(RSS,Roadside Sensing System)的基本构成是路侧感知设备及路侧计算单元,如图1所示,路侧感知设备包括但不限于摄像头、激光雷达、毫米波雷达等设备,可实时采集当前所覆盖交通环境的图像、视频、点云等原始感知数据,路侧计算单元包括不限于边缘计算服务器、工控机等计算设备,通过对路侧感知设备采集的原始感知数据实时融合计算,实现对交通环境中交通参与者状态信息、道路状况信息、交通事件等全量信息的获取,进而通过路侧单元RSU、中心子系统向局部/全域交通参与者下发感知消息。应用层的感知消息格式已由标准规范定义[9],融合感知结果将用于实现车路协同的安全预警类、效率通行类等场景,该类场景对数据的准确度及精度要求较高,然后实验室环境下的设备级检测结果,只能反映构成RSS各部件的感知及计算能力,不能反映在真实工况条件下RSS的整体感知性能,因此本文将探索基于客观真值的路侧感知系统测试方法,为量化RSS的系统整体感知性能提供参考依据。

图1 路侧感知系统参考架构

3 路侧感知系统测试方法探究

目前已有针对车端的真值系统(RS,Reference System)产品,如亮道智能量产研发的LDCompass感知测评真值系统,速腾聚创自主研发的RS-Reference全栈式测评系统,应用于车端零部件的设计研发和测试验证。这为构建路侧的静态真值系统提供了可行性,相比车端RS的设计研发,路侧的RS搭建由于部署位置相对固定,真值采集环境变化相对稳定,其实现难度及成本都远低于车端。因此,本文将提出路侧RS的基本架构组成,通过与待测RSS同步部署,实现对真实复杂交通环境的精细化数据采集,进而通过离线后处理生成客观真值数据,最后可利用真值数据实现对待测RSS感知性能的测试评价。

如图2所示,路侧真值系统包含由高性能传感器构成的感知设备组以及满足大数据处理需求的离线真值系统服务器,感知设备组包括不限于高线束激光雷达、高清摄像头、以及毫米波雷达;离线真值系统服务器具备PB级数据的专业化存储、处理、分析能力,承载数据采集模块、智能处理模块、真值存储模块、RSS测评模块四个功能模块,数据采集模块主要实现对图像、视频、点云等数据的融合汇聚,智能处理模块主要完成原始数据关联、自动化标注等环节,生成长时间序列的环境真值,并通过真值存储模块实现PB级数据的存储落盘和冗余备份,RSS测评模块通过设定的测评维度和指标体系输出统计分析结果。

图2 路侧真值系统架构

路侧RS的高性能感知设备组可复用待测RSS部署的信号灯横臂、高速路门架、路侧灯杆等资源,鉴于客观真值可离线处理,高性能服务器可根据实际情况弹性部署于路侧、中心机房等位置,通过有线/无线网络实现感知设备组到服务器的数据回传。测试流程如图3所示,主要分为路端原始感知数据采集和服务器端离线处理两个部分,路端原始数据采集主要涉及传感器的融合标定、待测区域ROI选择、以及时间同步等环节,服务器端处理主要涉及几个方面的内容:一是数据清洗,确保数据一致性,完成激光雷达点云、毫米波雷达点云、图像、视频等数据的时间空间对齐;二是自动化标注——以高线束激光雷达返回的点云数据为基础,基于机器学习、深度学习等算法,完成交通参与者目标类型的识别与检测,以及多目标的离线轨迹跟踪。融合摄像头采集数据,对目标类型进行二次修正,融合毫米波雷达数据,对目标轨迹数据(包括速度、加速度、位置等数据)进行二次修正。将自动化标注的数据输入至修正模块(允许人工标注介入修正),完成各类感知数据标注;三是基于已标注数据生成静态和动态真值,包括不限于交通参与者目标类型、位置、速度、加速度、轨迹等真值,完成真值存储及RS建立;四是提取测试时间区间内真值,完成与待测RSS输出结构化感知数据的时间空间对齐,设定评测维度,输出感知性能的统计评测结果。

图3 基于RS的路侧感知系统测试方法

为进一步验证本文所提路侧真值系统对实际交通目标的检测性能,依托2021车联网路侧系统标准化先导评测活动,项目组搭建了基于高线束激光雷达与摄像头组成的路侧真值系统,从真实工况下的城市交叉口提取了交通流密度大、交通目标种类多的4组原始感知数据(如表1所示),以人工标注的方式获取绝对真值,基于误检率、漏检率、类别错误率等指标,与路侧真值系统离线输出的结果进行比对,考虑遮挡和不考虑遮挡情况下,真值系统的检测误差统计结果如表2和表3所示。

表1 城市道路十字路口的雷达点云数据

表2 考虑遮挡时类别检测统计结果

表3 不考虑遮挡时类别检测统计结果

本次路侧真值系统的自动化标注有以下几个原则:标注漏检、误检以及分类错误三种错误类型;数据标注只针对场景中的行人、骑行者、小车以及大车四种类别的目标障碍物。行人挨得太近导致的欠分割不标记为漏检,大车偶尔的过分割不标记为误检;对目标的类别判断根据人眼跟踪识别,算法跟踪断开导致远场目标分类错误一致标记为分类错误;目标障碍物无点云被框住即视为漏检,框里点云皆为背景点云视为误检。从评测结果看,路侧真值系统离线标注的真值与绝对真值的误差在5%左右,可用于对现有路侧感知系统产品的自动化评测,在考虑有遮挡漏检的情况下,雷达传感器无法有效获取“点云”数据,自动化标注一定程度会增加漏检率。

4 结束语

目前,中国通信标准化协会(CCSA)TC10车联网子组、全国智能运输系统标准化技术委员会已经完成了面向路侧感知系统的测试方法相关标准立项工作,但基于真值系统构建量化评测体系仍面临一些困难和挑战。一方面,真值系统本身也属于路侧感知系统,其生成的真值客观性、准确性仍然难以保证,构成真值系统的部件组成未来难以计量。另一方面,无论是路侧真值系统还是动态真值车的方案,其真值的种类和范围都难以完全覆盖路侧感知系统的全部能力,当前更多是面向交通参与者的感知能力评测,交通流、交通事件等方面的感知性能如何评估仍是未知数。本文提出的测试方案力求为路侧系统性能的量化评估提供依据,进一步解决单车自动驾驶系统如何对路侧消息采信、车端和路端数据究竟如何交互关联等问题,推动路侧感知系统向路侧协同决策及控制系统演进,争取早日实现真正意义上的车路协同和完全自动驾驶。

猜你喜欢
真值激光雷达摄像头
手持激光雷达应用解决方案
浙江首试公路非现场执法新型摄像头
摄像头连接器可提供360°视角图像
法雷奥第二代SCALA?激光雷达
基于激光雷达通信的地面特征识别技术
基于太赫兹技术的新一代摄像头及其在安防领域的应用探讨
基于激光雷达的多旋翼无人机室内定位与避障研究
10kV组合互感器误差偏真值原因分析
真值限定的语言真值直觉模糊推理
基于真值发现的冲突数据源质量评价算法