智能网联汽车协同感知信任度动态计算与评价方法*

2023-08-25 01:01姜泓屹韩嘉懿刘彦辰
汽车工程 2023年8期
关键词:主车信任度信任

朱 冰,姜泓屹,赵 健,韩嘉懿,刘彦辰

(吉林大学,汽车仿真与控制国家重点实验室,长春 130022)

前言

受限于传感器的感知范围,传统的单车感知已难以满足智能网联汽车在复杂交通场景的感知需求[1]。通过同一区域内多个智能网联汽车的传感器感知信息共享进行协同感知已成为发展趋势[2]。但是智能网联汽车的通信网络具有开放性、动态性和分布式等特点,且可能存在恶意攻击和不真实信息等干扰[3],因此协同感知过程中车辆间共享信息的真实性与可信度[4]是亟待解决的问题。

现有的智能网联汽车协同感知方法中,Kim等[5]分别使用传感器的原始数据、特征数据和检测结果进行实验,并验证了不同感知融合策略下多车协同感知的可行性。Xiao 等[6]通过深度学习方法,从视觉检测信息中提取关键特征信息,并以图形和语义为对齐坐标,融合多车的共享信息,得到全局环境的感知鸟瞰图。Arnold 等[7]提出一种基于早期和晚期融合的三维检测目标协同感知系统,通过深度神经网络模型将来自不同车辆的激光雷达点云信息融合。Miller 等[8]提出一种结合道路几何信息的卡尔曼滤波方法,将来自不同车辆传感器的感知检测结果融合,实现低精度传感器的高保真协同感知效果。但现有的协同感知方法默认车辆间协同信息完全真实可靠,而未考虑协同网络中出现的不真实信息或车辆恶意攻击对协同方法造成的负面影响[9]。为解决协同感知过程中的信息真实性与有效性问题,可将信任管理模型引入协同感知的融合过程中[10],以构建协同车辆间的信任关系。

现有的车联网信任管理模型中,樊娜等[11]通过不确定性理论建立车辆节点行为可信度决策机制,采用C-means 算法对车辆行为的符合度进行评估。Rosenstatter 等[12]提出的信任系统通过信任指数(TI)表征车辆对环境、自车和周围车辆的信任水平,实现车辆对于交通参与者的有效感知,但模型中TI 表征并未体现出道路状况或检测等信息的具体认知。Liu等[13]提出一种信任级联的紧急消息分发模型,将面向车辆的信任度有效地融入到面向数据信息的信任评估中,对攻击与恶意行为具有较好的鲁棒性,但模型会将低于信任值阈值的车辆数据消息全部舍弃。Alnasser 等[14]基于自适应权重过滤的推荐信任模型,并测试不同恶意车辆比例下的模型表现,但模型无法应对高信任车辆的突发恶意行为。

协同感知方法中大多未考虑协同车辆插入或瞒报检测信息等恶意攻击行为带来的负面影响,因此引入信任管理模型解决上述问题。但现有的信任管理模型并未从协同感知过程中数据信息的角度解释对协同感知过程的可信性,且信任管理模型中信任值的更新过程依赖于协同车辆间的历史信任值与数据信息,未能满足协同感知所需的动态性需求及对协同车辆突发恶意行为的实时响应。

本文中根据车辆三维感知网络的检测结果建立面向多车协同感知的信任管理评价模型,通过车辆间共享数据的匹配评估、遮挡判别、有效性识别与信任度计算,动态筛选出协同网络中的异常车辆与恶意攻击信息,提升协同感知过程中车辆广播信息的真实性与可信性。

1 智能网联汽车的检测信任度计算与评价方法架构

图1 为文中提出方法的基本架构,包括车辆的三维感知检测模块、检测对象匹配评估与遮挡判别模块、检测对象的有效性识别与协同信任度计算模块3 部分。文中提出的架构运行于各智能网联汽车中,协同网络中车辆通过车载通信单元(on board unit,OBU)实现各功能模块数据信息的广播与接收。协同网络中的智能网联汽车具有两种相互转化的身份:主车和交通车,当智能网联汽车以主车身份运行方法架构时,将自车外的其他智能网联汽车看作交通车。

图1 检测信任度计算与动态评价方法架构

(1)主车vi的三维感知检测模块利用车载相机与激光雷达传感器分别采集主车感知范围内的二维图像与深度点云信息,并通过三维检测模型得到标号从1~N的检测结果,并将同一检测时刻下的检测对象集合Dlocal={,,…}以DvI形式通过OBU广播给其他交通车,实现检测结果的信息交互。

(2)主车的检测对象匹配评估与遮挡判别模块通过OBU 接收其他交通车广播的检测对象集合Dv1,Dv2,…,DvI,获得全局下的检测对象信息;同时主车利用坐标系转换对自车检测对象与其他交通车检测对象进行匹配评估,得到检测对象的可信度;并利用自车激光雷达的深度点云数据计算全局下各检测对象的可见性值,进一步评价检测结果的可信度;随后为识别协同信息中的恶意攻击信息,引入面向检测对象的遮挡状态判别算法,主车利用其他交通车与接收到的所有检测对象的位姿信息,计算交通车与各检测对象之间遮挡状态关系,以判断某交通车可见或不可见状态的检测对象是否出现在其检测对象集合中。最终主车将上述的计算信息检测可信度、可见性值和遮挡状态打包为主车对检测对象的评价集合Mvi,通过OBU广播给其他交通车。

(3)主车的检测对象有效性识别与协同信任度计算模块通过OBU接收其他交通车的评价集合Mvi,各集合包含各主车对于全局下检测对象和其他交通车的信任评价信息。借鉴社会学的信任管理模型[15],为得到某车辆对检测对象的检测有效性,引入检测有效性算法,通过联合多个车辆对同一的遮挡状态判别结果(),判断该检测对象是否为车辆vj所广播的恶意攻击信息;利用上述信息并通过可信度方法(C-F方法)计算得到检测对象的检测信任度分数,同时根据车辆的检测集合DvI计算车辆信任度分数CTcar(vj);最终利用动态聚合方法得到协同感知下各检测对象的全局信任度分数。

文中提出的面向协同感知的信任管理方法,通过车辆OBU 广播与接收其他交通车的检测、评估和判别信息来实现对协同感知过程中异常信息的检测,并通过不确定性推理与聚合方法得到车辆及其检测对象的信任度分数,实现对异常车辆恶意攻击信息的动态响应与筛选,同时避免如传统信任管理模型中对恶意车辆有效信息的不合理舍弃,增强了协同感知车辆对检测结果的识别能力以及车辆协同感知过程的鲁棒性。

2 基于车辆感知检测的检测对象匹配评估与遮挡判别

2.1 车辆感知检测网络的信息协同

主车利用自车搭载的相机与激光雷达传感器,于三维检测模型中输出车辆自身视角下感知障碍物β的相关状态信息,包含:检测对象的类型type(车辆、行人、非机动车驾驶人)、相对于车辆坐标系下的位置信息(xi,yi,zi)、检测对象的三维边界框信息(li,hi,wi)、感知检测网络的置信度分数Svi()。将上述状态信息组成检测对象(n=1,2,3,…,N),并将同一感知时刻下的所有检测对象信息列入车辆的本地检测列表Dlocal={,,…}中。

随后,为实现协同感知的检测信息交互,主车通过OBU 将同一时刻的检测对象集合Dlocal和主车GNSS 信息向周围协同车辆广播,并同时通过OBU实时接受来自周边其他智能网联汽车的协同信息,以获得道路全局下其他协同车辆发送的带有GNSS信息的车辆检测对象集合Dv1,Dv2,…,Dvj。其中,检测对象集合Dvj={,,…,}(vj代表与vi不同的其他主车,j=1,2,3,…,i,j≠i),而代表为编号vj车的第n个检测对象的状态信息。

2.2 相似度匹配评估与信任度赋值

为实现车辆间检测对象的相似性关联,主车vi将接收到的检测集合Dv1,Dv2,…,Dvj与本地检测列表Dlocal中的检测对象依次进行相似度匹配评估。首先,主车根据检测对象的位置信息进行坐标系转换[16],得到检测对象在主车笛卡尔坐标系下的位姿信息,再将具有相同时间戳的感知检测信息进行位姿与尺寸信息的匹配,计算两个检测对象与之间包围盒(bounding box)的三维交并比(Intersection over Union,IoU)数值,如图2所示。

图2 IoU计算示意图

如果两组检测信息包围盒的三维IoU 值超过设定的阈值κ,则认为主车vi的检测对象与交通车vj的检测对象具有位姿信息的相似性:

式中阈值κ在二维情况下一般取值为0.5[17-18],扩展到三维检测场景下取κ=(0.5)2=0.25。检测可信度Evi()介于[0,1]之间,如果两组检测信息包围盒的三维IoU 值超过设定的阈值κ,则与被认定为同一检测对象,将交通车vj的感知检测分数Svj()赋值至主车的Evi()中;其他情况则赋值为0,认定检测对象间未实现匹配。通过主车与交通车间的检测相似度评估与信任度赋值表达了交通车的车辆信任度与其数据信息间的直接联系,体现主车对交通车信任评价的合理性。

2.3 检测对象的可见性评估

在复杂的交通场景下,部分交通车的检测对象在主车相机视角中处于遮挡或非可视等状态,因此会被赋予较低乃至0 值的检测可信度,所以主车无法通过相似度匹配评估对上述状态的检测对象赋予合理的检测可信度。为解决上述问题,利用主车激光雷达的深度点云信息对检测对象进一步展开可见性评估。

主车对其他交通车检测对象的可见性提出以下定义。

(1)P():表示为主车vi的激光雷达点云中,落在检测对象三维边界区域中的激光雷达点云数。

依照激光雷达传感器的工作原理,若从物体反射传回的激光雷达点数越多,则检测对象的可见性越高,因此可以避免因主车相机传感器感知范围限制而产生的检测可信度不合理赋值现象。按照PASCAL 标准中对于被遮挡的三维目标的检测性能等级划分,将被遮挡比值大于50%的遮挡状态称为严重遮挡,此时检测对象的相机检测可靠性已较低,而检测对象反射的激光雷达点云数量比值与其被遮挡状态呈线性关系[19],因此在式(2)中将12local作为点云数比值作为对于检测对象的可见性判定基准。如果检测对象的包围盒区域在主车的激光雷达点云中有超过12local的点云数,则判定可见性为1;如果检测对象被大范围遮挡,则其可见性介于[0,1]之间;如果被完全遮挡,致其三维边界区域中没有反射回来的激光雷达点,则判定可见性为0,即主车无法确定其他交通车检测对象的检测有效性与真实性。

通过对检测对象可见性值的评价过程,进一步增强了仅依靠评价分数Evi()对检测对象进行信任度评估的合理性,避免交通车的检测对象因被严重遮挡或超出主车感知范围而被主车判定为虚假检测或恶意攻击。

2.4 车辆与检测对象间遮挡状态判别

主车基于视锥体模型[20]和各交通车与检测对象集合Dv1,Dv2,…,Dvj中各检测对象间位姿信息的坐标关系,判断协同区域下各检测对象在交通车传感器视场角(field of view,FOV)中的遮挡状态:可见、截断、被遮挡(包括传感器感知范围外)。

其中视角遮挡关系示意图如图3所示。

图3 视角遮挡关系示意图

由图3 可见,在车辆vi的车辆坐标系下:检测对象vj与v1 为可见状态;检测对象v2 为截断状态;检测对象p1和p2为被遮挡状态。其中,遮挡判别算法的具体流程如图4所示。

图4 遮挡判别算法流程图

协同感知下各车辆三维感知模型的检测结果,在主车的坐标系下具有固定的位姿与遮挡状态关系,因而主车得到各交通车FOV 下遮挡状态为可视的检测对象,并可知其是否与交通车的检测集合相符合。为进一步获得不同主车的评估信息,主车将上述关于其他交通车及其检测信息的相关评价结果:评价分数、可见性值和遮挡状态,组成评价集合,通过OBU 再次广播给协同网络内的其他交通车,并同时接收其他交通车的评价集合Mvj。

3 检测对象有效性识别与协同信任度计算

协同网络中的恶意攻击车辆通过在正常的广播信息中插入虚假检测信息或瞒报检测信息以干扰正常的协同感知过程。因此须联合多个评价集合中检测对象的有效性来对车辆实体的信任度进行评价,并进而从检测信息中甄别出虚假信息。

3.1 检测对象有效性识别策略

当交通车vq的检测对象βvqn相对交通车vj(q=1,2,3,…,j,q≠j)遮挡状态为可见,但并未出现在交通车vj的检测集合Dvj中时,则一方交通车的检测集合中存在虚假信息。因此为正确判别协同车辆是否广播了虚假信息,引入如表1 所示的检测有效性识别算法。

表1 检测有效性识别算法

主车依次对集合V={v1,v2,…,vi}中每辆汽车的检测对象进行检测合理性判别:如果车辆vj对检测对象的遮挡状态Ovi() ≠0,且该检测对象并未出现在车辆vj的检测列表Dvj中,则赋值Ω[i][j,n]为-1,为非正常检测状态;其他情况则赋值为1,为正常检测状态。在全部遍历完成后,对同一检测对象的不同车辆检测状态Ω[i][j,n]进行累计,得到累计检测状态State[j,n]:若车辆vj的Ω[i][j,n]⋅State[j,n]≥0,则证明车辆vj的βvjn为有效检测对象,且检测有效性因子Eva[i][j,n]=1;其他情况则判别为无效检测对象,Eva[i][j,n]=0。

主车通过对各车检测对象的检测状态的累计判断,识别出车辆检测中有效播报、恶意插入和漏报的检测对象。当协同感知中存在多个恶意车辆广播虚假信息的行为,通过检测对象信息的遮挡判别和有效性识别算法,仍可准确识别出恶意车辆及各虚假信息。

3.2 基于C-F方法的检测评价分数计算

主车vi对交通车vj检测集合Dvj={,,…}中的检测对象依次进行检测评价分数的计算。通过联合多车协同信息,将车辆共享的检测对象评价信息动态聚合[21],通过该方法可实现3 个目标:(1)避免车辆对被遮挡和超视距等处于无法被感知状态的检测对象赋予不信任的评价分数;(2)通过智能网联汽车的协同感知融合,对恶意车辆广播的虚假检测赋予较低的评价分数;(3)通过评价有效性筛选车辆的检测信息,保证协同感知模型在多恶意车辆及信任车辆突发恶意攻击场景下的功能鲁棒性。

文中采用基于不确定性推理的可信度方法(CF 方法)进行信任度的直接推理与计算,该方法基于概率学推理模型,结合已知的先验条件,从不确定性初始证据出发,评估结论的可信程度。在C-F 方法中,通过知识、证据与结论表达所解决的问题,利用产生式规则来计算结论的不确定性,实现对不确定性问题的概率表达。

其中,关于知识的产生式规则表现形式为:IFETHENH(CF(H,E))。E为问题的先验条件,H为问题的结论,CF(H,E)为该先验条件下结论的可信程度,CF(H,E) ∈[0,1],其取值越大则越支持问题为真。在本文研究中,将C-F 方法进一步引申。针对主车视角下检测对象信任度的计算问题,从不确定的初始证据出发,推理得到结论及其可信度值,计算公式为

式中CF(Hvi,Evi)赋值为主车对检测对象的检测可信度Evi(),作为信任度计算问题的先验条件。

最终,主车对检测对象的信任度问题计算公式为

协同网络中对检测对象可见的交通车均可针对信任度问题得到一个确定性概率结论CF(Hvi),从不同检测角度支撑检测对象的信任度计算结果。为进一步降低结论中不确定性的负面影响,进行动态聚合计算,得到协同网络下各车辆vi∈V对检测对象的检测评价分数:

检测评价分数是联合各协同车辆对车辆vj检测对象的集体信任评价结果,通过协同感知中协同车辆间检测对象统一的信息关系,实现了信任模型中对于检测对象的共同信任评估。

3.3 协同下车辆信任度计算

3.4 检测的全局协同信任评价分数计算

此阶段,主车已经完成对其他协同车辆检测对象的信任度评价,并得到对应的协同信任评价分数和车辆信任度。在主车的检测和匹配模型中,汇总了不同视角的车辆检测评价分数。依据检测对象的检测可信度、检测可见性和不同车辆视角的车辆信任评价分数,聚合得到全局评价下检测对象的全局协同信任(cooperative trust)评价分数Sglobal():

通过协同车辆间信任评估的动态聚合方法提升了车辆对可视、截断和遮挡等状态的检测信任度,保证了协同感知的感知可靠性。

4 仿真实验

为测试验证并进一步说明本文提出的智能网联汽车检测信任度计算与动态评价方法,设计了含有多元素交通参与者的双向会车场景,通过Prescan 与Simulink 软件联合仿真,完成了对模型方法有效性的验证。文中仿真车辆与真实车辆运行相同的检测网络和信任度评价模型,且利用Prescan 仿真软件中的V2X 插件,可实现仿真车辆OBU 间的广播信息传输过程,实现对实车验证场景的整体复现。

4.1 智能网联汽车3D检测网络

采用现有的3D 检测网络[22],感知检测算法通过对多模态特征的融合,能够在交通场景中准确识别检测多种交通参与者。首先在Ubuntu16.04 系统中配置检测网络所需的系统环境,利用KITTI 数据集验证算法的检测识别精度,3 种类别检测对象的检测精度与召回率曲线结果如图5所示。

图5 精度-召回率曲线

随后在Prescan 仿真软件中搭建场景并采集符合KITTI格式的交通场景数据集,按照1∶1的比例将数据集分为训练集与验证集。经过模型训练与测试,各类3D 检测目标的检测识别精度均能达到仿真验证要求。

4.2 仿真场景搭建

在仿真软件中搭建双向四车道的会车场景,如图6 所示。场景中,车辆依次标记为v1,货车标记为t,货车前方车辆标记为v2,对向车辆标记为v3和v4;其中在车辆v2 的前方插入一个恶意检测,标记为m1;在车辆v3 的前方插入一个恶意检测,标记为m2;路边的自行车行人标记为p。

图6 仿真场景俯视图

仿真运行时间设置为10 s,车辆以10 m/s 的速度行驶。车辆v2 从仿真开始第3~7 s 时在其检测集合中插入异常检测m1,车辆v3 从第5 s 在其检测集合中插入异常检测m2至仿真结束,异常检测m1和m2通过两车的OBU 广播给全局车辆进行恶意干扰。

如图7 所示,仿真中存在车辆感知检测对象被截断、被遮挡下的超视距感知、多车异常广播等复杂交通场景。通过设置车辆v2 与v3 在不同仿真时段插入异常检测以验证遮挡判别模型和有效性识别算法的性能。因此,该仿真场景及流程可验证文中所提模型方法的可行性和有效性。

图7 仿真场景下车辆v1、v2、v3和v4的相机视角

4.3 仿真结果分析

为验证本文提出的协同信任度评价方法,从车辆信任度变化曲线、截断状态检测对象的识别和被遮挡检测对象的识别3 个角度对模型方法的有效性进行说明。

从车辆v1 获得的其他车辆广播消息,可计算得到v1 视角下场景中所有车辆的车辆信任度CTcar(vj)变化趋势,如图8所示。可以明显看到,v2与v3两车因在检测队列中插入异常检测而致使其在全局下的车辆信任度降低,其中车辆v2从第7 s开始恢复正常广播,得益于动态聚合方法的高时间灵敏度响应特性,v2 的车辆信任度迅速恢复至正常广播状态下的信任度值。因此,本文方法在面对高信任度车辆的恶意攻击能够快速响应,准确甄别协同感知中的异常车辆,并在其恢复正常广播状态后,回调该车辆在协同网络中的车辆信任度。

图8 协同感知下各车辆全局信任值

图9展示了通过本文方法提升车辆v1对其自车感知视角下截断状态的检测对象v2 的感知评价分数。因被检测对象v2 在车辆视角v1 下的部分图像特征被货车t遮挡,车辆v1 的检测网络中对v2 的检测评价分数会处于较低状态,而其他交通车在仿真初始时刻距离较远,因而检测网络中的评价分数较低。相较于传统信任管理模型中舍弃恶意车辆节点所有广播信息的加权平均方法[23],本文中提出的动态聚合方法显著提升了车辆v1 对于被遮挡检测v2的感知评价分数,且面对车辆v3 的恶意攻击行为,并未对检测曲线产生显著的波动影响,增强了协同感知车辆对检测结果的识别能力以及车辆协同感知过程的鲁棒性。

图9 协同感知下对截断检测的信任度

为进一步说明本文方法在面对异常车辆的恶意攻击行为时的鲁棒性,对比传统信任管理方法绘制车辆v1 视角下被遮挡检测p的评价分数变化曲线。在车辆v1 视角下,检测对象p全仿真过程处于被遮挡状态,无法获得其检测信息。车辆v2、v3 和v4 分别从双向车道由远及近接近检测对象p,对检测的感知信任度随距离接近而上升,如图10中虚线所示。

图10 车辆v1视角下被遮挡检测p的Sglobal(p)变化

而车辆v2 与v3 被检测出插入恶意攻击,按照传统的信任管理模型方法,车辆在检测到异常车辆的恶意攻击信息后,选择直接舍弃异常车辆的全部广播信息。如图10 所示,在第3 s 之后,车辆v2 插入恶意攻击,其后第5 s 之后车辆v3 插入恶意攻击,传统方法下车辆v1 对被遮挡检测对象p的信任度只能依赖于全程保持正常广播状态的受信车辆v4 的检测评价分数。而本文提出的方法通过有效性识别筛选异常车辆中的可信任信息,判别车辆v2 与v3 在检测对象p的广播信息中是否插入恶意攻击,以获得协同车辆在可信状态下的检测评价分数,获得优于传统信任管理方法的感知性能。

5 结论

针对智能网联汽车协同感知过程中面临的检测信息真实性与协同车辆可信度问题,结合车辆协同网络中共享的检测结果信息,提出了一种基于遮挡状态判别与检测有效性识别策略的智能网联汽车信任度动态评价方法。首先利用协同车辆间广播的检测结果进行匹配评估与遮挡状态判别,获得车辆与检测对象间的遮挡状态评价信息;随后引入检测对象的有效性识别与基于C-F 方法的聚合评价策略,提出了面向协同车辆及其检测结果的信任度管理评价模型;最后,通过在协同感知仿真场景中引入传统信任管理方法与本文提出方法进行实验对比,验证了本文方法可以准确识别协同感知模型中的异常车辆与恶意攻击行为,提升了协同感知车辆对检测结果的识别信任度,实现了信任管理模型面对高信任车辆突发恶意攻击的实时动态响应,增强了智能网联汽车协同感知过程的鲁棒性。

猜你喜欢
主车信任度信任
基于三次B样条曲线拟合的主车轨迹预测算法的研究
基于三次B样条曲线拟合的主车轨迹预测算法的研究
欧曼牵引车制动系统异常的故障处理
全球民调:中国民众对政府信任度最高
主车与挂车分别设立第三者责任保险的赔偿额如何确定
嘤嘤嘤,人与人的信任在哪里……
基于信任度评估的移动自组织网络路由协议
信任
2014,如何获得信任