基于数字孪生的自动驾驶交通场景构建研究

梁恩云，高琛，叶少槟，赖粤

（广东工业大学自动化学院，广州 510006）

0 引言

进入21世纪以来，AI、通信技术的快速发展与传统汽车工业的深度融合，智能化的汽车成为了现代工业时代最有前景的应用。近10年来，国内外各个汽车厂商和众多研究机构都在该新兴领域作出了巨大的投入和研究，力求自动驾驶汽车能够早日投入商用。然而，Tesla公司和Uber公司在自动驾驶汽车研发的过程中发生的重大事故让整个技术行业陷入了沉思，反映出技术层面存在一定的问题。

在国外，2016年美国汽车工程学会对自动驾驶的定义［1］和自主程度进行了分级规划，以Level 0～5级分别对应无自动驾驶、驾驶辅助、部分自动化驾驶、有条件化自动驾驶以及完全化自动驾驶［2］，并且做出了可靠的评估。认为目前自动驾驶技术处于2级到3级之间的安全阶段，其存在的不足是测试方面安全性低，测试效率低且测试标准在各个地区不统一。从美国国家公路交通安全管理局（NHTSA）的研究数据来看［3］，一辆汽车大约要在人为驾驶43.6万英里（70万公里）才会遇到一起事故，而且大约人为驾驶1亿英里（1.6亿公里）导致1人死亡。在我国，习近平总书记［4］提出了要围绕人工智能、基因编辑、医疗诊断、无人驾驶和自动驾驶领域加强开发，尤其要加强自动化安全性方面的建设，多实际道路安全测试等。然而，考虑到安全问题，目前自动驾驶算法90%在仿真平台上完成，9%在封闭测试场完成，仅有1%通过实际道路测试完成［4］。自动驾驶仿真测试是自动驾驶技术的重要一环，结合数字孪生技术，正是为了弥补实际路测的不足，可以在确保安全的前提下，将实测的交通场景映射到虚拟空间中，节省测试时间和成本并能确保测试安全，助力自动驾驶技术汽车的快速落地。

目前，自动驾驶测试方法主要分为三类：软/硬件在环测试、封闭测试场测试、开放道路测试。三种测试方法各有优缺，但都存在一个问题，任何单独的一种测试方法都不能确保测试效果，将来的自动驾驶汽车测试必定是软/硬件在环测试、封闭测试场测试、开放道路测试的三者有机融合［6］。三种测试方法的优劣对比分析如表1所示。

表1 三种测试方法的优劣对比

随着社会的不断进步，交通场景也逐渐变得复杂，如表1所述三种现有的自动驾驶测试方法在实际应用中暴露出很多的问题，具体表现为以下几点：

（1）测试场景碎片化，并不符合实际使用情况［7］；汽车自动驾驶是一个连续的过程，符合实际商用前必须经过大量的路测，这对于实车测试来说花费的时间和成本都是不可接受的。

（2）在真实物理空间中复现极端交通场景困难、安全隐患大；如常见的多车冲突，汽车紧急换道或车辆行驶过程中的复杂光照、雨雾天气等。

（3）软/硬件在环测试依赖动力学模型；数字化构建的车辆动力学模型难以精准复现真实车辆动力学模型，降低测试精度。

（4）封闭测试场建设成本高、周期长、灵活性低，难以适应自动驾驶技术升级带来全新的测试需求。

（5）实际广泛开发道路测试中交通参与者随机生成，不确定性因素占主导地位，难以开展重复性的测试。

针对上述问题，相关专家和学者［8］从测试安全的角度出发，加大在虚拟交通场景中开展无人驾驶汽车测试的研究，以尽量少的人力物力消耗来达到测试要求。近年来，伍朝辉等［9］交通场景数字孪生构建虚实融合应用，认为利用数字孪生技术中的“虚实结合”可以构建交通场景数字孪生体，从人-车-路-环境四个维度对交通场景数字孪生亟待解决的关键技术进行了分析，为自动驾驶汽车实际路测安全性低提供了解决方案［10］。

1 自动驾驶仿真测试

1.1 自动驾驶技术的发展

自20世纪70年代［11］，以美国为首的发达国家已经着手对自动驾驶汽车进行研究，并在可行性和使用等方面取得了突破性的进展。2004年在Mojave沙漠举行的自动驾驶挑战赛直接推动了自动驾驶汽车的快速发展；之后，斯坦福大学、麻省理工学院和费吉尼亚理工大学等高校对该技术领域进行深入探究，为自动驾驶汽车的落地奠定了基础。工业界对自动驾驶技术也寄予厚望，2009年谷歌开启Waymo自动驾驶研究计划，随后Uber、特斯拉、福特、博世、奔驰、丰田等也陆续进军自动驾驶领域。

我国在20世纪80年代便已着手自动驾驶的研发［12］，ATB-1是国内第一辆自动驾驶汽车，于1992年在武汉科技大学成功研发。近年来，百度、腾讯、华为等公司也步入该领域研发［13］，自动驾驶技术引领着整个汽车行业的突破。进入21世纪后，伴随着相关政府标准和法律法规的不断完善［14］，消费者对安全性和舒适性需求的日益增长，成为基于环境感知的汽车ADAS的主要驱动力，5G/V2X网联、大数据、人工智能、通信等新兴技术的崛起，封闭式场地测试或纯仿真测试满足不了自动驾驶技术升级带来的全新测试需求［15］。从安全角度，目前国际广泛公开的道路用于自动驾驶汽车测试的依然很难覆盖复杂多样的交通场景。

1.2 自动驾驶仿真测试的意义

自动驾驶汽车在实际商用之前，需要经历大量的道路测试。但其作为新兴事物，自动驾驶汽车依然面临着巨大的挑战，如实际路测所花费的高昂费用、各国对于自动驾驶仿真测试的容忍度、极端交通场景复现困难、安全隐患大、道路交通环境及习惯差异等等，在一定程度上对自动驾驶系统的发展起到了阻碍作用。

采用实际路测消耗大量的人力物力。自动驾驶是人工智能领域下的一个范畴［16］，目前处于开发阶段。美国兰德公司曾提出自动驾驶车辆要累计177亿公里的驾驶数据才能够达到人类的驾驶水平，假设一支由100辆自动驾驶车辆组成的车队，不间断地进行测试，平均车速为40公里每时，则需要大约500年的时间才能完成测试目标，这对于大多数国家来说都是不可以承受的。

有关法律法规以及保险机制的缺失限制了自动驾驶汽车路测大范围的开展［17］，我国注重“以人为本”的中心思想，自动驾驶汽车现阶段尚不能保证绝对安全，故对开放实际道路用于自动驾驶仍然保持谨慎的态度。但是，仅仅依靠目前广泛公开的道路配合智能网联测试去优化自动驾驶算法，难以满足自动驾驶技术升级带来的全新测试需求，主要体现为以下5点：

（1）自动驾驶汽车缺乏相应的交通法律法规。中国的交通环境复杂，难以制定涵盖方方面面的法律规章制度。

（2）自动驾驶汽车测试不能载人载物，与实际汽车不符，阻碍自动驾驶技术的发展。

（3）事故责任划分标准缺乏，自动驾驶汽车的驾驶主体大多是实验室的研究人员，与现实驾驶员存在巨大差别，因此目前现有的大多交通法规都不再适用。

（4）自动驾驶缺乏相应的保险理赔机制。现阶段有关自动驾驶汽车的保险规定并没有真正落实，造成自动驾驶汽车“无险可投”，测试人员的生命健康得不到保证。

（5）实际中的极端场景往往都是可遇不可求的，想要重现难度和安全隐患较大。

由于传统的测试方法无法穷尽复杂多样的测试场景，可扩展性较差，导致自动驾驶测试的效率不高。

1.3 基于虚拟交通场景的仿真测试成为自动驾驶的关键

基于交通场景库的仿真测试是解决自动驾驶研发测试挑战的主要路线［18］。虚拟仿真测试主要是通过构建虚拟的交通场景［19］、复杂的照明模型、车辆动力学模型，实现自动驾驶汽车的感知、决策控制的闭环仿真测试，以此助力自动驾驶技术的发展。

在虚拟交通场景中，普通交通场景下的算法也不完善，普通场景如何扩展和做到更真实也是个问题，场景的丰富性、有效性、真实性、重复性难以再现。

在虚拟交通场景中，如何扩展普通场景、丰富场景以及提高环境逼真度依然是现阶段的主要突破点。但在仿真平台可以轻松自定义各种的极端场景，故业界普遍的共识是基于现有企业仿真软件进行自动驾驶测试，优化自动驾驶算法。目前现有的自动驾驶仿真软件及其应用特点如表2所示。

表2 自动驾驶仿真软件及其应用特点

企业仿真软件的最初开发思想都是以结合仿真测试、封闭测试场以及开放道路测试三种测试方式去训练和验证自动驾驶系统［20］，模拟输出的数据不仅可用于验证算法的可行性，也可以作为基于人工干预程度、任务复杂度、环境复杂度的三维评价模型的输入数据［21］，基于人-车-交通多维度测试评价规则从整车安全、人机交互、驾驶体验、能耗以及效率等几个角度进行分析对比，构建出自动驾驶安全性、交互性、效率性方面的评价体系。基于仿真平台上的测试方法和工具，在研究初期以较少的投资去验证自动驾驶系统，开发主动安全系统和物联网汽车系统，但对于后期的算法优化，则必须在真实道路中测试完成。

2 数字孪生技术介绍

2.1 数字孪生概念介绍

数字孪生这一概念源自美国密歇根州州立大学的一个教授［22］的观点，其总结为“基于最佳可用的物理模型、结合升级化的传感器以及飞行器的历史数据的一个综合多物理、多尺度的概率模拟系统来映射出虚拟空间中孪生兄弟的生命周期全过程”。美国NSNA将飞机的运行活动进行了虚拟化模拟，因此也称为Digital Twin（数字孪生），是将实物向虚拟世界转换的一种方法［23］。

总结上述定义的理解要点是：数字孪生就是能够将真实的设备或系统虚拟世界中映射成数字版的“克隆体”的方法。这个“克隆体”也被称为数字孪生体，它被创造在虚拟的空间中，是虚拟存在的，它是仿真应用的拓展。数字孪生体最大的特点在于：它是对实体对象的动态仿真［24］。然而，数字孪生体的跳动并不是随机的，它会跟随物理对象的设计模型、传感器接收的数据、运行的历史数据来动态改变。简言之，实体对象运行的实时数据和外界环境条件这些参数都会在孪生体中呈现出来。对实体对象使用数字孪生技术，最大的优势在于，凡是做对系统有影响的测试时，可以将其移至数字孪生体上进行，避免对实体本身的污染，还可以提高测试效率、节约成本。

此外，数字孪生还有全生命周期、实时和双向等特点。全生命周期，是指数字孪生可以贯穿产品设计、开发、制造、服务、维护乃至报废回收的整个周期，它除了能够帮助企业更好地制造产品，还帮助用户更好地使用产品；实时或准实时，是指实体对象与孪生体之间在构建交互通道的基础上，进行数据的双向传送，两者并不是完全独立的，实体与虚体之间的映射关系同时也具备实时性；双向，是指数据在实体与虚体两者之间双向传输，孪生体将波动数据传输给实体，实体执行相关操作，并将执行结果反馈给孪生体，以虚控实，对实体进行优化，企业可以利用该信息对实体采取进一步的行动和干预。

2.2 数字孪生技术的主流应用

近年来，伴随着物联网、云计算、大数据、人工智能等新一代信息技术的崛起，数字孪生无论是在在学术界还是工业界都得到广泛的传播［25］。这表明，该技术不仅具有研究价值，而且非常具有商业化应用前景。全球最具权威的IT研究与顾问公司Gartner连续两年将数字孪生作为当年十大战略科技发展趋势之一。数字孪生是各种先进技术（尤其是AI和通信）与工业相结合发展而来的技术和方法，它的发展、应用和落地能够直接解决当前工业中存在的痛点和难点。其主要应用有：

（1）航天航空。飞行器故障诊断、飞行器维护维修、机组人员安全、生产及装配优化、工应链数字化、发动机设计与管理。

（2）电力。电厂三维可视化管理、电厂运行优化、电力设备健康管理、通用电网模型构建。

（3）汽车。汽车研发环节验证、汽车运行状态监测、故障诊断与维护维修、不同环境形势过程模拟。

（4）制造业。产品设计与仿真验证、公益规划与仿真验证、生产规划与执行、设备管理与远程监测。

（5）城市管理。城市分析与规划、动态时间实时优化、灾害模拟与影响预测、科学研究与虚拟实验、交通路线优化。

数字孪生主要应用于无法进行人为监测、监测成本高、监测危险性大的各个场景［26］，然而，并不是所有的场景都适用数字孪生技术，当场景的需求是数据驱动，才考虑使用数字孪生，它的核心在于应用智能化的手段对数据进行加工和处理，以达到监测、辅助决策和管理优化的目的。

2.3 数字孪生与传统仿真的区别

仿真技术，利用仿真硬件与仿真软件结合进行实验，分析实验数据和求解问题来验证系统行为或决策的合理性。它是利用软件化的方式去验证现实物理世界的一种方法，只要模型正确，将完整的数据输入并考虑环境因素，便能得到近似准确的反映实际物理模型的特性和参数。如果说建模是将物理实体模型化的过程，那么仿真便是验证物理实体在某个条件下的有效性和合理性。相较于数字孪生技术，仿真技术仅仅是以离线的方式去模拟现实世界的一种方式，并不具备分析优化功能，更不用说实时和双向数据传输了。

数字孪生是将实体对象想虚拟空间转换的一种方法，通过实测、仿真和数据分析实现对物理实体状态的实时感知、预测、干预，根据数据分析来进行模型自我优化，提高物理对象在生命周期内的决策能力。

其实，数字孪生是仿真应用的拓展［27］。数字化模型的仿真技术是构建和运行数字孪生体的核心技术，能够保证孪生体与物理实体实现有效闭环［28］，通过数字孪生系统的通用架构图可以很清楚地理解到这一点。数字孪生系统的通用架构如图1所示。

图1 数字孪生系统的通用架构

数字孪生与物联网、通信、大数据等技术融合，能够对实际物理对象进行预测、干预和诊断，通过改进虚拟空间中的孪生体模型参数来优化物理实体。仿真技术作为数字孪生方法的核心技术，是物理实体与孪生体之间实时交互数据信息的基石，借助或继承技术与传感器、雷达等设备组成数字交通场景系统，确保孪生体与实体对象之间的保真、实时与闭环。

3 数字孪生构建虚拟自动驾驶交通场景

随着生活水平的提高，汽车已经成为家庭的必备品，随之而来的交通拥堵、环境污染、事故频发、资源紧缺等现象也日益增加，自动驾驶技术的全面升级为上述问题提供了新的解决方法。完整的自动驾驶测试体系能够提高自动驾驶研发效率，制订规范技术指标以及法律法规。然而，现实中骤变的天气光照、交错的车流网络、多样的驾驶任务以及动态的行驶条件都对自动驾驶汽车测试提出了新的挑战。

3.1 交通场景数字孪生技术

物联网、大数据等技术的兴起推动了数字孪生技术在交通物流运输方面的应用。5G/V2X通信技术的崛起为数字孪生的应用增加了空间维度［29］，近期数字孪生在交通方面的应用随处可见，如火车、轮船、汽车和飞机等等。在建立物流和运输方案时，数字孪生可以提供精准的地理位置、天气照明模型、路面环境分析率，降低交通安全隐患。

中国人车混流的交通模式使得传统的交通仿真模型以及辅助决策方法难以运用，对自动驾驶技术更是提出了新的挑战。我国的道路交通人车混杂、非机动车占道严重、路边停靠、平均车速较低导致交通拥堵的现象随处可见，现有自动驾驶仿真测试［30］的企业仿真软件大多采用国外的人车分流的交通实际和历史数据，不符合我国的实际道路情况。

数字孪生可以将物理实体映射到虚拟空间中［31］，通过卫星系统、雷达系统等高科技手段对实际物理空间中的交通场景、道路环境进行采集并存储，为我国实际的交通问题分析提供了新的突破点。数字孪生的主要对象是数据［32］，基础技术主要有数据采集、数据模型构建、数据应用三方面。为了实现数字孪生，需要进行一些基本的操作：

（1）数据收集与处理。利用传感器或其他物联网手段对道路交通的实时数据进行采集，结合AI技术对采集到的数据进行加工、理解、建模、应用。

（2）构建数据模型。对实际的道路交通环境进行数字化处理，搭建三维立体的交通场景数字孪生体［33］。

（3）数据应用。将虚拟空间中的交通场景数字孪生体与实际道路交通场景相结合［34］，达到监测、辅助决策和管理优化的目的。

3.2 搭建数字孪生交通场景的关键技术分析

与其他场景不同，交通场景相对复杂，主要包含人-车-道路-环境四个要素，每个要素之间存在较强的耦合关系。在对交通场景建模时，除了需要构建单个要素交通场景的数字孪生模型［35］，还需要考虑该要素与其他要素之间的联系，且后者相对更重要，要素之间的联系是实际交通场景与数字孪生交通场景实时交互的基础［36］，能够双向准时地反映出实际交通场景的变化。混合交通场景数字孪生构架与共融系统原型可如图2所示。

围绕复杂交通数字孪生的人-车-路-环境四个要素构建与融合这一思想，考虑交通运行场景特征，从图2系统框图出发，分析交通场景构建的关键技术。

图2 混合交通场景数字孪生构架与共融系统原型

3.2.1 检测数据驱动的路面病害建模

由于路面经历长时间的碾压，出现或多或少的裂缝、车辙、坑洼、下沉、错位等现象，而对交通场景进行建模［37］时很少会考虑到这方面的影响。研究检测数据驱动的路面病害与动态变化技术，在对道路检测数据进行特征分析和语义标注的基础上，对常见的道路病害数字化建模，提高对实际道路环境分析率，降低道路病害对自动驾驶测试带来的影响。

可以结合时间不同序列的路面病害模型，根据材料建立衰减参数模型，构建路面损伤过程的动态变化和预测模型，结合我国“以人为本”的思想，从安全的角度出发，支持交通参与者开展路面病害和路面平整度等相关的评价与决策。

3.2.2 混合交通流环境的车辆驾驶行为建模

我国的道路交通环境比较复杂，混合交通流的场景十分常见，而目前很多现有的企业仿真软件大多都只考虑小轿车开展自动驾驶仿真测试［38］，很少会考虑货车、公交车、自行车或电动车模型，兼容性比较差。针对国内小轿车、货车、自行车/电动车、公交车混合交通流的行为特征以及仿真方法，分析不同车道的固有属性和换道模式，研究交通信号适配与优化分析的方法，在虚拟交通场景中构建现实交通交通流的数字孪生体，实时地基于动态交通流进行调整和优化。基于混合交通流环境的车辆行为建模，获得在复杂场景下的车辆行为的决策行为［39］，为自动驾驶汽车的落地起到了推动作用，并且借助复杂交通流环境中的车辆特征来优化被测车辆的运行模型，搭建更具包容性的汽车跟驰模型/变道模型［40］，融合实例数据和实测数据进行拟合迭代，不断优化模型。

3.2.3 在线数据驱动的数字孪生环境仿真

自动驾驶仿真测试交通场景［41-44］不仅包含路面、混合交通流，还包括在复杂的天气、光照/照明、信号灯等环境因素。物联网技术高速发展，气象、路面信号灯、电子诱导牌都可以利用网络进行互联，可以便捷地实现数据上传，视频检测数据、设施检测数据、设备状态监测等功能。但目前数字孪生技术构建的模型仍未考虑到这一方面的影响，造成物联网传感器数据与实时环境、仿真场景脱节，难以反映出当下最实时的信息。

对交通场景中的物联网传感器的数据进行分类，根据不同的数据特征与虚拟环境模型之间的关系，实现交通场景在线数据与孪生体场景中显示与环境要素设定。基于在线气候、光照数据的环境仿真技术，借助城市空间视频影像和多元的传感器实时数据、历史数据上传，实现不同条件下的交通场景仿真。分析物联网，尤其是5G/V2X传输的在线数据［45］的不同变化对人-车-路-环境四个交通场景要素的影响，通过在线数据融合、环境构建、联动响应的不断迭代，实现更贴合实际的数字孪生交通场景构建［46］。

3.2.4 人-车-路-环境的混合交通场景的构建与融合

交通场景中的人-车、人-路、人-环境、车-路、车-环境之间都存在强烈的耦合关系，在对其单一要素进行建模时，需要考虑该元素对其他元素的影响，利用这种耦合关系构建人-车-路-环境交互反馈场景框图，在虚拟空间中构建数字孪生交通场景，实时地反映现实交通场景的动态变化。这样，可以在不污染实际交通场景的基础上，利用数字孪生交通场景在同一交通场景对多个参数与对象进行同步定位、数据通信以及交互设计，实现不同对象对环境或不同对象之间的同步感知、实时交互和决策行为数据采集分析。

研究路面病害变化对车辆运行、参与者感知的影响，考虑环境变化对交通出行、参与者的直观感受，探索人们不遵循交通规则的行为对交通车辆运行的影响，实现人-车-路-环境混合交通场景合理融合。

3.3 交通场景数字孪生的创新应用

基于数字孪生的交通场景其核心在于数字孪生技术中的“虚实结合”［47-79］，将真实的交通场景映射到虚拟的空间中，实时地观察孪生交通场景数据的动态变化，采取相应的行为去优化现实交通场景［50］。从上面阐述的关键技术可以看出，数字孪生使得交通系统具有万物可连，万物相连的能力，将人-车-路-环境等要素数字化建模映射到虚拟世界，搭建虚实结合，以虚控实的复杂交通孪生系统，适用于自动驾驶仿真测试、新型交通车辆研发等领域。

基于车辆运行的历史数据分析，结合智能化道路基础设施、车用无限通用网络5G/V2X以及车用高精度的地理定位技术，构建含数字孪生交通场景的自动驾驶仿真测试系统，实现启动驾驶算法的测试，助力自动驾驶汽车投入市场商用。基于数字孪生场景的自动驾驶系统框图如图3所示。

图3 基于数字孪生场景的自动驾驶系统

自动驾驶汽车在实际商用之前，都需要经过大量的功能安全和性能安全测试。以确保消费者和公众的安全［51］。整个开发的测试过程需要经历软件在环、硬件在环、车辆在环、封闭测试场测试以及开放道路测试五大步骤［52］。软件在环仿真，将编译的生产源代码集成到数学模型仿真中，提供一个实用的虚拟仿真环境来对大型复杂系统进行详细控制策略开发和测试；随着显卡图像技术的进步，仿真环境精度越来越高，但纯虚拟环境远不能穷尽所有可能的场景，这就需要硬件在环测试。硬件在环依靠电子控制器与真实传感器连接，有真实的数据接入，让仿真测试系统更近一步；硬件层面上的检查之后，自动驾驶汽车还需要进行车辆在环测试，将自动驾驶系统集成到真实车辆中，并在实验场地构建模拟道路、交通场景以及环境因素，从而构成完整测试平台方法，可实现自动驾驶功能验证、预期功能安全性测试验证、各种风险场景测试等。

车辆在环测试的关键是要确保车辆运行的状态与实际道路行驶近似，通过在实验场地搭建完整的虚拟交通测试环境，包括道路设施、交通车辆、行人、自然环境等。将真实车辆置于模拟测试环境中完成不同的驾驶任务，实现多种多样的交通车辆配置及复杂的局部交通场景。

通常在虚拟环境中，可以覆盖很多案例场景的参数空间，确定临界工况，测试极端场景，可获得自动驾驶系统应对极端交通场景的有效模型。但现阶段交通模拟和驾驶员模拟的仿真精度以及车辆系统模型的仿真置信度都存在技术挑战，需要进行实车测试，来比较虚拟测试与真实测试中的行为，验证指定场景的系统表现，那么就需要封闭场和公开道路实车测试。

4 结语

“虚实结合、以虚控实”的数字孪生交通场景为自动驾驶仿真测试注入了新的血液，为构建创新型智慧交通带来了新挑战和机遇。从测试安全的角度，总结虚拟交通场景对自动驾驶测试的重要性、数字孪生技术发展以及特点，创新地将数字孪生应用于自动驾驶虚拟的交通场景的构建中；关于数字孪生交通场景模型的构建，分别从人-车-路-环境四个方面出发，进行技术分析。研究表明，物联网、大数据以及通信技术的发展，使得交通系统具备了万物可连，万物相连的特点，引入数字孪生，提高自动驾驶汽车测试的安全性与测试效率，助力智慧交通数字化转型中“数字化、网络化、智能化”得以真正落地。