AI大模型之于自动驾驶仿真测试，到底算是“锦上添花”，还是“雪中送炭”？

作者 | 陈康成

出品 | 焉知

仿真测试在智能驾驶领域的应用大致可以划分为两个阶段：

• 第一阶段：PnC仿真测试，即规控层面的仿真测试，此阶段以功能性仿真为主，用的软件基本上也都是国外的仿真软件，比如，PreScan、CarMaker、VTD等。

• 第二阶段：感知+PnC的联合仿真测试，或者叫感知规控一体化仿真测试。此阶段引入了海量场景和传感器的仿真模拟，特点在于加入了传感器物理仿真和AI的应用。

沛岱汽车CEO曹鹏博士解释说：“第一阶段的仿真是假设感知是100%正确的前提下，去测试规控算法。但问题在于，现实中感知永远不可能是100%正确，导致测试的结果跟实际的感知算法会存在‘Gap’。因此想要通过第一阶段的仿真调整规控层面的算法，去解决感知层面的问题是行不通的。只有传感器和场景能够更真实地被仿真模拟，才有可能仿真出感知模块所遇到问题的症结所在，然后才好判断下游的规控模块是否能够帮其收拾‘烂摊子’。”

在仿真测试的第二阶段，AI大模型有了发挥的空间，那么它究竟能够在哪些地方发挥作用呢？

AI大模型在自动驾驶仿真测试领域的应用探索

目前，AI大模型在自动驾驶仿真测试领域的应用探索主要有：

• 结构化场景的生成与泛化

• 提升仿真测试端人机交互效率

• 生成合成数据

1.1 结构化场景的生成与泛化

随着大语言模型开始逐步融入到仿真测试工作当中，AI大模型在场景自动化生成、加速场景库建设等方面发挥着越来越重要的作用。

通常智能驾驶相关的测试场景会被拆解为静态场景和动态场景两大部分。其中，静态场景主要是指一些交通基础设施，比如道路、车道线、路灯、周边的建筑等元素。动态场景主要包括多种交通参与者，比如机动车，非机动车，行人等，如何构建交互性强，覆盖度广的逻辑场景是智能驾驶仿真测试的一项关键任务。

静态场景和动态场景的常用构建方式

“以前逻辑场景的设计和编辑需要大量的专家经验，即使有编辑器来辅助，也是一项技术门槛比较高的工作，现在我们可以使用大语言模型 —— 直接将自然语言的输入作为Prompt，直接生成逻辑场景。这个过程需要基于我们已有的一些场景库和相关场景描述，构建自己的一套 RAG系统。”51Sim CEO鲍世强介绍说，整体来看，大语言模型（LLM）适合用于场景库中的场景生成，多模态的大模型对于场景挖掘、描述生成和场景搜索，也可以大幅提升效率和灵活性。文生视频大模型主要用于直接生成感知层面的合成数据或者提升传统方式下生成合成数据的质量，构建更多的多样性等任务。

1.2 提升仿真测试端人机交互效率

腾讯数字孪生仿真技术总监孙驰天介绍说：“不管哪个行业的仿真，去配置仿真系统的各种参数和场景将会占用80%的时间，真正运行仿真可能只占20%的时间，大部分时间都用在仿真场景的生成和搭建上。我的判断是：AI大模型在仿真场景的生成和搭建上能够提升效率。举个例子，利用大模型，我们可以通过Prompt描述，直接输入 —— 一个北京城市路段上多车拥堵的十字路口场景，车速在30km/h以下，要进行无保护左转，车辆密度如何等等。仿真系统便可以根据 Prompt自动生成成千上万个测试场景出来，测试效率会提高很多。”

AI大模型有利于仿真测试端人机交互效率的提升。此处的人机交互效率是指仿真系统的用户使用仿真系统时的效率，比如配置仿真场景、参数等方面。

1.3 生成合成数据

随着自动驾驶仿真测试进入数据驱动阶段，需要的数据量越来越大。但是真实数据的采集和标注成本太高。因此，业内开始探索在仿真测试中用合成数据来替代一大部分真实数据。

目前，合成数据的主要用途是用于给感知模块去做训练。曹鹏举例说到：“大模型生成的图片或视频，可以用来丰富摄像头感知算法的学习素材库。训练集变多了，那么，感知算法的性能也会变得越来越好。”

对于感知用的合成数据，一般都有哪些类型呢？鲍世强告诉焉知汽车：“我们的合成数据一般给到客户的感知团队用于感知算法训练。目前我们已经落地了非常多的商业化案例，大致需求主要分为两类，一类是面向Corner case；另一类是面向特定需求，比如，车企布局海外业务，因为车要卖到国外的某个地方去，但是国内车企没有国外的训练数据，例如，一些国外泊车的场景或者道路交通类的场景，这个时候我们可以生成合成数据给到他们去做算法训练。”

上面提到的面向Corner Case的合成数据需求，又是怎么理解呢？“对于智能驾驶的测试场景，以前所使用的数据都是靠实车采集和标注来完成，现在智能驾驶的水平已经比较高了，但这也意味着基于大量的采集和标注数据去进行感知系统训练的边际效应已经开始递减。但高阶智驾的感知系统在落地过程中还是会遇到很多问题，这些问题可以理解为是大量的Corner Case ，但是真实采集的数据中这类数据比较少。那么，怎样能够生成一些高价值的合成数据去加到真实数据一起去做训练，是目前大家比较迫切的需求。”鲍世强解释说。

那么，目前，生成合成数据的方式都有哪些呢？经过调研分析了解到，生成合成数据的方式大致可以分为以下三种：

1）基于图形渲染和程序化生成方式，也就是说通过渲染引擎（游戏引擎或者传统渲染引擎 ）的方式去做。

孙驰天说“游戏引擎的好处在于它能够方便地实现传感器的仿真，基本上所有常用的车载感知传感器，包括激光雷达、摄像头、毫米波雷达及超声波雷达都能实现。优点在于它能输出所匹配的真值，尤其是摄像头仿真，做得比较成熟，可以配套输出包括深度值、语义值等在内的各种信息。缺点是生成图像不够真。但是，我们会在游戏引擎的基础上再加一层AI推理算法，将游戏引擎输出再转换成真实风格的图像，能够比较好的去解决摄像头仿真不够真的问题。”

2）基于三维重建的方式，比如采用NeRf、3D高斯等图像拟合的算法直接生成。

目前，3d高斯的方法应用更多一些，优点是真实感非常强，缺点就是泛化性比较差。想构建哪个路段的场景必须要重新采集一遍，会带来比较高的成本。并且，对采集数据的质量要求又比较高，基于量产车采集的回来的数据基本没办法使用。

3）基于大模型直接生成的方式。大家非常看好它的未来，但现在还属于早期的发展阶段。另外，因为此方式生成的数据没有配套的真值，所以没有办法直接用于感知算法的训练和测试。

鲍世强谈到：“合成数据好坏的判断有两个关键评价指标：一个是真实性。另一个就是如何在单位成本内获得更多的多样性。

“目前的生成合成数据的几种主流方式各有特点和优劣势。图形渲染的路线，灵活度和确定性比较强，目前也相对最成熟；NeRF和3D高斯的路线对于重建真实的静态的场景，或新视角合成效果很好；基于大模型的路线，在真实感和泛化性上有较大的优势。我们需要有效地把这几种方式结合起来以发挥各自的长处，而生成式AI在这个领域毫无疑问会发挥越来越大的作用，这也是公司依托既有实践和技术重点布局的重点方向。”

AI大模型生成的数据还存在哪些问题？

2.1 大模型生成的数据没有配套的真值信息

用大模型来生成合成数据，目前挑战的点在于：现有大模型一般用于生成图像，用于点云生成的工作较少，也不成熟。并且它生成的图像没有配套的真值，即我们并不知道图像里每一个要素是什么，具体的三维坐标、包围盒以及语义要素是什么。“如果拿去跑感知算法的测试，跑完测试之后，没有真值就没办法评测感知算法识别的准不准，没有真值更不可能低成本去做感知算法的训练。因此，大模型生成的合成数据，用于感知算法的测试和训练，目前我觉得在技术上还不够成熟。”孙驰天认为。

另外，现在类似Sora的文生视频大模型，可以生成一小段视频。相对来说，画面也非常逼真，是否可以应用到自动驾驶仿真测试领域呢？对此，孙驰天持否定的观点，他认为，这些视频里面的物体并没有匹配的真实信息。首先，大模型生成的结果未必是物理真实的，可能会有一些在物理特性上并不合理的存在，因为他们在被训练的时候并不包含显式的物理规律约束在里面。其次，他们没有匹配的真值，对于感知算法测试和训练来说没法低成本使用。总之，基于AI大模型生成的图像或者视频，在自动驾驶仿真测试中，目前还没有看到比较好的实战结果出来。”

2.2 大模型生成的合成数据遍历性差

大模型生成的合成数据还存在另外一个问题，就是遍历性差；因为大模型是一个黑盒，没法证明它的遍历程度。比如，我们怎么能证明自己通过大模型生成的100万个视频片段就几乎包含了所有想要的情况呢？

“现在通过AI大模型生成的视频，很多都是去评价它的合理性，比如水滴是否是向下落的，人是否是有影子的，但还没办法证明它的遍历性。对于非机理的模型，要证明它的遍历性，只能反向从结果证明。比如，AI生成交通流，会用一些交通流相似性指标跟真的交通流去对比，核查是不是真实交通流中所有的被关注的情况都被覆盖到了。”曹鹏解释到。

AI大模型是否可应用于交通流仿真？

交通流仿真不仅可以用于传统交通行业，帮助其改善路网与交通管理效率，并且还能应用于自动驾驶行业，辅助构建虚拟城市场景、生成自动驾驶车辆测试场景的动态交通环境。

根据交通仿真模型对交通系统的模拟细节程度的不同,可分为宏观、中观和微观三种交通仿真模型。其中，在自动驾驶仿真测试中，我们讲到的交通流仿真其实是属于微观交通流仿真，主要研究每个车辆-驾驶员单元的行为交互。

交通流类型划分与定义（信息来源：赛目科技公众号）

3.1 交通流仿真技术路线

传统交通流建模是基于各种物理学原理（主要是运动学），使用微分方程、偏微分方程等数学工具来描述道路上车辆的跟驰、换道等行为。其特点是交通流模型的限制条件比较苛刻, 模型推导过程比较严谨, 模型物理意义明确。

然而，现代交通流建模以现代科学技术和方法(如神经网络、人工智能等) 为主要工具来描述车辆行为。其特点是所采用的模型和方法不追求严格意义上的数学推导和明确的物理意义, 而更重视模型或方法对真实交通流的拟合效果。

目前，现代交通流仿真建模的主要技术路径有：

• 基于Rule-based方案的交通流仿真模型

专家通过组合一些Rule-based模型来生成交通流仿真模型，比如基于城区或者高速不同交通特征的模型，然后再去训练和标定参数。

孙驰天介绍说：“传统交通行业交通仿真通常是基于Rule-based方案。他们通常会先跑一个中观仿真模型出来，计算出不同路段上车流的流密速，包括路径分配等结果，然后再用中观仿真模型的结果去指导下一层的微观仿真 ，这便会涉及到车与车之间的精细交互。此方案的优点是体系比较成熟，而且能够基于中观来指引微观，模型仿真出来的结果在中观上也会比较真实，同时，这种方式对于 CPU消耗相对也会比较低。”

• 基于强化学习方案的交通流仿真模型

通过大量采集的交通数据去训练出一个交通仿真模型，在某种程度上能够更好地去展现一些博弈的行为。优点是车与车之间的极微观的交互比较真实。缺点：一是CPU算力消耗会高一些；二是无法接受中观仿真模型对于微观模型的一些分配，所以中观层面上准确率可能会低一些。三是，要实现产品化落地，会对成本很敏感，目前此方案尚未达到商品化的程度。

曹鹏给出的观点是：“用AI去做交通流仿真，比较成熟的技术是用GAN(生成式对抗网络）去做，也就是深度学习的方法。使用采集到的交通数据不停地训练模型，使得其越来越像我们在某一个城市采集到的交通流。

“ 我认为生成交通流主要有两种方法：1）一种是随机交通流；2）另一种是基于GAN的交通流。随机交通流的特点在于它所有交通行为都是随机的。随机做出来的交通流更加适合自动驾驶的验证和优化，基于GAN做出来的交通流更加适合用于自动驾驶的评价。”

3.2 AI大模型对交通流仿真的影响

如果用大模型来做交通流仿真，本质上是通过大模型将交通仿真做模型计算的过程，直接黑盒化，然后用数据来做训练。直到现在，行业里还没有看到比较好的落地案例，还处于比较早期。

“传统的交通仿真用于智驾仿真测试其实不是特别适合，因为传统的交通仿真做的是宏观和中微观的事情。即使是微观，它研究的重点也是交通本身。智驾其实关注的是更加微观的行为。基于大模型做出的交通流，可以体现出很多的微观层面的博弈行为。它虽然也是拿真实数据训练出来的，但又跟直接采集数据还原出来的轨迹不一样，它具有较高的灵活性。整体而言，这也是一个很有前景的方向。”鲍世强认为。

目前来看，AI大模型对仿真测试来讲还不是刚需

大模型在仿真测试领域的应用，虽然说技术还不成熟，但技术路线是可行的。但自动驾驶仿真测试终究是要为量产项目服务，我们在关注AI及大模型技术应用的同时，也应该着重关注一下自动驾驶仿真测试当前最核心，并且也最迫切需要解决的问题：仿真测试的一致性问题。

孙驰天说：“可以无数次重现同一场景的仿真一致性是仿真系统最核心的能力。相较于真实世界的测试，仿真测试最大价值在于仿真测试的一致性。但是，仿真测试的一致性达成什么程度算好，目前行业还没有达成共识。

“我们整个行业与其无止境的卷仿真模型的真实性，倒不如优先保证并解决仿真一致性问题。比如，大家在资源有限的情况下，仿真模型真实性在提升到85%~ 90%的情况下，再往上提升已经比较困难，这个时候，我的建议是我们需要优先考虑把仿真测试一致性做得更好，而不是继续把仿真模型的真实性卷到更进一步的90%~95%，但仿真一致性却不稳定。仿真测试一致性得不到很好地解决，把仿真模型真实性卷得再高也没有意义。”

那么，仿真测试一致性会受到哪些因素影响呢？其实，仿真测试的一致性会受到很多因素的影响，比如，仿真模型与实际被测件的标定真实性和特性匹配程度，以及仿真测试各系统之间交互反馈时钟同步与实际测试的一致性等。

曹鹏认为，“在感知部分，模拟传感器可能会存在一些一致性问题，如果用的是随机算法，传感器模型的一致性很差。如果是通过模拟物理过程模拟传感器，得出的结果一致性会高得多。另外，一致性跟时间的同步性也有关系。在操作系统调用模型的过程中，如果模型调用的频率，以及调用时间点每次都有波动，最后得出的结果可能就不一致。”

结语

AI大模型与仿真测试契合度非常高，从某种意义上来讲，仿真本身就是在做生成数据的事情。当然也有业内仿真专家持不同意见，他们认为，使用大模型的核心目的不是为了生成新的数据，而是帮助用户更快捷地通过自然语言的方式提高场景制作的效率。

仿真测试基本都是建立在物理学的基础之上，现在AI也开始逐渐渗透并融入到仿真测试之中。“AI和物理科学其实就是描述世界本质的两种不同方式：一种是用近似的方式；另外一种是用抽象的方式。AI是非物理的，属于一种科学的近似，是对现象的一种近似和模拟。它试图通过将一模一样的神经元排到一起，去近似出世界的规律。而物理学则是追求规律的精确和确定性，注重假设、归纳和抽象规律，习惯于把复杂的问题简单化，尽量用一个简单的公式去解释某种复杂的现象。我们其实一直在寻找AI跟物理学的结合点。”曹鹏从另外一个比较有意思的角度谈到。