智能驾驶仿真测试的“虚幻”与“真实”，一文了解智驾仿真的现状与思考

出品 | 焉知

一、写在开头

先给大家讲个故事：某主机厂计划构建一套智能驾驶仿真环境，但需同时满足“对外展示”和“项目使用”两方面需求，与供应商商讨一个月后，最终方案是构建两套环境，一套“真实酷炫”给参观者体验；一套“标准实用”为研发测试所用。眼见不一定为实，尤其在看了不少仿真软文、做了很多仿真项目之后，总能想起“理想很丰满、现实很骨感”这句话。本文想把智能驾驶仿真测试的“虚幻”与“真实”做个对照，让兴致勃勃想进入仿真测试的人、让曾经在仿真中饱受挫折的人、让重振旗鼓重燃仿真希望的人，好好地看清楚她的过往。

有位主机厂的朋友说过：对于仿真从业人员来讲，软硬件的技术是次要的，重要的是思考本身。本文围绕“虚幻”与“真实”来展开，并非针对智驾产品仿真测试的技术细节，而是讲解业务形态自身的“虚幻”与“真实”。首先从认知进入智驾仿真测试的主题；之后介绍智驾仿真测试“虚幻”的开始、“虚幻”的模样、以及“虚幻”下主机厂和服务商的追捧；再通过“真实”写照，对比目标的达成、主机厂及服务商的“真实”现状；然后总结这个过程的“成败”，以及产生这些偏差的“原因”分析；最后站在2024年，重新看智驾仿真测试未来的“虚幻”与“真实”。旨在从现实的剖析中引入思考，向智驾仿真测试从业者呈现其真实面貌。

二、仿真测试的认知

仿真与仿真测试：仿真是一种手段，通过这种手段可以去做设计、做开发，当然也可以做测试及验证。很多人一听到仿真就来找测试团队，或者把仿真等同于仿真测试，这都是不准确的。

汽车中的仿真测试：汽车中的仿真及仿真测试，由来已久，如汽车结构的仿真设计、动力系统的仿真测试等。并非是有了智能驾驶产品才有了仿真及仿真测试，只不过是伴随汽车智能化的迅速发展，让仿真测试被很多人知晓。

仿真测试的基本做法：仿真测试的落脚点还是“测试”，利用MIL\SIL\HIL等不同的仿真手段，有针对性的开展测试任务。同样包括测试分析、用例设计、环境构建、测试执行、分析评价等过程，与常规测试基本一致。

三、为什么智能驾驶领域，仿真测试被捧在手心？

以前也没觉得仿真测试那么吃香，为什么在智能驾驶领域这么受欢迎呢，主要有三点：

1.资本驱动：近年来，太多公司跨界造车，传统主机厂也在迅速转型，智能化作为汽车下半场，让智能驾驶首当其冲成为投资焦点，从而带动了智驾仿真测试的需求。

2.技术驱动：与传统汽车零部件的仿真测试不同，智驾中仿真测试的被测对象为人工智能技术的产物，而AI在面对无穷尽的复杂场景时无法确保百分比准确，让仿真测试成为了救命稻草。

3.应用驱动：L2到L3的应用跨越，智驾产品势必会逐步代替驾驶者的感知和决策，其中首要确保安全底线，在公道测试常规操作下，仿真测试承担了一层“保险”。

四、仿真测试，起初承载了智能驾驶研发的诸多“虚幻”

智能驾驶研发对仿真测试有五方面的“虚幻”期望，既包括眼前的“多 快 好 省”、也包括将来的“创新”需求：

虚幻1：90%的测试验证可通过仿真测试完成——多。经常看到此类言论，如“90%仿真测试+9%场地测试+1%公道测试”，或者“之前只能在实车上开展的测试任务，现在有仿真测试解决方案了！”让仿真测试无所不能，万物尽可仿真一般。很容易联想到AEB实车测试中的各种困难，如摄像头的短路/断路/遮挡等，实车无法测试或者难度大的测试，仿真可以得心应手。

虚幻2：仿真测试可尽早发现问题、可日行千万里——快。快有两个维度，一个是介入早，仿佛仿真测试成了“测试左移”（shift-left）和“测试驱动”（TDD）的必选项，软件与产品同步、测试与研发同步。另外一个是效率高，都在幻想一台电脑的仿真测试可提升实车测试的十倍效率；上到云端的并行仿真可提升实车测试的百倍、千倍效率。

虚幻3：仿真测试可轻易覆盖真实中少见的特殊场景——好。既然现实中大多智驾产品引发的交通事故是因特殊场景导致，那么仿真测试对边缘场景的轻松构建，就是对质量最好的保障。幻想着仿真测试可以通过构建无限有价值的场景，对智驾产品提供全方位的测试验证（这个期望在国内尤其心切）。

虚幻4：充分利用数字化，降低设备及人力成本——省。省也有两个维度，一个是人力成本，仿真测试既然那么快，加上数字化、自动化的手段，以及对实车及场地人员的释放，幻想着团队的精简；另外一个是设备成本，XIL设备的一次性投入，幻想着可带来24小时不间断的使用效果，从长期考虑节省了大量开支。

虚幻5：数据驱动仿真测试，支撑算法迭代和创新——创新。幻想着智驾产品终有一天会走向数据驱动，汽车的控制决策也马上会由人工智能代替规则，那么仿真测试就是前提条件。在仿真测试的基础上，先打通控制决策的数据闭环、之后打通感知融合的数据闭环，最终打通端到端的大模型数据闭环，无限的创新场景，先要从仿真测试出发。

五、在“虚幻”的趋势下，主机厂的几步“让人兴奋”的操作

智驾仿真测试环境的构建：首先，要有达成“虚幻”必备的环境。常规做法有几种，一种是继承，在原有仿真环境的集成方案下，加入智能驾驶模块，如原先是整车或通信测试的仿真环境，再加入一些设备升级改造即可；另外就是重建，为某个平台或者某个产品申请预算，通过设备采购或集成商委托构建面向智驾的仿真测试环境；且大多侧重在零部件级仿真。高阶操作也有几种，一种是对现有仿真设备及软件的二次开发，如匹配自身需求的动力学模块改造、传感器模型适配等；另外一种就是对仿真设备及软件的重新开发，如基于开源架构的场景软件研发等；且大多希望构建整车级仿真环境。

有了环境，剩余的五步操作，就是对前期五个“虚幻”的实际响应：

1. 智驾产品的仿真测试实施(对应虚幻1)：为大量开展仿真测试实施，常规做法有两种，一种是项目委外或人力onsite，通过供应商的设备及人力快速助力产品迭代；另外一种是主机厂构建自身仿真测试团队，大力开展仿真测试实施。高阶操作从数据回灌到虚拟仿真、从MIL\SIL到HIL\VIL\DIL、从功能逻辑到性能及可靠性测试，全面铺开。

2. 测试驱动模式与并行仿真(对应虚幻2)：为缩短仿真测试周期、加快仿真测试速度，常规做法采用测试驱动研发、测试左移的思想，想尽一切手段与研发并行，为测试实施争取时间。高阶操作是借助云架构、云算力的支撑，通过并行仿真等手段解决环境对于执行效率的影响，从而进一步提升速度。

3. 健全仿真场景库的内容及理论(对应虚幻3)：为提升智驾仿真测试的质量，常规做法通过购买第三方仿真测试场景库或者自建仿真数据库，尽力通过数据的丰富程度来满足自身需求。高阶操作是自研仿真测试方法论并参与智能驾驶场景相关的标准起草等。

4. 构建高效的仿真测试相关工具(对应虚幻4)：通过数字化、自动化降低仿真测试成本，常规做法如购买场景泛化工具、数字孪生工具、测试自动化工具等来降低人工接入。高阶做法是基于自身需求，研发定制化工具，通过自研或委外研发等来实现。尤其是数字孪生概念，一想到数据中心里被灰尘覆盖的大量原始数据被得以重生，并在仿真测试中委以重任，就会让人无比激动；倘若真实的地图数据和实车路测数据都能够自动化的转换为仿真数据，并在仿真测试环境中被有效利用，也是莫大的期盼。

5. 数据驱动下的仿真测试闭环(对应虚幻5)：为满足仿真测试对于数据驱动的创新支撑，常规做法是通过离线的数据回灌、场景还原、云仿真等构建仿真测试闭环，在研发阶段确保仿真测试的全面性。高阶操作通过实时的数据上传、场景转换、仿真训练及评价等，构建端到端智驾数据闭环，在量产阶段也能确保智驾产品的自我进化。

六、为助力主机厂“虚幻”达成，智驾仿真测试服务生态的“躁动”

智驾仿真测试服务生态中有五类服务商，分别看看他们的现有基础及面向主机厂“虚幻”目标所引发的“躁动”：

1. 集成商：现有基础是对各类仿真设备及软件的代理，以及丰富的集成经验。引发的躁动是针对自身集成能力向两头延伸，一是仿真产品的研发或基于代理产品的二次研发，提高自身IP含量；二是大力开展服务，如仿真测试服务、定制化服务等。

2. 产品商：现有基础是有仿真产品雏形、或者有同类型产品的案例经验。引发的躁动是针对智驾仿真测试所需的产品进行研发并尝试商业化，如场景仿真软件、动力学软件、场景构建软件等，投入大量研发打磨相关产品。

3. 云厂商：现有基础是有云存储及计算资源，并且在其他领域商业化成熟，且具备龙头效应。引发的躁动是以各类优惠服务大量涌入智驾业务，宣扬云的高效能、低成本助推仿真测试的实施，如云仿真。

4. 数据商：现有基础是具备标准制定能力、行业号召及影响力、或历史相关数据积累，但还未过多涉及仿真测试领域。引发的躁动是凭借标准导向和产业号召，构建全面的仿真测试场景库及权威的方法论，并向产业提供数据要素及标准。

5. 服务商：现有基础是有丰富的汽车整车及零部件的软硬件测试能力，或许有仿真测试经验，但对智驾产品涉及不够。引发的躁动是加大智驾仿真设备投入、增多仿真人员招聘及培养、加强仿真测试技术研究等，并联动各方资源构建智驾仿真测试整体解决方案。

七、六年间，“虚幻”是否成为“真实”？

对照当初的五个“虚幻”，目前看来的“真实”情况如何：

真实1：少部分的测试验证采用仿真，侧重功能逻辑等(对应虚幻1)：零部件厂商的仿真测试占比或许多一些，但从主机厂的维度看，智驾仿真测试占比并不多。更多聚焦在功能逻辑、特定需求的验证等，仅在项目的部分阶段中起到主要作用。

真实2：依然在产品研发完毕后应用、大多以SIL\HIL为主(对应虚幻2)：仿真测试并未起到测试驱动、测试先行的效果。一方面是部分企业的智驾产品未完成研发前，无法给出仿真测试环境所需的依赖，导致必须等到产品基本成型；另一方面，产品研发人员支撑不足、仿真集成环境问题百出，也是造成仿真测试延后的原因。曾经有个项目，仿真测试居然在公道测试之后，违背了起初的设想。另外，由于仿真测试投入有限，大多并未采取上云模式，且对执行人员依赖较高，并未对测试效率提升太大。

真实3：以法规、式样、泛化场景为主(对应虚幻3)：这几年，国内外的相关组织和结构、以及行业联盟实施的国家级项目，都在尝试和普及智驾场景的方法论，但并未真正在产业中应用推广，加上L2到L3过渡周期的放缓，更多针对式样、法规及泛化场景的测试为主，未过多关注特殊场景的覆盖全面性。

真实4：大量工具未发挥作用，依然依靠经验人员(对应虚幻4)：这几年工具研发了不少，尤其是场景生成、孪生还原的工具，但应用中各类定制化、调整、信息补充依然耗时耗力；且仿真人才引入门槛更高，测试执行中更需要经验人员的介入；若遇到产品技术平台的变动，前期很多投入都将打水漂。所以在成本节省方面并未取得良好效果。

真实5：目前还未融入数据驱动概念(对应虚幻5)：第一阶段的研发环境实车数据都没有在仿真测试中应用起来，主要原因是各类误差的堆叠导致仿真测试效果较差、人工介入的调整太多；第二阶段的量产数据驱动更是由于控制决策算法的不支持而未全面展开。

八、大力推进仿真测试下，主机厂 “真实”写照中的六道坎

1道坎-没研发/构建出来：由于技术门槛高、人才投入大，开展的自研仿真工具并未成功上线或并未助力到现行项目；计划投资构建的智驾仿真环境，一直处于论证、延期状态，迟迟无法落地。

2道坎-有了，但没跑起来：好不容易投入大量资金构建了仿真设备和软件，但由于应用场景不满足或人才缺失等问题，环境处于未启用、闲置状态；或由于软硬件的各方面调试联动的复杂性，造成长时间处于集成商的集成实现中。

3道坎-跑起来了，但不适用：好不容易仿真环境集成完毕，但由于自身产品的变化、升级等，导致无法匹配现行产品，且各种不稳定、异常情况被暴露，测试执行层面需依赖产品研发人员及集成商，造成工作无法开展。

4道坎-适用了，但产出有限：好不容易仿真环境与产品匹配好了，但之前设计的用例场景仍需更多调整、开发的自动化测试工具也需手工过多接入，问题的定位依然依赖经验人员，造成产出较低的情况。

5道坎-有产出了，但不可信：好不容易有测试结果产出了，但因环境和工具的误差，仿真与真实的误差，造成应该测试出来问题没有被测出、而正常的表现却被认定为BUG，最终导致结果不可信。

6道坎-有效果了，但失败了：好不容易通过技术攻关解决了可信性问题，再看一下项目工期，已经延迟、甚至落后于实车验证；再看一下项目投入，已经远大于产出，甚至没有公道测试来的实惠，最终造成仿真测试的失败。

九、残酷的“真实”下，主机厂的应变现状

能用就行、不管多少：一方面，把仿真测试作为实车测试的补充，多应用于SOP之后的功能逻辑、故障验证等；另一方面，充分挖掘现有仿真环境价值，在HIL有强依赖的情况下，尽量通过SIL来解决。

好用就行、不管大小：不再追求大而全的一体化大仿真台架，反而更注重投益效果，如采用较多小而美的台架测试针对性的特定问题，更受欢迎。

有效就行、不管前后：不盲目追求前期颠覆性的创新，反而注重基于现有环境的后期优化，如开发一些数据分析工具或者自动化脚本来提升局部环节的效率。

十、智驾仿真测试服务商“躁动”后的“真实”情况如何？

分别剖析五类服务商的“真实”情况：

1. 集成商：一方面大量服务商及产品商都延伸到集成业务，在市场有限的情况下，竞争相对激烈；另一方面，因每家主机厂的智驾方案各有不同，造成集成中存在较多技术难度大的适配工作，投入研发的成本大、但技术再利用的市场有限。

2. 产品商：国内大多产品商把仿真类产品研发想象的过于简单，在投入大量研发后发现产品无法与国际竞品媲美，市场不买账，无法商业落地，最终走向消亡；即使有应用场景，但产品局限性、定制性较强，最后仅能自我使用，价值体现弱。

3. 云厂商：互联网思维运营汽车云，通过各类优惠政策获取客户，并投入大量人力物力开展云仿真环境构建，或自研云仿真平台，但除了AI感知训练服务外，在控制决策的仿真测试方面，真实用户较少，较多处于依赖企业其他板块救济状态。

4. 数据商：花费了大力气去积累、生产仿真测试数据，却由于场景不匹配、质量不满足、太贵用不上等各类原因销售惨淡；并且行业并未形成公认的智驾仿真测试标准，导致各类方法论不统一，数据相互不认可，流转不通畅，卷来卷去没出路。

5. 服务商：智驾仿真测试服务，较高的设备门槛、人才门槛、经验门槛，导致服务商前期投入较大，人才的稳定性也不高；另一方面，服务对象的仿真环境和需求迥异，导致项目的中标、项目的实施、有利润的开展都遇到很大困难，真正赚钱的也不多。

十一、在这个过程中看到的“成效”，哪些是“虚幻”的、哪些是“真实”的？

“虚幻”的“成效”

1.从无到有、从旧到新，具备了自己的仿真实验室，时常对外展示，提升品牌；

2.或多或少积累了智驾仿真技术和产品，综合能力有所提升，助力了宣传；

3.新增了一个仿真测试业务方向，虽发展缓慢，但“聊胜于无”，撑撑场面；

4.或许参与了一些政府、科研类项目，得到了一些经费补贴和荣誉，些许慰藉。

“真实”的“成效”

在“虚幻”中看清本质，不被“躁动”所影响的组织，才能真正得到“成效”。如某些零部件企业，起初就看准了仿真测试的边界和效果，较小的设备投入在某些功能方面取得较好的效果；再比如国际化的仿真设备商、软件商，聚焦在自身领域做专做深，当别人都在挖矿的时候，把铁锹做好就是最好的生意。

十二、“虚幻”与“真实”差异较大的原因

这些年来智驾仿真测试为什么没有达到预期效果？从三个层面来思考：

表面原因：

1.仿真太费钱：觉得客户/领导跟不上“潮流”，明明有好的仿真产品、好的解决方案，就是不采用、或者舍不得花钱；就算是POC走通了、客户也始终在犹豫要不要上，不够果断。

2.仿真太复杂：都觉得仿真测试关联方众多，联动不畅，尤其是智驾仿真测试，感知虚拟化、场景孪生、动力学适配、域控软件联调等等，高门槛导致推行受阻。

3.仿真不准确：这点最重要，仿真如果做不到较高的逼真度，势必与真实情况存在偏差。而智驾的误差因素有很多，环境模拟、传感器感知、动力控制等误差的叠加最终会导致结果的不可信，从而使得Sim2Real方案遭到质疑。

4.仿真不规范：实时机、场景软件、动力学软件、传感器仿真的国内外厂商琳琅满目，并且在各种组合后形成数十种方案。再加上被测智驾产品的方案不同、对仿真数据库的要求不同，最终就形成了各类定制化。造成的后果就是相互不兼容、重复性的技术投入大，导致问题多、周期长、不可持续。

深层原因：

1.环境不支撑：一方面虽中国汽车产销破3000万辆，但今后也不会有大幅上涨，叠加产业内卷造成的单车利润下降，势必会影响研发方面的投入；另一方面，智能化虽号称作为汽车的下半场，但消费端依然视作加分项，在较多主机厂依旧以“辅助驾驶”产品为主的情况下，大规模仿真测试的需求并不强烈。

2.管理不匹配：智驾研发在组织结构上比其他产品研发更为复杂。甚至国内某些知名主机厂成立单独的科技公司、软件公司进行匹配。原因是涉及车辆工程、芯片域控、软件研发、人工智能、工程服务、数据挖掘等众多类型，需组织各部门间、组织与组织间构建网状的协同模式，而往往在仿真测试项目中依然采用过往的测试+研发模式，急需探索新的管理方法。

3.方法不统筹：从大的方面看，目前的强制法规依然集中在L1\L2阶段，并且是最为初级的门槛，L3又会涉及这样那样的问题，导致大多产品在L2+徘徊、并且没有成熟的测试标准规范依赖。在混沌状态下、市场默认产品的差异化，从而造成没有权威的方法去衡量产品，仿真测试也是如此，导致了规范性不强。

4.技术不成熟：不成熟的表现有三点，一是短平快思想主导（无法坚持长期主义），尤其是受到市场波动压力、考核周期较短、内部组织调整等，无法长期规划技术路线、坚持技术投入；二是畏惧新技术心理（缺乏勇闯无人区的勇气），尤其在仿真工业软件领域，都愿意在简单的技术上雕花、而不愿意在卡脖子的技术上投入；三是万事靠自己的思想（不习惯用生态资源），崇尚全栈自研、遍地布局，就算明面上与伙伴共赢、实则白嫖的心理，尤其在智驾领域行不通，靠自身无法促成仿真技术的突破。

根本原因：

归根结底是智驾技术并未有本质性的突破，智驾产品并未在本质上获得用户的认可。绝大多数采用模块化思想实现智驾功能、绝大多数在控制决策中采用软件1.0的规则思想来实现规划控制。这就导致智驾产品的渗透率和使用率不高，从而反应到投入上，影响了智驾仿真的环境、管理、方法及技术的发展。

十三、用现在的视角再看智能驾驶

相比其他领域，智能驾驶日新月异，站在2024年重新从政策、市场、技术等方面看智能驾驶的积极面和消极面：

积极的：

政策面：一方面，我国提出“新质生产力”，智能驾驶是其在汽车产业应用的重要体现。另一方面，我国新能源汽车产销连续9年位居全球第一，成为“新三样”之一；且两会报告中也提到加强“人工智能+”行动，深化大数据、人工智能研究。在政策引导下，各级政府对智能网联汽车尤其重视，也带动了智能驾驶的发展。

市场面：汽车智能化作为汽车发展的下半场，已经被主机厂和消费群体认可。小米、问界等新车型的发布也少不了智驾表现的大力宣传，市场培养了对智能驾驶的迫切需求。

技术面：一年来，端到端、数据驱动、多模态、大模型等创新性的技术和模式涌现，为智能驾驶产品成熟重新点燃了希望；另外，三维重建、AR\VR、SORA等技术的进步，也为仿真技术革新提供了新途径。

若积极看待技术变革，在政策引导和市场推动下，智能驾驶将加速发展。

消极的：

政策面：分析今年两会的汽车相关提案可以看出，智能驾驶相关的提案较少，更多侧重在绿色低碳、出口及促消费等方面，且信息安全及人身安全依然是政策第一位，一定程度上约束了智驾发展。

市场面：汽车市场继续内卷状态，且面向智驾的资本注入遇冷，在降本的策略下不会通过提升传感器配置来为市场加分，在辅助驾驶阶段会继续维持一段时间。

技术面：苹果等高端玩家的撤出，也为智驾技术的发展蒙上了阴影，大模型对算力的依赖、端到端对算法的依赖都可能成为技术难以逾越的门槛，挑战依然严峻。

若消极看待技术变革，目前的L2++仍会保持较长时间的存在。

十四、今后，智能驾驶仿真测试的“虚幻”与“真实”又是什么？

通过重新审视智能驾驶的发展，来分析其仿真测试的“虚幻”与“真实”：

虚幻：

利用世界物理模型等新技术，构建新一代的仿真测试环境，让Sim2Real真正助力智驾研发。结合游戏引擎、利用SORA类同的技术，在无限量的公道数据基础上，形成集感知、融合、控制、决策、执行于一体端到端仿真平台，并结合数据挖掘、实时上传、自动处理、无限泛化、高效训练等来提升智驾水平。

真实：

吸取前期的经验教训，认清自身的边界，或聚焦于自身平台/产品研发所需来开展仿真测试的研发及应用；或聚焦于自身擅长的领域，把仿真测试做专、做深来赢得市场。另外，一定要重视生态，若是甲方就应该积极寻求乙方的技术资源加快实现；若是乙方就必须融入到甲方的朋友圈共同进步。只有这样，才能在未来诸多“虚幻”与“真实”的分叉路口一直走对方向。

十五、写在最后

作为行业一员、在智驾仿真测试中走过六年，遇到太多人、经历过太多事，回首过往点点滴滴，想以此篇来记录对智能驾驶仿真测试的审视。没有讲仿真测试技术，更多是对过去和将来的思考，希望对大家有所启发。