作者 | 山丘

出品 | 焉知

端到端智能驾驶系统在感知、决策和控制等方面通常由单个深度学习模型实现，端到端自动驾驶的定义基本上大家明确了是指从传感器输入开始到规划甚至控制信号输出中间所有的步骤都是端到端可导，这样整个系统可以作为一个大模型进行梯度下降的训练，通过梯度反向传播可以在模型训练期间对模型从输入到输出之间的全部环节进行参数更新优化，从而能够针对用户直接感知到的驾驶决策轨迹，优化整个系统的驾驶行为。在近年来得到了快速发展，特别是在深度学习技术的推动下，取得了一些令人瞩目的成就。

5 月 20 日晚，小鹏汽车在 520 AI DAY 发布会上分享了自身 AI 技术的最新进展，并宣布面向用户全量推送 AI 天玑系统。这是一项首发端到端自动驾驶大模型，目标2025年实现L4。

4月21日，车辆学院科研团队完成国内首套全栈式端到端自动驾驶系统的开放道路测试。

首个感知决策一体化自动驾驶大模型！上海AI实验室等斩获顶会最佳论文;该论文提出了首个感知决策一体化的端到端自动驾驶大模型UniAD，开创了以全局任务为目标的自动驾驶大模型架构先河，标志着自动驾驶技术的重要突破。

2024年1月，特斯拉宣称的“端到端”自动驾驶软件FSD v12版本在北美推送给非员工用户。

在2024年度产品发布会上，千挂科技完成国内首次端到端智驾大模型路测，实现「弯道超车」。从公开信息上来看，这是中国首个完成端到端智能驾驶大模型公开道路闭环测试的选手。

3月17日，在中国电动汽车百人会汽车新质生产力论坛上，元戎启行CEO周光表示，智能驾驶端到端模型将会成就一位“超级AI司机”，开启物理世界通用人工智能技术的新纪元。

实际上目前大部分端到端智能驾驶系统还处于研究或小规模试量产阶段，要想在实际应用中得到广泛应用还需要大量的测试、参数调优以及硬件上同步大量的算力支撑。传统的智能驾驶系统架构在面对端到端技术的崛起时确实面临挑战，但并不意味着它们已经过时或将来没有存在的空间。事实上，传统智能驾驶系统架构在某些方面仍然具有优势，并且可能在未来继续发挥作用。

1、传统架构在可靠性和安全性方面已经经过了长时间的验证和改进

端到端系统的安全性和可靠性目前仍然是一个正在不断发展和探讨的领域。相对于传统的分层架构，端到端系统的安全性和可靠性确实面临一些挑战。然而，端到端系统也有一些优势，例如可以更好地适应复杂环境和场景变化，以及对于特定任务的高度优化。此外，随着技术的发展，研究人员和工程师们也在不断努力改进端到端系统的安全性和可靠性，例如通过对抗性训练和模型解释技术等手段。

传统智驾系统架构图示

端到端系统可能更容易受到针对神经网络和机器学习算法的攻击，这可能会导致系统误导或失败。另外，由于端到端系统通常依赖大量的数据来进行训练，数据质量和多样性可能会对系统的性能产生重大影响。另一方面，传统智驾系统架构系统采用了分层设计，通过模块化和隔离来确保故障在某个部分出现时不会影响整个系统。这种架构在自动驾驶领域仍然非常重要，因为安全性和可靠性是至关重要的考虑因素。

因此，端到端系统的安全性和可靠性目前还处于探索和发展阶段，尚不能简单地得出比传统智能驾驶系统更好或者差的结论。在实际应用中，选择合适的系统架构需要综合考虑多个因素，包括安全性、可靠性、适应性以及成本等方面的权衡。

2、传统架构可能在特定场景或应用中更加适用

传统智能驾驶系统架构相对于端到端的智驾系统架构在一些特定的环境下，如工业场所或农业用途中，需要的自动化水平可能并不像自动驾驶汽车那样高。在这种情况下，传统的智能驾驶系统架构可能更经济实惠且易于实现。可能还有在以下几个特定场景或应用中更加适用。

综上所述，传统智能驾驶系统相对于端到端系统在资源受限的智能驾驶域控制器状态下可能具有更高的计算资源利用率、更强的实时性、更好的可调试性和可维护性，以及更好的适应性。传统智能驾驶系统架构在这些特定的场景或应用中仍然具有优势，并且可能更加适用于对安全性、资源需求、行业需求等有特殊要求的领域。

3、传统架构仍然可以作为端到端系统的一部分

传统智驾系统架构可以用于特定的传感器数据处理或低级控制任务，而将高级决策交给端到端系统。

具体来说，传统智能驾驶系统中的传感器数据处理模块可以负责接收、解析和预处理传感器（如摄像头、雷达、激光雷达等）采集的原始数据。这些数据可以包括图像、点云、雷达反射强度等。传统系统可以使用传统的计算机视觉、信号处理和机器学习技术来提取特征、检测物体、估计环境状态等。一旦传感器数据被处理和解释，传统系统可以进行一系列低级控制任务，例如车辆动态控制、避障、车道保持等。这些任务可以由传统的控制算法和规则引擎来执行，以确保车辆在特定环境中安全、稳定地行驶。而高级决策任务，例如路径规划、行为预测和决策制定，则可以交给端到端系统来执行。端到端系统可以接收传感器处理模块提供的信息，并基于端到端学习模型对车辆周围的环境进行理解和预测，从而制定适当的驾驶策略和行为。这种方式可以充分利用端到端系统在复杂环境中的优势，并同时确保传统系统在低级控制方面的可靠性和稳定性。

因此，将传统智能驾驶系统中的传感器数据处理和低级控制任务与端到端系统中的高级决策相结合，可以充分发挥两者的优势，实现更安全、可靠和智能的自动驾驶系统。

当然，现在确实有很多研究人员和公司致力于直接实现感知端到端的系统，将传统的感知算法架构替换掉。这种方法的核心思想是利用深度学习技术，直接从传感器数据中学习到端到端的感知功能，而无需显式地设计和实现传统的感知算法。

然而，实现感知端到端方法虽然有诸多优势，但同时也面临一些挑战和限制。

首先是数据需求。感知端到端方法通常需要大量标记数据进行训练，这些数据往往需要经过复杂的收集、标注和清洗过程，成本较高，且对数据的质量和多样性要求较高。其次是泛化能力。深度学习模型在面对新的、以前未见过的情况时，可能缺乏良好的泛化能力，导致在实际应用中表现不稳定或者表现不佳。当然，由于深度学习模型通常被认为是黑盒模型，难以解释其决策过程，这可能对系统的可信度和安全性产生影响，尤其是在涉及到安全关键领域时，如自动驾驶。此外，深度学习模型对于对抗性攻击具有一定的敏感性，即使是微小的扰动也可能导致模型输出错误。这对于自动驾驶等安全关键应用来说是一个严重的问题。在硬件资源方面，深度学习模型通常需要大量的计算资源进行训练和推断，特别是对于复杂的模型结构和大规模的数据集，这可能限制了感知端到端方法在嵌入式系统等资源受限环境中的应用。最后，深度学习模型对于噪声、环境变化等因素可能缺乏鲁棒性，导致在复杂的现实世界环境中性能下降。并且，当自动驾驶等应用通常对系统的实时性要求较高，而深度学习模型的推断过程可能需要较长的时间，这可能限制了感知端到端方法在实时应用中的应用。

端到端模型训练图示

4、要想用好端到端，还需要解决哪些具体问题？

基于如上分析，继续发展感知端到端方法的研究和应用是非常重要的，但也需要解决一些挑战和限制，以确保系统的性能和可靠性。为了提高端到端模型的鲁棒性和泛化能力，以下是一些方法和技术可以用来实现这一目标。

首先，采用数据增强的方式。使用数据增强技术可以通过对训练数据进行变换、扭曲、旋转等操作，生成更多样化的数据，从而帮助模型更好地泛化到不同的场景和条件。通过对抗性训练向训练数据中添加人为设计的微小扰动，以训练模型对抗输入中的扰动，提高模型的鲁棒性的技术。通过多任务学习在同一模型中同时学习多个相关任务，来提高模型的泛化能力。例如，在自动驾驶中，可以同时学习车道保持、行人检测等任务，从而帮助模型更好地理解环境。此外，通过迁移学习将从一个任务中学到的知识迁移到另一个任务中。通过利用预训练的模型或者从其他相关任务中学到的知识，可以帮助模型更快地收敛和泛化到新任务上。

一种典型的端到端模型训练过程

其次，设计合适的模型结构也可以帮助提高模型的泛化能力。例如，使用更深的网络结构、加入更多的正则化项等，都可以帮助减少模型的过拟合，提高模型的泛化能力。模型集成也是一种非常不错的端到端数据处理方法。通过将多个不同的模型集成在一起，结合多个模型的预测结果，可以减少模型的方差，并提高模型的泛化能力。这样可以提高整体性能和鲁棒性。当然，确保训练数据的质量和多样性对于提高模型的泛化能力也是至关重要的。因此，在收集和标记数据时，需要注意数据的质量和覆盖范围，以确保模型能够泛化到各种场景和条件。

进一步讲，为了提高端到端系统的可信度和可接受性，可以进一步研究模型解释技术，使得深度学习模型的决策过程更具可解释性。提升端到端的可解释性是一个复杂而重要的问题，特别是在涉及机器学习和人工智能的系统中。这样能够很好的提高系统的可信度和安全性。以下是一些方法可以帮助提升端到端的可解释性方法，可以提高端到端系统的可解释性，使其更容易被用户理解和信任。

最后，数据驱动的有效利用也是必不可少的。由于端到端智能驾驶系统将继续依赖大量的数据进行训练和优化，同时探索更有效的数据增强和对抗性训练等技术，以提高系统的性能和鲁棒性。在智能驾驶领域，端到端模型的数据驱动优化具有重要意义。数据驱动的方法主要涉及如下一些方面的策略优化：

通过不断地研究和创新，可以实现对智能驾驶端到端模型的数据驱动优化，从而提高驾驶系统的性能、安全性和可靠性。基于以上方法，可以逐步解决感知端到端方法面临的各种挑战和限制，使其成为自动驾驶领域中一个强大而有效的技术手段，为实现更安全、智能和可持续的交通系统做出贡献。

总结

尽管端到端技术正在快速发展并吸引了大量关注，但传统智能驾驶系统架构仍然在某些情况下具有价值，并且可能在未来继续发挥作用。比如通过持续改进算法和参数模型，可以满足一些大规模低端量产智驾功能的需求。此外，通过与端到端系统进行融合，充分发挥两者的优势，实现更全面、灵活和稳健的智能驾驶系统。

此外，这里不得不说，尽管感知端到端方法具有很多优势，如果端到端模型要想更好的利用到更多量产的车型项目中，也需要解决一系列挑战和限制。比如，考虑中小算力域控且安全性、可靠性、实时性和适应性等方面的balance，对于传统智驾系统架构方案的提升和优化仍然是未来的重要发展方向。