80亿参数，40 Token/秒，0.3秒延迟！商汤绝影行业首发原生多模态大模型车端部署

7月5日上午，在由WAIC 2024战略合作伙伴商汤科技召开的「大爱无疆·向新力」人工智能论坛上，商汤科技联合创始人、首席科学家、绝影智能汽车事业群总裁王晓刚表示，“基于原生多模态大模型，商汤绝影正在打造一系列全新的车载智能化产品，推动智能汽车向超级智能体进化。”

一个超级智能体的进化离不开强大的端侧模型，大量原生多模态大模型正在从云走向智能汽车为代表的各种智能终端，车端模型部署能力将成为智能汽车进化过程中不可或缺的技术保障。

商汤绝影在行业率先实现原生多模态大模型的车端部署

在论坛上，王晓刚宣布商汤绝影在行业内率先实现了原生多模态大模型的车端部署。绝影行业领先的车载端侧8B模型首包延迟可低至300毫秒以内，推理速度40Tokens/秒，并且能够覆盖主流算力平台。

商汤绝影率先实现原生多模态大模型的车端部署，性能行业领先

此前GPT-4o的发布为消费者展示了多模态实时交互的方式，让更多人领略多模态感知和交互的魅力，也开始帮助释放多模态大模型的商业落地想象空间。

相较于手机，智能汽车才是更适合承载多模态大模型的落地场景。因为智能汽车内外的各种摄像头是常开的，用户可以实时跟汽车通过多模态的方式进行交互。同时，智能汽车的保有量不断增加，能够产生丰富的终端用户反馈和数据信息，让模型不断迭代成长。

和OpenAI等公司相比，商汤绝影是汽车智能化的核心供应商，在智能驾驶和智能座舱领域具备丰富的量产经验，将以多模态大模型为核心加速「以人为本」的智能汽车交互革新。

但相比于其他的终端，智能汽车有其特殊性，对安全和实时响应有着非常高的要求，汽车是私密空间，终端用户非常在意隐私保护。这就注定了多模态大模型大部分的任务将在车载终端完成。商汤绝影能够以云侧、端云结合、端侧等全栈方式灵活部署多模态大模型，让商汤原生多模态能力能够快速落地智能汽车。

在7月5日上午，商汤绝影宣布在行业率先实现原生多模态大模型的车端部署，并在现场演示了搭载在200 TOPS+平台上的8B模型(即80亿参数)车端部署方案，展示强多模态感知和交互能力。

商汤绝影车载端侧8B多模态模型性能行业领先

相较于动辄就有几秒钟延迟的云上部署方案，商汤绝影车载端侧8B多模态模型可以实现首包延迟可低至300毫秒以内，推理速度40Tokens/秒，引领「以人为本」的智能汽车交互革新。

商汤绝影端侧8B模型线下演示——虚拟拟人问候

商汤绝影端侧8B模型线下演示——交警手势识别与理解

在WAIC 2024面向公众的展台上，商汤绝影还对外展示了在多个不同算力平台上运行2.1B或8B端侧多模态大模型的适配能力。

明年，上千TOPS算力的车载芯片就会问世。基于更高算力的计算平台，商汤绝影多模态大模型车端部署方案的首包延迟将大幅度降低，推理速度进一步提高，为用户带来更加流畅和自然的智能汽车交互体验。

引领多模态车端部署，商汤绝影有「杀器」

多模态大模型能够将语音、文字、图像、手势、视频等各种模态进行高效且深度地融合，提供更加丰富且自然的人机交互体验。

过去许多模型处理不同模态信息是先把语音等输入转化为文字，文字和图像结合进行分析，输出反馈也是先生成文字，根据文字再生成语音输出，会有大量信息丢失和很高的延迟。

由「日日新5.5」体系支持的全新商汤多模态大模型是一种端到端的模型，也就是文字、语音、视频等模态一同输入，模型统一处理后输出相应模态的信息，相较于过去的方案，多模态融合的技术难度是几何倍数的提升。

技术上的高难度是商汤行业领先的原生多模态能力的直接体现。今年4月发布的「日日新5.0」是国内首个对标GPT-4 Turbo的国产大模型，「日日新5.5」体系更是全面升级，数学推理、英文能力和指令跟随等能力明显增强，交互效果和多项核心指标实现对标GPT-4o。

商汤持续迭代的「日日新」大模型体系是商汤绝影多模态的车端部署领先行业的底气所在，也是绝影的「大杀器」之一。

要让多模态大模型从云上落地到车端，商汤绝影还有更多的秘密武器。

由于车载硬件、系统种类繁多，各种加速芯片层出不穷，其他行业和开源的框架工具很难完全支持和适配，同时也为了解决自回归方式生成token效率较低的问题，商汤绝影专为多模态大模型打造了一个「大杀器」——高性能计算引擎「HyperPPL」。它综合了大语言模型、多模态模型、CNN模型、前后处理完整的优化能力，是智能汽车领域最广泛的高性能AI芯片异构计算平台，为商汤绝影多模态大模型落地车端提供强大的计算底座。

HyperPPL目前扩展并支持主流车载计算硬件，兼容多种主流操作系统，适配多个车载芯片的部署平台，使得商汤绝影原生多模态大模型在主流芯片平台均可快速部署上线。

同时，HyperPPL支持flash decode、segment prefill等400多个硬件算子，并对算子进行性能优化，同时量化支持int8、int4模式，并支持训练后量化，从而实现极致推理效率。相较于大多数开源的Python推理框架、C++推理框架以及训练推理框架，商汤绝影自研HyperPPL方案在Orin平台上的推理速度更快，超过40 Tokens/S。而对比英伟达的原生推理框架 TensorRT，绝影的HyperPPL在推理能力相当的情况下，在内存上有明显优势，即以更小的内存达到和前者相同的推理速度。

不仅如此，商汤绝影HyperPPL还针对车载多人场景进行优化，使得车内多人并发情况下，车端多模态大模型的模型推理效率相比单人没有明显降低。

这些「大杀器」为商汤绝影引领多模态大模型的车端部署保驾护航。基于车端原生多模态大模型，商汤绝影将与合作伙伴共同打造全新的车载智能化产品，引领「以人为本」的智能汽车交互革新，加速智能汽车驶入AGI时代。

关于商汤绝影——激发AGI创造力，让智能汽车向超级智能体进化

商汤绝影是加速智能汽车驶入AGI时代的战略合作伙伴。

依托商汤大装置深厚的算力储备、原生的汽车垂类大模型、领先的软硬件架构和全栈数据生产管线四大技术基座，商汤绝影将最前沿的人工智能技术与汽车产业深度融合，构建了驾-舱-云三位一体的通用人工智能（AGI） 技术架构，打造了智能驾驶、智能座舱和 AI 云的多元产品体系，致力于为每一个人提供灵活自适应、深度个性化、安全可信赖、有人文关怀的未来出行方式。

商汤绝影的业务以中国为起点，布局全球，已在中国（上海、北京、深圳、广州）、德国、日本等地设立研发中心。

截至2023年12月，商汤绝影已与本田、比亚迪、长城、广汽、红旗、极氪、哪吒、奇瑞、蔚来等超过30家国内外车企携手合作，覆盖超90款车型，累计交付195万辆智能汽车。