底层创新:昆易推出高清RAW数据压缩技术,高清智驾场景数据成本指数级下降!
模型、算力、数据——高质量智驾的三大要素。随着技术的演进,场景数据的质量和数量越来越成为拉开智驾体验的关键要素。
以RAW格式存储的高清智驾场景数据,将成为未来高质量场景数据的趋势。
一方面,RAW相机作为上车零件,其突出的成本、体积、功耗优势,使其日益成为行业主流选择;另一方面,以RAW格式(即未经ISP算法处理的摄像头原始数据)存储的场景数据,排除了跟随域控制器不断迭代的ISP算法所带来的偏差,使得数据的通用性大大增强,场景数据库作为研发资产的持久有效性得到显著提高;无论是CNN、BEV+Tranformer模型、占用网络、端到端模型,亦或是未来更新的AI模型,高清RAW场景数据都可以通过HIL硬件回灌的虚拟测试方式,高效地完成模型验证。
传统RAW数据回灌方式链路示意图
非压缩RAW数据回灌和经过ISP(图像信号处理)后压缩数据回灌的方式,虽然在一定程度上满足了早期智驾系统从0到1阶段开发的需求,但随着研发的深入,场景数据的增多,其存在的弊端也逐渐显现。
1. RAW数据回灌
非压缩RAW数据虽然保留了最完整的图像信息,但其庞大的数据量给采集、存储、传输、回灌带来了巨大挑战。不仅增加了硬件成本,也增加了数据处理的难度和时间成本。基本上没有任何一家企业可以承担用非压缩RAW数据来构建场景数据库的巨额成本。对智驾性能的理想主义追求和成本的现实发生了碰撞。
2. 经过ISP后压缩数据回灌
ISP后压缩的数据,虽然节约了存储空间,但其弊端也越来越无法回避:
-
信息损失
在回灌虚拟测试阶段,由于控制器需要接收原始RAW数据,需要进行逆ISP转换流程,但由于ISP处理过程中信息的损失无法完全恢复,因此域控制器收到的数据可能与原始数据不一致,对域控算法的感知结果产生影响。
-
一致性难以保持
ISP处理算法和处理平台各异,可能导致同一场景下回灌数据的一致性难以保持,影响算法模型的通用性和准确性。
-
数据难以复用
数据采集后,域控端ISP进行修改或升级时会导致原有采集的数据不可复用。
近年来,昆易在智驾领域服务了近百家客户,在与客户的密切协同中,我们深刻感受到行业痛点;经过昆易研发团队的不懈努力,持续攻关,昆易电子“基于相机RAW数据压缩采集方案”应运而生,采用先进的压缩算法与深度学习技术,实现了RAW数据的高效率、低损耗压缩,确保数据的完整性与还原度,解决了长期困扰行业发展的图像质量和存储成本的矛盾,让“鱼和熊掌”可以兼得。
RAW压缩数据回灌优势
RAW压缩数据回灌方式链路示意图
1. 高效压缩,降低存储成本
RAW压缩数据回灌技术能够在保留关键图像信息的同时,实现对RAW数据的高效智能压缩。这不仅大大减少了数据的存储空间占用,降低了硬件成本,还提高了数据处理和分析的效率。
2. 高保真复原,提高准确性
与传统的ISP后压缩数据回灌相比,RAW压缩数据回灌避免了ISP处理过程中导致的信息损失,可以更准确地还原原始图像信息,提高算法训练的准确性和智驾系统的性能。
3. 跨平台一致性
绕过ISP处理步骤,避免因ISP算法不一致导致的数据失真和非标准化问题,从而提高自动驾驶算法在不同场景下的稳定性和准确性。
4.简化数据处理流程
无需额外对接和校准不同ISP处理流程,简化了数据采集、回灌、处理和分析的处理流程,大大缩短自动驾驶算法的优化周期,加速技术迭代进程。
昆易数据闭环产品全线
应用RAW压缩技术
昆易的自动驾驶数据闭环工具链全线采用了最新的RAW数据压缩和解压缩技术,无论是生成高清场景的自动驾驶场景采集记录仪(ADS 3020),还是使用高清场景的智驾路采回灌系统(REPLAY HIL),确保最终工程师们可以用上高质量的、丰富的场景数据。
自动驾驶场景采集记录仪
ADS 3020
-
支持两片RTX 30Series NVIDIA图形卡
-
支持12路GMSL1/2&FPD-LINK相机接入
-
每路均支持8M/30 FPS RAW压缩存储
-
支持16路CAN/CANFD,15路LIN,2路FlexRay
-
支持2路千兆以太网,可支持扩展
- 高同步精度:高达1ms同步精度,支持PTP/gPTP同步
智驾路采回灌系统
REPLAY HIL
-
最大分辨率支持不低于8M,30fps
-
支持原始RAW、YUV图像注入
-
支持压缩RAW视频注入
-
支持视频回注模块并联拓展使用,各路视频信号传输时间同步1ms
-
支持所有摄像头数据通过同步控制硬线触发
-
支持以太网数据白名单/黑名单回注过滤
-
支持总线数据白名单/黑名单过滤
-
支持UDP、SOME/IP协议激光雷达
实际应用
为了直观对比原始RAW、压缩RAW、原始RAW注入后YUV以及压缩RAW注入后YUV的画面效果,我们精心采集了八个不同场景的数据进行对比分析。
场景1:白天-晴天-园区
场景2:白天-晴天-街道
场景3:白天-晴天-红绿灯
场景4:白天-晴天-公交站牌
场景5:白天-隧道出口
场景6:夜晚-拥堵路段
场景7:夜晚-标志牌
场景8:夜晚-高架
通过多场景对比,无论是在夜间低亮度下还是复杂天气条件下,压缩后的图像在视觉效果上与原始RAW高度近似,尤其是在自动驾驶场景关注的如道路标志、行人、车辆等核心要素,在回灌后的对比画面中,二者几乎无显著差别。昆易电子的RAW压缩数据展现出了高质量的画质和出色的色彩还原度,清晰再现采集场景,充分满足智能驾驶系统对图像质量的高标准需求。
APPLICATION
客户应用
目前,昆易电子基于相机RAW数据压缩采集与回灌技术已获得多家客户的高度认可并成功应用,在多个项目中取得了显著成效。某知名主机厂,在引入该技术后,实现了数据回灌质量的大幅提升,并降低了90%的存储成本,保证了模型训练质量以及智能驾驶系统的整体性能。
昆易某客户采用了11个摄像头1个激光雷达的方案,以非压缩RAW数据存储,每天每辆试验车产生的场景数据约为40~50TB,一年约为15000TB = 15PB数据量,数据量惊人。昆易的多个客户已经构建了100辆车以上的规模化场景采集车队,这种情况下每年产生1,500,000TB =1500PB的数据量,如果全部使用非压缩RAW数据存储,每年仅存储费用就达到数亿元,通过采用昆易RAW压缩技术,将降低90%的存储成本,每年为客户节约成千万上亿的费用。
昆易电子基于相机RAW数据压缩采集方案在保证图像质量的同时压缩了数据存储成本,使得大规模的高质量RAW高清格式场景案例库成为可能。在数据驱动AI迭代的今天,为智驾行业进一步扫清了数据质量的障碍。
在推动汽车走向更安全、更高效、更智能的道路上,昆易深感中国的智驾创新事实上已经进入了无人区。我们一起走在从0到1的创新之路,未来充满希望,也充满许多未知的挑战,没有人应该独自面对这样艰巨的挑战,昆易电子300多名研发工程师愿与您同行,让我们一起披荆斩棘,乘风破浪,胜利到来的那一天,期待我们一起举杯相庆!昆易——让研发更简单!
昆易电子科技(上海)有限公司成立于2011年,致力于嵌入式系统研发测试工具链的开发,服务于汽车、教育、轨道交通、航空航天等行业,通过持续的探索与创新,在快速原型、仿真测试、实车测试、数据采集与解析以及网络仿真测试等领域,与全球400多家整车厂、零部件供应商、高校等客户建立了密切合作关系。
昆易电子为客户提供系统化的HIL解决方案,覆盖了新能源三电(BMS/VCU/MCU)、ADAS自动驾驶(ACC/LKA/AEB等)、车身、传统汽车动力(EMS/EPS/ESP等)以及座舱等多个关键领域,同时提供全面的硬件在环定制化测试服务。
请先 登录 后再发表评论~