出品 |焉知汽车产业研究

3.车载摄像头应用趋势分析

3.1 行车场景应用趋势

1）前视一体机市场需求持续增大

据相关机构数据显示，2022年中国乘用车市场（不含进口车型）装配AEB的车型销量达到948.5万辆，同比增长21.4％，装配率也从2021年的38.5％提升到47.7％。

从车型价位分布来看，AEB的配装率与车辆价格呈正相关。在国内乘用车市场，35万元以上的价位车型AEB的装配率已经超过90%；而10万~15万的主销车型AEB的装配率却只有35%，10万元以下的车型AEB的装配率仅有2.27%。

图表23. 2022年国内乘用车不同价位区间车型AEB的装配率情况

数据来源：高工智能汽车研究院 、焉知汽车整理

AEB具体实现方案主要包括单雷达、单视觉、雷达+视觉三大类型，其中，基于前视一体机（1V）以及前视一体机+前置雷达的融合方案（1V1R）是比较主流的实现方式。AEB渗透率的不断提升推动了前视一体机市场需求的持续增大。

• 政策法规驱动AEB渗透率不断提升

全球主要国家地区AEB相关法规政策的持续推进，在一定程度上提升了前视一体机的市场需求空间。

图表24. 全球主要国家AEB相关法规政策情况

国家	时间	相关内容介绍
日本	2019	日本国土交通省新规规定，从2021年起在日本推出的全新车型及改款车型必须配备AEB。
欧盟	2019	联合国欧洲经济委员会（UNECE）披露的一项决议，日本、欧盟等约40个国家和地区同意从2022年起，为新车强制导入AEB，目前正在逐步落实中。
中国	2021.03	我国发布一项关于AEB的推荐性国家标准——GB/T 39901-2021《乘用车自动紧急制动系统（AEBS）性能要求及试验方法》，目前尚未发布强制乘用车安装AEB的相关规定。
美国	2023.06	美国国家公路交通安全管理局（NHTSA）发布《联邦机动车安全标准：轻型车辆自动紧急制动系统》的拟议规则制定通知（NPRM），考虑将自动紧急制动系统（AEB）和行人AEB系统纳入轻型车辆的新联邦机动车辆安全标准（FMVSS）中。

信息来源：公开资料整理

另外，欧盟的E-NCAP、美国的IIHS以及中国的C-NCAP评价测试中也在不断增强AEB相关测试的场景内容。

图表25. AEB评价内容变化点

信息来源：NHTSA E-NCAP、C-NCAP、焉知汽车整理

如果车辆要出口到欧盟或北美等法规比较严苛的地区，前视摄像头基本是必选项。如果不使用前视一体机方案，那就只有选择域控制器方案，但这样又增加了成本。因此，一些对成本敏感度比较高的出口车型，不得不选择前视一体机方案。

同时，因AEB法规场景的测试要求越来越高，对于摄像头的分辨率要求也在提高。据业内人士透露，2MP的前视一体机基本满足不了E-NCAP 5星的得分率要求，至少需要搭载分辨率在5MP以上的前视一体机。

• 高性价比进一步推动了前视一体机市场增速

与前视一体机搭配的解决方案通常有以下几种：1V、1V1R、1V3R 、1V5R等。对于实现L2及以下的辅助驾驶功能，通过单目前视一体机搭配不同数量的毫米波雷达，依然是性价比比较高的方案。

虽然，当前基于单J3、单TDA4VM、单A1000L/A1000、J3+TDA4VM，以及双TDA4VM 等各种形式轻量级行泊一体域控系统在不断地落地应用，但短时间内他们在成本上依然不具备优势。

现阶段，2MP前视一体机价位大概在500~600元左右，8MP前视一体机价位大概在800元左右。对于轻量级的行泊一体域控方案，即便成本控制的再好，单域控硬件成本的价格也在千元级别，再加上外围感知传感器，总硬件成本会更高。因此对于一些车企来讲，中高端车型可能会选用行泊一体域控制器方案，对于走量的中低端车型还是倾向于采用前视一体机的方案配置。

2）前视应用 - 三目方案或将退出历史舞台

受摄像头CMOS图像传感器分辨率限制，最开始，在一些高阶智能驾驶系统方案中，为了能够充分覆盖前向的视野范围，不少车型采用了三目方案。但是在国内主流车企的最新平台车型中，前视方案中基本都采用了2颗高分辨率的摄像头，甚至有的只用了1颗8MP摄像头。这既有摄像头分辨率提升的因素，也有成本层面的考量。

图表26. 不同品牌车型平台前视摄像头的应用情况

信息来源：公开资料整理

三目摄像头的主要应用情况如下：

• 长距离窄视角摄像头（28°~30°）：主要用于前向远距离目标的识别和探测，比如远距离交通标志识别、红绿灯状态识别、前方道路施工预警等。

• 中距离主视角摄像头（50°~52°）：主要用于前向中远距离目标的识别和探测。

• 短距离广视角摄像头（100°~120°）：主要用于及时识别近距离车辆加塞、十字路口横穿车辆/行人等。

图表27. 特斯拉HW3.0系统三目摄像头结构示意图

信息来源：Automotive  Teardown Track. System Plus Consulting 2020

据业内人士透露，如果是用于支持L2及以下的辅助驾驶功能，1个8MP前视摄像头基本够用：水平FOV110°~120°，车辆有效探测距离大概在200m以上。

但对于实现高阶智能驾驶功能，比如城市NOA，前视摄像头不仅需要能够识别较远距离的红绿灯、减速带等，还需要在十字路口等复杂场景中，能够探测到相邻车道车辆或非机动车的运动情况，因此需要采用不同视场角的3颗摄像头进行探测距离和宽度上的互补，以扩大前向探测的广度和深度。

随着高清分辨率图像传感器的量产应用，单个高清摄像头在同样的视角情况下，便可以覆盖更远的距离。比如，索尼IMX490（5.43MP像素），即使使用单个H-FOV50°摄像头，其有效覆盖范围也远超过2个1.2MP像素（H-FOV35°+H-FOV50°）的摄像头组合。因此，对于之前的三目摄像头方案，可以直接去掉长焦摄像头，只使用中焦和广角两个高分辨率摄像头即可。

3）前视/侧视摄像头模组去“ISP”化

整车EE架构在不断地迭代升级，现在已经由分布式ECU架构进入到集中式域控制器架构时代，并逐步向中央集成式架构迈进。

在集中式域控制器架构下，DCU控制单元中的主控SoC芯片一般都直接带有ISP模块，可以支持多个摄像头RAW Date数据的处理，来帮助摄像头模组“减负”。因此，摄像头模组本身便可以无需安装ISP，只作为信息采集的硬件设备即可。这样不仅可以降低整个系统的硬件成本，也解决了摄像头高清化所带来的散热问题；同时，也符合摄像头小型化和轻量化的发展趋势。

另外，应用算法最终是要在域控制器里运行，算法能达到什么样的效果，其实域控厂商最了解。把ISP放置到域控制器端，也便于域控厂商自己去做ISP调试，这样更容易充分发挥出算法能力。

因此，应用在行车ADAS中的前视、周视摄像头，通常不带ISP模块。但环视摄像头中的CMOS图像传感器一般会集成ISP模块。目前环视摄像头大多还是直接接入到车机去做360°成像显示，如果摄像头模组厂商直接把ISP调试好，做成标准产品交付，会帮助主机厂或解决方案商在开发过程中避免复杂的ISP调优过程。

毕竟，车载摄像头ISP的调试具有比较大的技术门槛，多数Tier1、芯片厂商以及主机厂并不具备ISP的调试能力。同样，ISP的调试也是一项非常消耗人力资源的事情，即便是主机厂具备这样的能力，除非是一些重要项目，否则也会尽量避免自己去做调试。

4）侧视应用 - 超级鱼眼摄像头代替传统侧视摄像头+环视摄像头

随着智能驾驶功能的不断迭代升级，现在智能汽车上所配置的摄像头的数量越来越多，通常达到9V~12V的水平。更多的摄像头虽然可以覆盖到更多的场景，但对系统成本以及整个系统的可靠性而言，也会带来不小的挑战。毕竟传感器数量越多，整个系统失效的概率也会变大。

那么，是否能够对这些摄像头进行精简整合呢？华为曾在2021年上海车展上展出其正在研发的超级鱼眼摄像头，据介绍，该摄像头可以同时兼顾较大的FOV和长达80m的探测距离，可以用4个超级鱼眼摄像头替代传统侧视和环视共8个摄像头。

焉知汽车认为，只要超级鱼眼摄像头性能能够达到要求，从性价比角度来看，它是一种比较可取的方案，并符合当下企业追求性价比的趋势。据相关人士透露，目前已有不少企业在布局这样的方案。

对于这样的方案可能还会存在以下顾虑：

• 超级鱼眼摄像头在具备较大的FOV情况下，是否还能兼顾较远的探测距离？

• 通过之前传感器方案采集并标注的数据，现在还有多少能复用？

• 超级鱼眼摄像头作为侧视摄像头做远距离物体探测的时候，是否会因为畸变而存在一些问题？

• 车载摄像头通常都是定焦方案，超级鱼眼摄像头是否会考虑做成变焦方案？

3.2 泊车场景应用趋势

1）环视系统的“控制权”会转移到座舱或智驾域控

当前，环视摄像头主要有以下几种控制形式：

• 不带APA功能，只有AVM功能，环视摄像头直接接入到车机来控制；

• 带APA和AVM功能，环视摄像头直接接入到独立的泊车控制器里去控制；

• 带APA和AVM功能，并且配置有座舱域控制器，环视摄像头接入到座舱域控制器来控制；

• 除了带APA和AVM功能外，还带有HPA以及AVP等功能安全要求比较高的泊车功能，则环视摄像头接入到智能驾驶域控制器来控制。

对仅有360环视功能的中低端车型，4颗环视摄像头一般会直接接入到车机系统。如果主机厂原先的一些旧车型平台，是由独立泊车控制器形式来实现APA和AVM功能，那么，为了保证开发成本可控，原平台上车型基本会继续沿用旧方案。但从长期来看，独立的泊车控制器的形式会消失，360环视摄像头会直接接入到座舱域控或智能驾驶域控。

总的来讲，把环视摄像头接入到座舱域控制器，还是接入到智驾域控制器，应用目的不太一样 —— 接入到座舱，会更侧重360环视在人机界面的直观体验；接入到智驾域控制器，360环视系统需要跟行车ADAS相关功能进行联动，会更强调功能的安全性和可靠性。

2）基于360°环视摄像头进行感知功能拓展

之前的“价格战”让车企对成本更加地“斤斤计较”。对于供应商而言，如果产品没有较高的性价比，他们就很难打入到车企的供应链体系。

如何提高性价比，有一个比较常规的做法便是“加量不加价”，即一套解决方案在不提高成本的情况下，为车企提供尽可能多的功能体验，为车型增加宣传卖点。

对于泊车场景下的360环视功能也是如此，如何在原有硬件方案的基础上，对环视系统做一些感知功能方面的延伸，通过调整软件去增加更多实用性的功能是现在很多环视系统方案解决商一直在思考的问题。

目前，大家正在做的一些尝试，包括增加透明底盘、移动物体监测和预警（MOD）、车道偏离预警（LDW）、行车记录仪（DVR）、视觉开门提醒（DOW）等功能。

透明底盘：通过环视摄像头将拍摄到的图像进行拼接合成并保存历史帧图像。系统将根据车辆运动的数据（车速、档位、转向角等）预估车辆的行驶轨迹。参考车辆的行驶轨迹，并以车辆运动坐标代替图像坐标，调取与当前车底位置相对应的历史帧图像，并与实时的车辆外部图像进行叠加拼合，最终呈现出动态透明底盘的效果，并输出显示到舱内的显示屏上。

该功能的主要作用是让驾驶员能够看清轮胎的位置以及车底路面状况，及时让车辆避开井盖、坑洼、尖锐物体等，确保车辆在狭窄或崎岖不平等复杂路况下低速通行的安全性。

图表28. 透明底盘工作原理流程图

右转辅助：很多主车道旁边都有非机动车道，待绿灯右转时，机动车和非机动车一起右转，很容易发生交通事故。这种场景下，把环视摄像头作为角雷达的冗余传感器，能够有效避免事故的发生。

车道偏离预警LDW：车道偏离预警功能通常是基于前视摄像头来实现。但对于一些未配置前视摄像头的车型，可通过环视摄像头识别车道线来实现车道偏离预警功能，以提升车型的溢价能力。

移动物体监测功能MOD：随着摄像头距离探测精度提升，一些中低端车型出于成本考虑“砍掉”超声波雷达的情况下，完全可以用环视摄像头来实现近距离的移动物体检测功能。

车企是否希望在360环视功能的基础上再去拓展一些新的功能，首先，会考虑整个系统成本会增加多少；其次，要看新增功能的实用性如何，是否能成为一个宣传卖点。再一个也要看原车型硬件是否有足够的算力去支持集成这些功能。总之，在原来360环视系统的基础上做“加法”是一个必然的趋势。

3）中短期内，3MP摄像头或将成为环视应用的主流产品

目前，在环视摄像头应用市场，主流应用还是1.2MP/1.3MP，同时2MP环视摄像头也逐渐开始量产应用。

现在，环视摄像头的分辨率正在由1.2MP升级到2MP甚至是3MP。比较重要的一个原因是：座舱内的中控显示屏幕的尺寸越来越大，现在动辄就是13英寸甚至15英寸大屏。据业内人士介绍，显示屏幕变大以后，在光线不均匀的情况下，1.2MP摄像头输出图像的周边的噪点非常严重。2MP摄像头输出的图像质量会提升很多，3MP摄像头的输出显示的图像质量效果更佳。

为什么说3MP环视摄像头会直接成为中高端车型应用趋势呢？

因为在短期内，舱内屏幕尺寸的大小几乎不太可能发生较大的变化，摄像头像素再往上增加，对于图像显示效果上的提升也变得有限。如果单纯为了图像显示效果，目前来看，5MP或8MP环视摄像头对屏幕显示效果的加成作用已经不大。

另外，也有价格方面的考量。目前2MP与3MP两者价格相差很小，一旦3MP摄像头的出货量提上来，可能会比2MP摄像头在价格上更具优势。

再者，3MP环视摄像头更多地是应用在中高端车型上，支持行泊一体功能。也就是说3MP环视摄像头不仅用于近距离的物体成像和感知，还需要兼顾在行车场景下，更远距离的目标识别和和探测能力。据相关企业试验评估，针对行车工况下目标探测（比如20m以内的车辆，15m以内的行人），相比2MP环视摄像头，3MP环视摄像头的实现效果更佳。

那么，在行车场景下，5MP甚至8MP环视摄像头的目标探测能力会更强，这毋庸置疑。但5MP或8MP环视摄像头在价格上是最大的障碍，短期内还无法下降到跟2MP或3MP摄像头相当的水平。

针对行车工况下的近距离目标探测，3MP环视摄像头已经完全够用。如果要作为超级鱼眼摄像头实现周视和侧视的二合一，那么，这种情况下超级鱼眼摄像头也许会采用5MP甚至更高分辨率的8MP摄像头。

4）随着环视摄像头的感知能力增强，超声波雷达或将被取消

早期，泊车辅助功能是通过在后保险杠布置4颗超声波雷达，作为倒车时的安全辅助装置。紧接着摄像头开始引入到车载领域，通常在后牌照板上方布置1颗倒车后视摄像头，通过影像显示来辅助泊车。再往后，倒车影像功能升级为由4颗环视摄像头实现的360全景影像系统，4颗倒车防撞超声波雷达也升级为由12颗超声波雷达来实现的半自动泊车（APA）功能。现在很多车型甚至都标配了基于4颗环视摄像头+12颗超声波雷达去实现的视觉融合全自动泊车系统。

从泊车功能的发展历程来看，环视摄像头最开始主要是用于成像，通过把车身周边的场景呈现给驾驶员去辅助其进行决策。现在环视摄像头不仅用于成像，同时也发挥感知作用，用于目标识别和探测。但测速和测距正是超声波雷达所擅长，如果环视摄像头测速和测距的精度能够跟超声波雷达媲美，是否意味着超声波雷达就可以被“砍掉”？

实际上，超声波雷达毕竟是一类性能稳定可靠且性价比非常高的感知传感器，短期内不太可能被完全取消掉。在目前情况下，如果要做到极致安全，超声波雷达还有其存在的价值：

• 超声波雷达适合短距离的障碍物监测，不需要特殊算法，非常适合应用在小算力泊车产品。

• 在地下停车场，车往后倒的时候，如果后面是一堵没任何纹理的墙，摄像头还无法完全精准识别和探测。如果加上超声波雷达，则可以避免碰撞的发生。

• 相比环视摄像头，超声波雷达可以输出高精度的点云信息（带距离和方位）。比如，寻找停车位，超声波雷达扫过后，有比较清晰的轮廓，置信度比较高。而通过摄像头扫描车位的范围还不够大，并且置信度有限。另外，超声波雷达在车位识别的正确率，特别是空间车位的识别上，具备一定的优势。

• 同一类传感器做得再好，总归还是有不足的地方，需要不同类型异构传感器之间进行互补。毫米波雷达在低速模式的精确度尚未达到一定水平的情况下，超声波雷达依然是与环视摄像头在低速场景下互补最合适的传感器。

虽然，目前超声波雷达的确具备存在的价值，但是从长期来看，超声波雷达被取消掉也存在很大的可能性。

• 随着摄像头分辨率提升，以及算法能力的提升，在充足算力的域控制器计算平台的支持下，环视摄像头的测距和测速能力也会不断提高。

• 从另外一个角度讲，对于一些中高配车型，如果本身配备了角雷达（毫米波雷达），角雷达的存在也会给超声波雷达带来一定的威胁。毫米波雷达一般都有高低速模式，只不过现在毫米波雷达的低速模式下的探测精度（±3~4cm）尚未达到超声波雷达的探测精度（±1cm）。

因此，随着环视摄像头测距和测速精度的提升，以及毫米波雷达在低速模式下探测精度的提高，超声波雷达最终很有可能被取消掉。

3.3 舱内场景应用趋势

摄像头在座舱内的应用主要有DMS（驾驶员监测系统）和OMS（乘员监测系统），通过摄像头采集数据，并利用深度学习算法对收集到的图像/视频数据进行处理，从而完成识别、检测、分类等多样任务。依托AI视觉技术的快速发展，基于红外摄像头的主动式感知方案已成为DMS和OMS的主流技术实现路径。

1）DMS功能不断拓展

DMS系统除了用于驾驶员状态监控外，还在不断地进行功能升级和拓展，进而提升整个座舱的安全性和舒适性体验。

• 基于Face-ID的定制化智能交互与服务

驾驶员进入驾驶位，系统自动启动摄像头并进行面部身份识别。如果是第一次用车，需要通过相关身份验证，然后创建专属的驾驶员ID，并设置自己的驾驶行为偏好。待下次驾驶时，通过系统身份认证后，系统会根据驾驶员预设置好的偏好进行自动调节，比如座椅位置、外后视镜角度、播放曲目等。

• 通过更加智能的算法进行生理信号探测，提供更人性化和情感化的服务

随着AI视觉算法的增强，摄像头对人类面部动作的感知越来越精确，系统通过相关数据能够准确判断出驾驶员的情绪，当驾驶员情绪不佳的时候，智能聊天机器人能够主动问候，以示关心。

另外，DMS摄像头还能实现驾驶员健康分析，通过分析驾驶员面部血氧含量，可测量出心跳、压力、呼吸等生物体征，并对驾驶员的健康状态进行实时的监测和提醒。

• DMS监控范围扩展，升级为IMS（座舱监控系统）

随着软件算法能力的提升以及AI视觉技术的发展，有些厂商在尝试将DMS与OMS合并为一体式的座舱监测系统（IMS），为座舱功能多样化提供技术基础。

可以基于一颗摄像头同时去实现DMS和OMS功能，它通常布置在内后视镜处，兼顾驾驶员及前后排乘客，不仅可以实现驾驶员的危险行为、疲劳驾驶、分神驾驶等状态监测，同时，还能对舱内乘客及相关物品进行实时感知和跟踪监测。

图表29. 舱内监测系统方案

信息来源：欧菲光

2）DMS由独立控制走向被集成

最开始，DMS通常使用独立的控制单元。但随着整车EE架构的演进和AI芯片技术的发展，用于座舱或智驾域控的主控SoC芯片中一般都集成有丰富的异构资源，比如基本都配置有图像处理模块-ISP和 AI处理单元-NPU，并且算力资源也有了富余，能够支持多通道视频的输入和处理能力。

DMS功能跟智驾和座舱都有一定的相关性，被整合在哪个域也都存在一定的合理性。现在存在两种不同的集成路线方案：DMS被集成到座舱域和DMS被集成到智驾域。

DMS融合到哪个域合适，可以参考以下几点原则：

• 域控制器需有足够富余的硬件资源支持它集成进来。

• 有成本优势：总成本降低或只增加有限的设计和开发成本，能够提升产品的溢价能力。

• DMS系统本身的功能安全等级不超出该域控制器本身的功能安全等级。

a.智能座舱域集成DMS功能

智能座舱也在不断地往智能化方向发展 —— 多屏互动、AR-HUD、拟人化人机交互和多模态人机交互等功能在智能座舱中变得越来越普遍。然而，DMS是多模态人机交互的重要组成部分，如果将DMS算法集成到智能座舱域，可以共享智能座舱域控制器算力，同时，便于基于座舱内其它传感器输入的数据进行功能融合创新，进而打造更稳定、更可靠、更精确的DMS解决方案。

DMS可以基于视觉，并结合面部表情与语音、手势实现多模态交互，不断丰富座舱的交互方式。比如，系统可以根据驾驶员的面部表情、语音和手势动作来综合判定判断驾驶员的心情变化，从而自动调节车内氛围和播放音乐类型。

b.智能驾驶域集成DMS功能

除了融合到智能座舱域，DMS算法被集成到智能驾驶域也是另外一种比较主流的趋势。

在人机共驾阶段，DMS是必不可少的驾驶辅助系统。DMS系统不仅要监控驾驶员是否分心或疲劳驾驶，同时还要确保驾驶员处于随时能够接管车辆的最佳状态。DMS系统设计的成熟度甚至会直接影响到L3级自动驾驶的落地时间。

智能驾驶系统可以根据DMS摄像头的探测数据，结合车辆行驶和控制状态进行分析，判断驾驶员是否处于疲劳驾驶，甚至脱离驾驶的状态，比如是否出现连续加速或减速、猛打方向、短时间内车辆连续偏离既定车道等不稳定驾驶状态。如果驾驶员被判定处于不安全的驾驶状态，必要情况下系统会直接接管车辆，主动减速并安全靠边停车。

总之，如果DMS与智能驾驶系统进行联动，涉及到了车辆的控制。那么，DMS的功能安全设计要求必然会比较高。这种情况下，DMS算法集成到智能驾驶域控更合适。

3）舱内视觉感知升级 — 从2D升维到3D

传统2D摄像头可以实现二维平面成像，而3D视觉感知是一种深度传感技术，能够实现三维成像，除了提供目标对象的X和Y值之外，还能够提供深度值。因此，3D视觉传感器可以更加真实、准确地呈现物体的形态与结构，再叠加AI大模型技术的应用，有望成为智能座舱中主流的视觉感知技术。

目前3D视觉感知主要有3种技术实现路径：双目立体视觉、结构光和 ToF。其中，双目立体视觉是被动式成像，受环境光影响较大，适合中远距离的户外场景。结构光和ToF属于主动式成像方案，适合室内外中短距离场景。

相比结构光，ToF方案结构简单、可靠性更好；另外，据业内相关人士透露，在模组成本方面，应用结构光技术的3D传感摄像头模组成本约为20美元，采用3D ToF技术的3D传感摄像头模组成本约为12~15美元，ToF技术方案具有明显的成本优势。整体来看，ToF 技术将会是舱内主流的3D视觉感知交互方案。

图表30. 三种3D视觉感知方案对比

信息来源：华泰研究、亿欧汽车、焉知汽车整理

3D ToF（Time of Flight）工作原理: 首先使用调制的红外光源主动向目标物体发射光线脉冲，然后通过接收器接受返回的光信号，最后测量发射光和反射光之间的飞行时间或相位差得到目标物体的深度信息。

图表31. 3D ToF工作原理

3D ToF传感器通过获取目标物体的水平、垂直、深度三维视觉数据，并输出点云图像，有助于使用AI模型进行训练。AI大模型在座舱中不断地被推广应用，有助于推进3D 视觉在座舱内的创新应用。

目前，ToF方案正处于上车初期，在座舱内，主要用于实现的功能包括DMS/OMS、3D手势控制、车内驾驶员身份识别等。

图表32. ToF 技术在座舱内可实现的主要功能

信息来源：公开资料整理