其实不用大段文字介绍毫米波原理，目前比较主流的自动驾驶公开数据集NuScenes的真实数据为例就可以非常容易的理解这个道理。比如毫米波雷达在识别静态目标上就存在较多误判。实际上，问题不在于毫米波无法识别静态物体，而是在于传统2D、3D毫米波自己分辨率低，噪声多，无法正确识别静态物体的位置，也很难结合前方车道几何形态正确判断是否需要躲避。

根据同一场景的三幅可视化图片可以发现，3D毫米波雷达在高度上是缺失的，而且目标点密度很低，远低于激光雷达，所有目标检测点是堆在一维线上的，由于毫米波雷达信息很少，一般在指导自动驾驶决策规划的之前要和视觉还有激光雷达进行融合。

如下图所示，和Lidar不同，毫米波检测点位置并不准确，也非常稀疏，另外还有大量噪声，即使在自车坐标系下仍旧很难和视觉检测框正确关联。

高速上有很多静止物体会触发毫米波回波形成检测点，比如桥洞，龙门架，地面的井盖，在前车经过这些静止物体的时候就很容易触发误匹配，从而造成幽灵刹车，严重甚至造成后车追尾。这是因为毫米波高度上没有足够分辨率，当前车经过桥洞下时候，这时候分别属于前车和前方静止桥洞的毫米波检测被错误的匹配了视觉目标。由于毫米波雷达能够给出前车相对自车速度，那么这种情况下错误匹配成前车的桥洞点就会告知自车，前车突然刹停，这时候最合理的操作就是开始减速，造成所谓的“幽灵刹车”。

为了减少幽灵刹车，对于L2辅助驾驶而言，车企只能选择降低对完全静止物体毫米波量测的置信度，且要求驾驶员时刻关注路况。这样当前出现静止障碍物的时候，辅助驾驶就有可能忽略这一毫米波雷达检测，导致自车不误制动了。

然而，这种方式并非真正能解决问题的，考虑到使用的传感器是能够尽量最大化的利用起来。

在实际应用中，雷达通常与相机和激光雷达融合进行目标检测。我们将融合框架分为四类：输入融合需要轻量级预处理来显式处理雷达位置不精确；级联 ROI 融合对传感器故障的鲁棒性不强，而并行 ROI 融合则改善了这一点。特征图融合为网络提供了更大的灵活性来组合雷达和视觉语义，但需要特定的训练技术才能有效学习。决策融合利用模态冗余，因此在现实世界的应用中很受欢迎。位置信息可以在轨道到轨道架构中稳健地融合，或者借助网络语义，类别信息可以与贝叶斯推理或证据理论融合。

Radar感知基础下的融合检测

不同的观察和表示具有不同特征的对象。传感器融合可以被视为将不同模态映射到公共潜在传感器空间，其中同一对象的不同特征可以关联在一起。对于基于神经网络的检测来说，将融合架构传统分类为早期（输入）、中期（特征）和晚期（决策）融合是不明确的。例如，在晚期融合的定义中，无法区分ROI 级（无类别信息）融合和对象级（有类别信息）融合之间存在差异。因此，需要根据融合阶段明确对融合的方法进行分类，这是有益的。即下图所示，因为不同的融合阶段对应于不同级别的语义，将融合架构分为四类：输入融合、ROI融合、特征图融合和决策融合。对于 ROI 融合，我们进一步研究了两种架构：级联融合（将雷达提案投影到图像视图）以及并行融合（融合雷达 ROI 和视觉 ROI）。

输入融合应用于雷达点云，它将雷达点投影成以距离、速度和RCS为通道的伪图像。然后，类似于RGB深度图像，雷达伪图像和视觉图像可以连接成一个整体，最后可以应用视觉检测器对这个多通道图像进行检测。输入融合并没有独立利用雷达的检测能力，换句话说，假设模态之间良好对齐，那么雷达和视觉模态将是紧密结合的，此时，网络可以更轻松地学习联合特征嵌入。然而，一个明显的缺点是该架构对传感器故障的鲁棒性不强。

融合性能取决于雷达探测与视觉像素的对齐，当然这里的困难在于三个方面：首先，雷达点云高度稀疏，许多来自表面的反射由于镜面反射而被弹开。结果，检测到的点在物体上分布稀疏。除了稀疏性之外，雷达测量的横向不精确性导致了进一步的困难。雷达点可能超出视觉边界框，不精确性来自不同方面，例如，外参标定不精确、多路径效应和低角分辨率。第三个限制是低分辨率雷达不能提供高度信息。为了解决这些困难，需要一些关联技术。依靠网络隐式学习关联是一项艰巨的任务，因为网络往往会简单地忽略如毫米波雷达这样的弱模态信息。由于目标检测不需要像这样严格的关联深度补全，所以一些扩展方法对于实时处理来说成本太高。有一些方法可以实现利用轻量级高度扩展作为预处理机制，并在连接之前对雷达输入进行一层卷积，这个卷积层可以被认为是关联网络的轻量级版本，不同范围的雷达检测需要不同大小的感受野进行关联。因此，可以将雷达伪图像与多个尺度的图像特征图连接起来。

ROI融合改编自经典的两阶段检测框架。感兴趣区域（ROI）可以被认为是一组没有类别信息的目标候选者,融合架构可以进一步分为级联融合和并行融合。级联融合，直接利用雷达检测进行区域提议，将雷达点投影到图像视图中作为锚点anchor的候选位置，然后借助视觉语义确定ROI。这里可以采用两种技术来提高锚点质量。首先，向锚点添加了偏移量来模拟雷达检测的位置不精确性。为了减轻图像视图中的尺度模糊性，根据检测到的范围测量直接提出3D边界框，然后将这些框映射到图像视图。这样，可以避免重新缩放步骤。也可以在3D边界框上提出的区域使用视觉 ROI 的雷达点云。基于视锥体的关联，使用视觉边界框生成雷达 ROI 视锥体。

级联融合特别适合低分辨率雷达，其中雷达点云具有较高的检测召回率，但非常稀疏。然而，级联结构存在两个潜在问题。首先，性能受到融合完整性的限制。在第一阶段提出的ROI如果一个目标丢失，将无法在第二阶段恢复它。第二个问题是级联结构无法利用模态冗余。如果雷达传感器不起作用，则级联结构无法利用模态冗余。整个传感系统就会失效，因此需要引入并行结构进行ROI融合，采用两分支结构进行ROI融合，雷达和视觉ROI独立生成，然后融合模块通过取集合合并合并雷达 ROI 和视觉 ROI，同时通过 NMS 删除冗余 ROI。为了实现模态的自适应融合，针对ROI 的门控感兴趣区域融合（GRIF）模块首先通过卷积 sigmoid 层预测每个 ROI 的权重，然后将雷达和视觉的 ROI 乘以相应的权重并按元素相加。

特征图融合利用了雷达和图像的语义，高分辨率雷达可以为分类提供足够的语义线索。因此，特征图融合利用两个编码器将雷达和图像映射到同一潜在空间具有高级语义。检测框架很灵活，包括一阶段方法和两阶段方法。一阶段方法利用神经网络的两个分支分别从雷达和图像中提取特征图，然后将特征图连接在一起。两阶段融合方法中第一阶段首先融合从雷达和图像中提出的 ROI。在第二阶段，融合后的ROI 分别投影到雷达和视觉特征图。ROI 内的特征图被裁剪并调整为相同大小的特征，来自雷达和图像的特征裁剪成对后通过元素均值融合并发送到检测头。一般来说，两阶段方法具有更好的性能，但比单阶段方法慢得多。无锚方法进一步避免了与锚框相关的复杂计算，例如计算IOU训练期间得分。

特征图融合允许网络灵活地结合雷达和视觉语义。然而，融合网络可能面临忽视弱模态和模态协同作用的问题，需要一些训练技术来迫使网络从雷达输入中学习。比如，采用一种模态丢弃方法，在训练过程中随机停用图像分支。在训练融合分支时使用权重冻结策略来固定预训练特征提取器的权重，表明仅冻结图像分支效果最好。然而，多种模态的融合并不能保证总是比使用单一模态更好。有时，如果雷达分支给出噪声输入，我们希望网络降低雷达分支的权重。为了实现自适应融合，在融合网络中采用自注意力和全局通道注意力两种模式。自注意力用于增强真实目标点并削弱杂波点，而全局注意力模块为用于估计模态权重。将传感器熵估计为模态权重，对于每种模态，熵被逐像素评估为权重掩码。然后，这些权重掩码在融合层与每个模态的相应特征图相乘。

决策融合假设对象通过不同的模态独立检测，并根据它们的时空关系将它们进行融合。这种结构实现了系统级的传感冗余，因此对模态错误具有鲁棒性。由于雷达分辨率较低，现有研究大多没有明确考虑雷达估计的类别信息。换句话说，它们仅融合来自雷达和视觉分支的位置信息，同时保留视觉估计的类别信息。由于下一代4D雷达可以提供分类能力，因此预计未来的融合框架应同时考虑位置和类别信息。

位置可以在跟踪框架中得到最佳融合。不同的对象首先基于位置信息被关联起来，然后发送到贝叶斯跟踪模块进行融合。由于雷达分辨率较低，在某些场景下很难实现关联，例如卡车分成两辆车或两个近距离物体合并为一辆车。这种关联模糊性可以使用轨迹到轨迹的融合架构来减轻。通过估计轨迹，可以利用时间信息来过滤错误警报并插入遗漏的检测。一些研究人员利用深度学习在雷达和其他模式之间建立更好的关联。比如，RadarNet基于注意力的后期融合来优化估计速度。首先，使用 softmax 训练了一个五层 MLP，以估计每个边界框与其附近雷达检测之间的归一化关联分数。然后，使用关联分数对雷达测量的速度进行加权平均来预测速度。AssociationNet尝试将雷达检测映射到对比学习框架中以便更好的表示空间信息。首先将雷达目标和视觉边界框作为伪图像投影到图像平面。为了利用视觉语义，将这些伪图像与原始图像连接起来。接下来，连接的图像被发送到编码器-解码器网络以输出特征图。根据雷达检测的位置从特征图中提取表示向量。对比损失旨在将正样本的表示向量拉在一起并推开负样本的表示向量。在推理过程中，计算所有可能的雷达视觉对的表示向量之间的欧几里德距离，距离低于阈值的对被认为是关联的。

类别信息，特别是类别预测中的冲突，在传感器融合中很难处理的。这里介绍一种将边界框与类别融合进行处理的概率框架，其中，边界框的位置由高斯分布建模，而类别先验被建模为狄利克雷分布，从而允许以封闭形式计算狄利克雷后验。然后，具有最高分类得分的边界框被视为聚类中心，而其他边界框被视为测量值。最后，使用贝叶斯推理来优化融合这些边界框的位置和类别信息。

这里是对误检测的不确定性进行建模的折扣因子，是准确度，即汽车检测中预测的正确率。假设有两个证据来源S1和S2来自不同的方式。每个来源都提供检测列表，如和。

然后，可以定义关于两个检测的可能关联的三个命题aj 和bj分别如下：{1} 表示假设aj 和bj 是同一个对象；{0} 表示假设aj 和bj 不是同一个对象{0,1} 表示无法判断aj和bj是否为同一个对象，即未知假设。

关联置信度可以根据位置和类别相似度来确定。位置相似性的证据根据马哈拉诺比斯距离可定义为：

其中 测量马氏距离的相似度λ 和缩放因子α，和α是一个证据折扣因子。

对于类别相似性，属于同一类别的两个检测太弱，无法提供它们是同一对象的证据。然而，如果两个检测属于不同类别，则将证据分配给它们不是同一对象的命题是合理的。因此，类别相似性的证据由下式给出

如果没有共享公共类别假设，则融合大量证据，即。其余的证据将置于无知假设中。最后，对于每个检测对，根据 Yager 的组合规则融合类别相似度和位置相似度。证据融合为信息融合提供了可靠的框架。然而，它不能直接应用于基于单一假设进行预测的神经网络检测器。为了解决这个问题，可以使用保形预测来使用少量校准数据从经过训练的网络生成置信集。

尽管基于深度学习的雷达感知在数据集上表现出良好的性能，但很少有研究调查这些方法的泛化性。事实上，一些具有挑战性的情况可能被忽视，但可能会禁止在现实场景中使用这些方法。例如，复杂场景下，多路径传播造成的鬼影现象很常见。过度自信是神经网络的一个普遍问题。由于雷达始终用于安全关键型应用，因此校准检测网络并输出预测不确定性非常重要。尽管我们总是将雷达称为全天候传感器，但许多雷达融合方法并未很好地测试恶劣天气下的鲁棒性。在本文中，我们将提出这三个挑战，并总结一些最近试图解决这些挑战的工作。

多路径是波物理学中的一种现象，其中来自目标的波通过两个或多个路径传播到探测器。由于多径传播，雷达既接收目标的直接反射，也接收目标的间接时移反射。如果目标反射和多径反射占据相同的RD单元，则影响DOA估计的性能。否则，如果它们占据不同的单元格，则可能会在多路径方向上产生鬼目标。在后一种情况下，由于鬼影检测与真实目标具有相似的动态，因此很难在传统的检测流程中消除它们。

多径效应可以分为三种类型。第一类是自车与目标之间的反射。因此，杂波的距离和速度应是真实测量的数倍。第二种是车身底部反射。它通常发生在卡车下方，导致点距离较长。这种透视效果有时是有益的，因为可以检测到被遮挡的车辆。第三种类型是由反射表面引起的镜面重影检测。由于汽车77GHz雷达的波长较大，许多平坦的设施，如混凝土墙、护栏、消噪墙等都可以视为反射面。如下图所示，根据最终反射是发生在目标还是表面上，这种多径效应可以进一步分为类型1和类型2。反射的次数称为多路径的阶数。通常，仅需要考虑低于 3 的阶数，因为高阶反射由于信号扩散而返回很少的能量。

鬼影检测的性能评估需要高质量的数据集。然而，鬼物体的标记是一项艰巨的任务，需要专业知识。有学者研究了一种通过与LiDAR点云比较来自动识别雷达鬼物体的方法。然而，激光雷达测量并不完美。它们有其固有的缺陷，例如稀疏性、范围有限以及没有反射的孔洞。因此，使用激光雷达作为真值系统有时可能会出现问题。在雷达幽灵数据集中，幽灵对象是在辅助工具的帮助下手动注释的。该工具可以根据真实物体和反射表面自动计算潜在鬼影的位置。结果，注释了四种类型的多路径效应，包括类型1二阶反弹、类型2二阶反弹、类型2三阶反弹和其他高阶反弹。此外，它们还通过叠加同一场景中不同帧的对象来提供合成数据集。

与杂波不同，幽灵对象无法通过时间跟踪进行过滤，因为它们具有与真实目标相同的运动学属性。相反，它们可以通过几何方法检测。利用雷达鬼数据集，还可以训练用于鬼检测的神经网络，例如基于 PointNet 的方法和基于 PointNet++ 的方法。由于信号扩散，可以安全地忽略高阶反射。因此，鬼物体通常出现在与真实目标距离相似的环形区域中。因此，后面通过设计一种环形分组来代替PointNet++中的多尺度分组。场景结构和检测之间的关系是识别鬼物体的重要线索，因此，可以使用占用网格图可以提供场景结构的信息。过程中，使用占用网格图和移动物体列表作为 FCN 的输入，来预测移动鬼影检测的热图。如果以LiDAR为参考，使用多模态转换器来捕获鬼物体和真实物体之间的语义关联度也可以是一种不错的方法。其中，通过设计一个多模态注意力模块，由两个模块组成。第一个是雷达点云的自注意力模块。它有望对真实物体和镜像物体的相似性进行建模。然后，第二个多模态注意力模块融合雷达和激光雷达分支的特征图。该融合模块可以看作是计算LiDAR检测和真实雷达检测之间的相关性。

基于学习的雷达检测显示了其对不同道路使用者进行分类的潜力。然而，由于类别不平衡和简单的场景，在研究数据集上评估的性能可能会出现偏差。比如在VoD 数据集中雷达检测就有一些失败案例：两个靠近的行人可以被检测为一个骑自行车的人。一个大型物体，例如一辆卡车或一辆公共汽车，可以分成两个较小的物体。探测器可能会错过反射很少的远处物体。金属杆和高路缘的强烈反射可能会掩盖真实物体。这些故障大多数是由于雷达传感器在角度分辨率和动态范围方面的缺陷造成的。更糟糕的是，神经网络往往对其错误预测过于自信。对于自动驾驶来说，错误的感知信心可能会泄漏到传感器融合和决策等下游任务，从而可能导致灾难性的失败。

这里的不确定性有两种：其一是数据不确定性，也称为任意不确定性，是由噪声输入引起的。其二是模型不确定性，也称为认知不确定性，是由网络训练不足或不适当引起的。模型不确定性的来源包括三种情况：协变量偏移p(x)，标签移位p(y)和开集识别（unseen y）。数据不确定性和模型不确定性的总和称为预测不确定性。对于概率对象检测的任务，两个参数的不确定性是令人感兴趣的：类别不确定性，它编码分类的置信度，以及空间不确定性，它表示边界框的可靠性。类不确定性可以看作是模型不确定性，而空间不确定性与噪声输入引入的数据不确定性更相关。

对于分类任务，最简单的方法是学习一个函数，将softmax层输出的伪概率映射为真实概率，而真实概率定义为训练集上的分类准确度，这个过程通常称为网络校准。由于它是后处理方法，因此模型大小和推理时间均不受影响。校准方法主要关注总体不确定度的任意部分。为了校准雷达分类器，通过比较不同的后处理技术，包括温度缩放、潜在高斯过程（GP）和互信息最大化。互信息最大化实现了性能和推理时间之间的最佳平衡。最近的一些研究表明，软标签增强技术，例如标签平滑和混合，可以有效缓解过度自信问题，从而有助于网络校准。可以在雷达分类中使用标签平滑正则化。核心思想是分类器应该对接收功率较低的远处物体给予较低的置信度。这是两种标签平滑技术，即分别根据距离和接收功率生成软标签。

除了校准类不确定性之外，对于估计边界框回归中的空间不确定性感兴趣。蒙特卡罗 dropout 和深度集成在估计预测不确定性方面很流行。然而，这些方法仅在目标检测方面提供了边际改进，但成本很高。因此，可以直接建模可以被广泛用于估计边界框回归中的任意不确定性。这个想法是让网络估计预测的均值和方差。损失被构造为这里是估计方差，减少了对高方差的惩罚，同时对高方差进行了惩罚。

大雨、大雪、大雾等恶劣天气条件可能对安全驾驶构成重大威胁。不同的传感器工作在不同的电磁波段，因此对环境的鲁棒性也不同。视觉感知容易受到模糊、噪声和亮度失真的影响。在恶劣天气下，LiDAR 在粉雪、大雨和强雾中会出现检测范围缩小和视野受阻的情况。相比之下，雷达在恶劣天气下的鲁棒性更强，天气对雷达的影响可分为衰减和后向散射。衰减效应降低了信号的接收功率，而反向散射效应则增加了接收器处的干扰。灰尘、雾和小雨下的衰减和后向散射对于雷达来说可以忽略不计，而在大雨下雷达的性能则会较大程度的下降。基于降雨衰减和后向散射效应的数学模型表示，在强降雨条件下（150 毫米/小时），雷达的探测范围最多可减少45%。对于 RCS 较小的近距离目标，反向散射效应更为严重，并可能导致额外的性能下降。

在恶劣天气下驾驶可以被视为自动驾驶的一个极端情况。定义自动驾驶车辆设计安全运行的条件是通过设计运行域（ODD）来定义的。如果监控系统检测到违反OOD要求，控制权将移交给驾驶员。然而，操作环境的变化通常是快速且不可预测的。因此，切换机制在安全性方面存在争议。未来，全自动驾驶汽车（SAE 5 级）有望在所有环境和天气条件下工作。然而，大多数融合方法并不是为了明确考虑天气影响而设计的。在好天气下训练的网络在恶劣天气下可能会出现性能下降。

有一些可能的方法可以使网络适应不同的天气条件。一种方法是添加场景切换模块，然后针对不同的天气使用不同的网络。这种方法很简单，但会带来额外的计算和内存成本。另一种选择是在网络中添加一些动态机制。

首先，可以在融合模块中添加了两阶段注意力模块。对每种模态应用自注意力，然后通过交叉注意力将其混合。同时，进一步研究领域泛化问题，即使用良好的天气数据集进行训练并在雾天进行推理。

其次，也有一种门控策略，对每种模态进行排名，并选择前三个可靠的模态进行融合。通过比较三种类型的门控方法：基于知识的门控、基于 CNN 的门控和基于注意力的门控。基于知识的门控针对每种天气条件使用一组预定义的模态权重，而基于 CNN 和基于注意力的门控则从数据中学习权重。在恶劣天气下，门控方法优于融合方法，并且基于注意力的门控可以实现最佳性能。

此外，还有一种熵引导的融合网络，它使用传感器熵作为模态权重。具体来说，使用了深度融合架构，不断融合来自不同模式的特征图。像素熵用作每个传感器分支的注意力图，由于熵图仅以传感器输入为条件，因此融合网络可以在看不见的恶劣天气下稳健地执行。根据不确定性理论，传感器熵可以被视为数据不确定性的度量。

最后，为了利用数据和模型的不确定性，提出一种不确定性感知融合框架。利用决策级融合架构，并期望每个分支输出数据不确定性和模型不确定性。门函数用于根据预测的不确定性对每种模态应用加权平均值。然后，设计两个模块来处理具有高度不确定性的数据。一种用于故障检测，另一个用于持续学习。故障检测中，要求数据不确定性始终高于阈值的传感器被认为发生故障。持续性学习中，模型不确定性高于阈值的数据将被添加到训练集中以进行持续学习。

总结

在本文中，我们总结了深度雷达感知的最新进展。正如我们所看到的，许多研究工作都集中在开发检测任务的模型上。然而，还有一些尚未探索的研究课题或需要解决的基本问题。比如，高质量的数据集、雷达领域知识、不确定性量化、运动预测、干扰缓解等方面还有很多可以被研究的领域和方向。

首先，在缺乏高质量数据集的情况下，需要避免将雷达中的人工智能应用于数据拟合。从数据的角度来看，利用领域知识来开发可推广的感知模型至关重要，这需要利用专业知识来标记幽灵对象。比如可以设计一个注意力模块或利用图卷积来建模真实对象和幽灵对象之间的关系。

其次，雷达领域知识需要在许多阶段予以考虑，例如标记、数据增强、模型结构、训练技术和评估指标。深度学习革命始于 ImageNet 数据集的引入。然而，雷达感知还没有看到它的 ImageNet 时刻。尽管存在许多数据集，但它们在规模、分辨率、数据表示、场景和标签粒度方面有所不同。标签的粒度和质量也是雷达数据集的关键问题。因此，很难公平地比较在不同数据集上训练的不同模型。自从 4D 成像雷达引入市场以来，迫切需要具有高质量注释和多样化场景的数据集。

同时，不确定性量化对于在安全关键型应用中应用人工智能非常重要。由于雷达数据的信噪比较低且雷达数据集规模较小，因此基于 CNN 的雷达探测器预计会出现较高的数据和模型不确定性。这也是需要被重点关注的问题。

此外，雷达的一个被忽视的特征是多普勒速度。除了作为移动道路使用者的一个特征之外，多普勒速度对于运动预测也很有价值。运动预测是自动驾驶领域的一个热门研究课题。通过准确估计道路使用者的运动，下游路径规划模块可以更好地对未来的交互做出反应。