BEV 感知在自动驾驶领域具有重要意义，是规划、控制和运动预测的基础。BEV 特征的质量直接影响 BEV 感知的性能。然而，考虑到相机参数和 LiDAR 扫描中的噪声，通常得到有害噪声的 BEV 表示。扩散模型自然具有将噪声样本去除到理想数据的能力，这促使作者利用扩散模型来获得更好的 BEV 表示。在这项工作中，作者提出了一个端到端的框架，称为DiffBEV，以利用扩散模型的潜力，以生成一个更全面的 BEV 表示。据作者所知，这是第一个应用扩散模型的 BEV 感知。在实际应用中，设计了三种不同的条件来指导扩散模型的训练，该模型对粗样本进行去噪处理，并逐步细化语义特征。利用交叉注意力力模块融合 BEV 特征的上下文和条件扩散模型的语义内容。DiffBEV 在 nuScenes 数据集上达到了25.9% 的 mIoU，比现有的最佳方法高出6.2% 。通过对多个基准测试的定量和定性分析，验证了DiffBEV在 BEV 语义分割和3D目标检测任务中的有效性。

强烈推荐！自动驾驶与AI学习社区：欢迎加入国内首个自动驾驶开发者社区！这里有最全面有效的自动驾驶与AI学习路线（感知/定位/融合）和自动驾驶与AI公司内推机会！

求职社群来了！面向自动驾驶与AI相关的算法/开发求职，面试题目/面经/日常吐槽应有尽有！

在自动驾驶任务中，鸟瞰视图(BEV)感知起着至关重要的作用，它需要对现实世界进行紧凑而准确的描述。BEV 感知的一个重要组成部分是 BEV 特征的质量。以经典的 LSS [33]为例，首先从主干编码器中提取图像特征，然后沿着深度信息转到BEV空间。然而，由于平面世界假设并不总是有效，而且 BEV 中的特征分布通常是稀疏的，因此下游感知结果往往是扭曲的。如下图1所示，当使用 LSS [33]作为视图转换器时，最终的分割结果有三个缺陷:

在图1的最后两行，感兴趣的驾驶区域和车辆目标被错误地分类到背景中。

上述观察直观地激励作者探索更细粒度和更详细的 BEV 特征的下游感知任务。考虑相机参数和激光雷达扫描中的噪声，通常得到含有有害噪声的 BEV 表示。扩散模型自然具有对理想数据去噪的能力。近年来，扩散概率模型(DPM)在生成性任务中表现出了巨大的作用[5,22,25,31] ，但其在 BEV 感知任务中的潜力尚未得到充分的发掘。在这项工作中，作者提出了DiffBEV，一个新的框架，利用条件 DPM 来提高 BEV 特征的质量和推动 BEV 感知的边界。在DiffBEV 中，从视图变换器获得的深度分布或 BEV 特征是条件 DPM 的输入。DiffBEV 探索了条件扩散模型的潜力，并逐步细化了带噪 BEV 特征。然后，提出交叉注意力模块，融合条件扩散模型的细粒度输出和原始 BEV 特征。该模块自适应地建立了生成的特征与源 BEV 内容之间的内容关系，有助于获得更精确、更紧凑的感知结果。

DiffBEV 是一个端到端的框架，可以通过改变任务特定的解码器来轻松扩展。在本文中，作者评估了 BEV 语义分割在标准基准上的性能，即 nuScenes [6] ，KITTI Raw [11] ，KITTI Odometer [4]和 KITTI 3D Object [11]。DiffBEV 在 nuScenes 基准上达到了25.9% 的 mIoU，比之前表现最好的方法高出6.2% 。在驾驶区域、行人穿越道、人行道和汽车的划分方面，DiffBEV比其他方法有很大优势(分别为 +5.0% 、+10% 、 +6.7% 和 +11.6% IoU 得分)。定性可视化结果表明，DiffBEV 比已有的方法具有更清晰的边缘。此外，作者还比较了流行的 nuScenes 基准上的3D 目标检测和其他现代3D 检测器的性能。在没有trick的情况下，DiffBEV 为3D 目标检测提供了优势，并在 nuScenes 上提供了大约1% 的 NDS 改进。DiffBEV 在 BEV 语义分割和3D目标检测方面都取得了领先的表现。作者的贡献可以归纳为以下三个方面。

扩散模型广泛应用于人工智能生成内容(AIGC)中，在生成模型中占有重要地位。扩散模型在图像生成[14,18,36,45] ，检测[7] ，分割[1,3,8] ，图像到图像转换[23,24] ，超分辨率[38] ，图像修补[5] ，图像编辑[31] ，文本到图像[2,15,25] ，视频生成[17,40] ，点云[30,49,52]和人体运动合成[22,39]展现其超强能力。DDPM-Segmentation[3]是第一个将扩散模型应用于语义分割的工作，它预先训练扩散模型，然后为每个像素训练分类器。但是，预训练和微调这两个阶段的模型耗费了大量的训练时间，影响了模型的效率。DiffusionInst [16]将扩散模型应用于实例分割。一个通用框架[8]利用扩散模型生成全景分割结果。为此，作者进一步探讨了利用扩散模型为 BEV 感知任务生成高质量表征的可能性。与DDPM-Segmentation[3]相比，DiffBEV 是一个通用的端到端框架，它不需要额外的预训练阶段，可以与下游任务一起进行优化。

BEV 语义分割是 BEV 场景理解的基础和关键的视觉任务，是路径规划和控制的基石。VPN [32]和 PYVA [47]分别通过可学习的全连接层和注意力机制呈现静态或动态目标的布局。LSS [33]利用相机参数将图像视觉特征提升到 BEV，在现代3D检测器中得到了广泛的应用。HFT [53]提出了一种同时利用无相机参数和基于相机参数的方法的优势的方法。CVT [51]从周围视图图像中提取内容，实现了一个简单而有效的设计。GitNet [12]遵循两阶段的模式，通过几何引导的预对齐模块和基于光线的转换器改善分割性能。然而，这些工作存在缺陷因素，如相机参数不准确造成的失真。在DiffBEV 算法中，作者提出了一种条件扩散模型来细化失真特征，并改善了以往 BEV 算法的语义分割性能。

3D目标检测是自动驾驶研究者的一个主要研究课题。FCOS3D [42]提出了3D 中心并学习了3D 属性。PGD [41]探讨不同目标的几何关系，并改善深度估计。PETR [27]将多视图图像的相机参数投影到3D位置嵌入。BEVDet [20]显示了数据增强在图像视图和 BEV 中的积极作用。BEVDet4D [19]探索了空间和时间内容，以提高3D目标检测的性能。BEVDepth [26]利用多视图图像的显式深度监督，进一步拓展了3D目标检测的边界。BEVerse [50]提出了一个统一的框架，共同处理3D目标检测、地图构建和运动预测的任务。在作者的工作中，进一步利用了条件扩散模型处理3D目标检测的能力。

下图2显示了DiffBEV 的总体结构，包括图像视图主干、视图转换器、条件扩散模型、交叉注意力模块和任务特定解码器。

DiffBEV 不需要一个独立的预训练阶段，并以端到端的方式进行训练。

图像视图主干提取图像特征，视图转换器将图像视图特征提升到 BEV。条件扩散模型对噪声样本进行细化，生成高质量的语义特征。交叉注意力模块负责合并 BEV 特征和条件扩散模型的输出。最后，将任务特定的解码器应用于下游的 BEV 感知任务，如分割和3D目标检测。在实际应用中，作者采用 LSS [33]作为默认的视图转换器。

作者在这一节中建立了条件扩散概率模型。将视图变换器生成的特征作为扩散模型的条件。噪声 x_T 服从标准正态分布 N (0，I)。扩散融合模型以渐进的方式将噪声 x_T 转换为原始样本 x_0。作者将步长 t (0=

为方便起见，作者表示一系列常数。

变换步骤 t 的噪声样本通过方程3从输入数据x_0进行转换。

Σ_θ (xt，t)是协方差预测器，ε_θ (x_t，t)是去噪模型。在作者的实验中，一个典型的 UNet [44]方差被用作去噪网络。在去噪过程中，扩散模型逐步细化噪声样本 x_t。反向扩散过程用方程表示。

在实践中，有三种条件x_{cond}可供选择:

视图转换器将图像视图特征提升到 BEV 空间，得到原始的 BEV 特征 F^{O-BEV}。对于每一点，视图变换器估计在不同预定深度范围内的分布，并生成相应的深度分布 F^d ∈ R^{c × h × w}。作者采用1 × 1卷积层将信道转换成与 F^{O-BEV} 相同大小的 F^d 插值成 F^{S-BEV}。上述三个条件是 BEV 空间中的特征，在 BEV 空间中作者加入了高斯噪声。通过对样本进行逐步去噪，作者希望条件扩散模型有助于学习目标的细粒度内容，如精确的边界和高度详细的形状。作者严格遵循标准的 DPM 模型来添加 BEV 噪声，而不同之处在于作者采用了条件调制去噪，如上面图2所示。在给定噪声 BEV 特征 x_t 和条件 x_cond 的时间步长 t 时，x_t 进一步编码并通过元素相乘与 x_cond 相互作用。为了减轻计算负担，作者对含噪 BEV 特征 x_t 的编码机制设置了一个灵活的选择，即自注意力机制或简单的卷积层，这将在第4.5节中讨论。一个 UNet 风格的结构，其组件包括一个编码器和一个解码器，作为去噪网络 ε_θ(x_t,t)。

在获得条件扩散模型的输出之后，作者设计了一个交叉注意力模块(CA)来细化原始的 BEV 特征，如下图3所示。

特别地，条件扩散模型的输出被视为 K 和 V 的源，而原始的 BEV 特征从透视图变换器投影到 Q。将两特征流的交叉注意力过程表述为:

Q，K 和 V 线性映射以计算注意力矩阵 Attn，其中 W_i^Q，W_i^K，W_i^V 是 R^{d_{model} × d_q}，R^{d_{model} × d_k}，R^{d_{model} × d_v} 形状的投影层。然后，从输出层 W^{Out} ∈ R^{d_v × d_{model}} 获得精化的 BEV 特征，以便于下游任务更好地学习。

深度损失: 给定内参数矩阵 K_i ∈ R^{3 × 3}，旋转矩阵 R_i ∈ R^{3 × 3}，平移矩阵 t_i ∈ R^3，引入深度损失 L_{depth}来辅助模型训练。深度损失定义为预测的深度图 D_i 和 D_i^* 之间的二元交叉熵(BCE)。具体过程表示为:

扩散损失： 作者把时间步长 t 的高斯噪声表示为 z_t。其余符号的含义请参阅第3.2节。扩散损失 L_{diff} 定义为:

任务特定训练损失: 分割和检测的训练损失可以写成 公式9。在实践中，作者经验地设置了损失权重 λ_1 = 10，λ_2 = 1。

作为 BEV 感知的通用框架，DiffBEV 可以通过改变任务特定解码器来推理不同的下游任务。语义分割采用残差式解码头，由8个卷积块和一个完全连通(FC)层组成。每个卷积块具有一个卷积层，其次是批归一化(BN)和ReLU层。至于3D目标检测任务，分类头和回归头分别由几个卷积层组成。有关3D 检测解码器的详细结构，请参阅 CenterPoint [48]。

作者比较了DiffBEV 与四个不同基准测试的现有方法的性能，即 nuScenes [6] ，KITTI Raw [11] ，KITTI Odometer [4]和 KITTI 3D Object [11]。NuScenes [6]数据集是自动驾驶领域的一个流行基准，它由6个周围的相机和1个激光雷达收集，包括多视图图像和1000个场景的点云。KITTI Raw[11]和 KITTI Odometry[4]提供静态道路布局的图像和 BEV 真值，而 KITTI 3D 目标[11]提供动态车辆的图像和标签。通过灵活地利用不同的特定于任务的解码器，DiffBEV 可以扩展到各种下游任务。在这项工作中，广泛的实验进行了 BEV 语义分割和3D目标检测任务。

作者使用 AdamW 优化器[21]训练所有语义分割模型，学习率和权重衰减分别为2e-4和0.01。使用两个 NVIDIA GeForce RTX 3090，每个 GPU 的小批量设置为4个图像。对于 nuScenes，输入分辨率为800 × 600，对于 KITTI 数据集，输入分辨率为1024 × 1024。总的训练时间表包括20,000次迭代(nuScenes 的200,000次迭代)和warm-up策略[13]逐渐增加了前1500次迭代的学习率。然后，循环策略[46]在剩余的训练过程中将学习率从2e-4线性降低到0。对于3D目标检测，作者遵循 BEVDet [20]的实现细节。

对于图像主干，使用在 ImageNet [37]数据集上预先训练好的权值初始化 SwinTransformer [28]。VPN [32]、 PON [34]、 LSS [33]和 PYVA [47]的模型结构与原文相同。此外，作者主要采用 BEVDet [20]家族的方法来实现3D目标检测。训练和测试的细节与[20]和[19]是一致的。最后，条件扩散概率模型没有额外的预训练阶段，可以与下游任务一起以端到端的方式进行优化。

基于 nuScenes 基准的评估 。在这一部分，作者比较了DiffBEV 和其他方法在像素级分割任务中的有效性。静态目标和动态目标的布局都是在 nuScenes 基准上估计的。如下表1所示，作者报告了DiffBEV 的分割性能以及第二部分介绍的一些改进方法。

可以看出，与汽车、行人、自行车等相比，以前的最先进的方法 LSS [33]能够很好地预测广泛覆盖的静态目标，如可行区域、人行道和行人穿越道。这是因为动态目标通常占用较少的像素，在 BEV 中出现的频率较低。PYVA [47]和 PON [34]也可以观察到类似的性能，在可行驶区域类别中达到相当的准确性，但在卡车，公共汽车和拖车等罕见类别中表现较差。

相比之下，DiffBEV 在静态和动态目标的IoU评分方面有显著改善。如上表1所示。根据实际情况设计了三个条件。Diff-BEV，Diff-Dep 和 Diff-DepthBEV 的条件分别来源于原始 BEV 特征(F^{O-BEV}) ，从深度分布(F^{S-BEV})学习的条件特征以及F^{O-BEV} 和 F^{S-BEV} 的元素之和。DiffBEV-Dep 在大多数班级中表现领先，达到25.9% 的 mIoU分数，比之前的最佳表现方法高出6.2%[33]。特别值得一提的是，DiffBEV 提高了驾驶区域、行人穿越道、人行道和汽车的分割精度(分别为+5.0%、+10.0%、+6.7%和+11.6%IoU分数) ，这些都是自动驾驶系统安全性的关键类别。作者将这种改进归功于条件 DPM 减少了噪声，并补充了关于感兴趣目标的更多空间信息。DiffBEV 显著提高了模型在高频类和稀疏分布类中的像素级感知精度。

评估 KITTI Raw，KITTI Odometry，和 KITTI 3D Object benchmark。表2报告了 KITTI Raw数据集和 KITTI Odometry数据集静态场景布局估计的定量结果。

通过对 KITTI 3D Object数据集的性能比较，给出了动态车辆的分割结果。三个条件的 Diff-BEV 比现有方法获得更高的 mIoU 和 mAP 分数。例如，区别 BEV-Dep 在 KITTI Raw，KITTI Odometry和 KITTI 3D Object数据集上超过第二好的模型 PYVA [47]0.71% ，1.51% 和7.97% mIoU，在所有评估基准实现了一致的最先进的感知准确性。

作者在 nuScenes 基准和表3上进行3D目标检测实验。报告了官方评估指标: 平均平均精度(mAP)、平均平移误差(ATE)、平均尺度误差(ASE)、平均方向误差(AOE)、平均速度误差(AVE)、平均属性误差(AAE)和 NuScenes 检测得分(NDS)。注意，作者选择 LSS [33]作为缺省视图转换器，并使用从深度分布(F^{S-BEV})学到的语义特征作为DiffBEV 的条件。图像视图和 BEV 的数据增强与 BEVDet [20]和 BEVDet4D [19]的数据增强是严格一致的。

应用条件扩散模型后，可以观察到3D目标检测的所有评价指标都得到了改进。这是因为DiffBEV 逐步完善了原有的 BEV 特征，并通过交叉注意力机制交互式地交换了语义上下文。没有Trick的 BEVDet4D [20]与DiffBEV 将 NDS 评分从38.7% 提高到39.8% ，而 BEVDet4D [19]与DiffBEV 将 NDS 评分从47.6% 提高到48.6% 。

为了发挥条件扩散模型的优势，作者在 KITTI 原始数据集上对不同的 DPM 条件进行消融实验，以估计静态道路的布局。具体来说，有三个 DPM 条件可供选择，即原始 BEV 特征(F^{O-BEV}) ，从深度分布中学习到的语义特征(F^{S-BEV}) ，以及F^{O-BEV} 和F^{S-BEV} 的元素总和(F^{S-BEV} & F^{O-BEV})。

如表4所示。无论使用哪种条件，三种条件都可以引导 DPM 学习有区别的 BEV 特征。F^{S-BEV} 和 F^{S-BEV} & F^{O-BEV} 比 F^{O-BEV} 具有更好的调制效果，而 F^{S-BEV} 的分割效果最好。这一观察结果证明了从深度分布中学习语义特征的有效性。

另一个消融研究是探索最有效的特征交互方式。具体地说，在作者的实验中探讨了三种机制，即连接机制(Concat)、加和机制(Add)和交叉注意力机制。如上表4所示、不论采用哪种特征交互机制，DiffBEV 的分割效果都优于基线模型，达到63.38% mIoU。研究结果表明，交叉注意力能够比其他两种简单的特征相互作用更好地学习 BEV 特征，这有利于下游感知任务的学习。综上所述，F^{S-BEV}与交叉注意力特征交互机制的结合实现了最佳分割结果，基于 LSS [33]模型提高了2.48% mIoU。如果未指定，则DiffBEV 模型对应于具有交叉注意力机制的F^{S-BEV}设置。

在这一部分，作者探讨了条件扩散模型中的内部编码机制。对于有噪声的 BEV 样本 x_t，作者计算自注意力语义图或通过一个简单的卷积层得到精化的亲和图。表5显示了计算量与分割性能之间的比较。使用自注意力机制的DiffBEV 模型可以获得较高的65.86% mIoU 和80.62% mAP。通过简化自我注意力到一个简单的卷积层，DiffBEV 模型达到64.23% mIoU 和78.34% mAP，同时降低 GFLOPs 从446.81到433.72。

在主要实验中，作者采用 LSS [33]作为视图变换器，将2D图像特征提升为BEV空间。为了研究DiffBEV 的通用性，作者还进行了更多视图Transformer的实验。如表6所示，配备 Diff-BEV 的模型在 mIoU 和 mAP 指标上都明显优于没有 DPM 的模型。VPN [32] ，PYVA [47]和 PON [34]模型受益于DiffBEV，提高了 mIoU 评分(分别 +1.19% ，+1.61% ，+0.59%)和 mAP 评分(分别 +10.14% ，+7.01% ，+10.11%)。这一观察说明，DiffBEV 不仅是有效的一个特定的视图转换器。实验结果表明，DiffBEV 为提高 BEV 语义分割质量提供了一种简单而有效的方法。

在这一部分，作者可视化一些图像和相应的语义图生成不同的方法，即 VPN [32] ，PYVA [47] ，PON [34] ，LSS [33]和 Diff-BEV。如下图4所示，以前的最先进的方法倾向于输出相对粗糙的预测，即不同目标的边界模糊和类别混淆。例如，应该是独立个体的汽车被连接到一个狭长的区域，驾驶区域被错误地分类为背景。人行道和行人穿越道的预测太失真，无法提供准确的位置信息。尽管 nuScenes 数据集上的街道布局复杂而富有挑战性，但DiffBEV 能够生成更精确的语义地图，并能够解决细粒度的细节，例如邻近车辆之间的空间分离，特别是在拥挤的自动驾驶场景中。如下图5所示，在 KITTI 数据集上也可以观察到类似的性能优势。对于 KITTI 原始数据集和 KITTI 测量数据集上的静态道路，DiffBEV 优于以前的方法，提供了边缘更清晰的语义地图，这证实了作者的方法能够有效地学习目标的结构信息。

本研究提出了一个新的框架，DiffBEV，该框架首次将条件扩散模型应用于 BEV 感知任务。扩散模型利用从深度分布中学到的 BEV 特征，或者这两个特征的总和作为扩散模型的条件，逐步改进噪声样本以产生高度详细的语义信息。然后，提出了一个交叉注意力模块，用于注意学习条件 DPM 输出与 BEV 特征之间的交互关系。对多个基准测试的大量实验表明，DiffBEV 在语义分割和3D目标检测任务方面都取得了令人满意的性能。例如，DiffBEV 在 nuScenes 基准上获得了25.9% 的 mIoU，比以前的最先进的方法表现好很多。对不同视角Transformer的可拓研究也证实了DiffBEV 的一般性。鉴于扩散模型的研究进展迅速，作者希望进一步挖掘DiffBEV 的潜力，并将其应用范围扩大到更多的 BEV 感知任务。

[1] DiffBEV: Conditional Diffusion Model for Bird’s Eye View Perception

建了自动驾驶之心BEV感知交流群！想要进交流群的同学，可以直接加微信号：AIDriver001。加的时候备注一下：BEV感知+学校/公司+昵称，即可。然后就可以拉你进群了。

自动驾驶之心 | 超越LiDAR！最新RV融合算法CRN：实时、鲁棒、高效的3D感知（ICLR 2023）

自动驾驶之心 | CVPR 2023|基于时空神经辐射场的三维点云多帧非线性插值

自动驾驶之心 | CVPR 2023 | 多视图3D目标检测中的viewpoint equivariance

自动驾驶之心 | CVPR 2023 | 协同感知在真实世界就不能打了？世界首款V2V4Real告诉你很能打！

自动驾驶之心 | CVPR'23论文解读 | 多模态/3D检测/BEV/跟踪/点云等多个方向！

自动驾驶之心 | ICRA 2023 | 最新激光雷达-相机联合内外参标定，一步到位！

自动驾驶之心 | 2023最新综述！自动驾驶的运动规划：现状与展望全面回顾（传统/端到端/强化学习）

自动驾驶之心 | nuScenes SOTA！SurroundOcc：面向自动驾驶的纯视觉3D占据预测网络（清华&天大）

自动驾驶之心 | CVPR2023 | 让自动驾驶一骑绝尘！BEV-LaneDet：暴涨十个点，单目3D车道线新SOTA！

自动驾驶之心 | 最新SOTA！LAformer：具有车道感知场景约束的自动驾驶轨迹预测

自动驾驶之心 | ICRA 2023最新！自动驾驶传感器高效部署新方法！