声明：此翻译仅为个人学习记录 文章信息

  3D目标检测是自动驾驶等应用程序的中心任务，在自动驾驶系统中，即使在恶劣天气的情况下，系统也需要对周围的交通代理进行定位和分类。在本文中，我们解决了降雪条件下基于激光雷达的3D目标检测问题。由于在此设置中收集和注释训练数据的困难，我们提出了一种基于物理的方法来模拟降雪对真实晴朗天气LiDAR点云的影响。我们的方法对每个激光雷达线在二维空间中的雪粒子进行采样，并使用诱导的几何结构相应地修改每个激光雷达光束的测量值。此外，由于降雪经常导致地面潮湿，我们还模拟了激光雷达点云的地面湿度。我们使用我们的模拟生成部分合成的雪域激光雷达数据，并利用这些数据训练对降雪具有鲁棒性的3D目标检测模型。我们使用几种最先进的3D目标检测方法进行了广泛的评估，结果表明，与晴空基线和竞争模拟方法相比，我们的模拟在真实的雪域STF数据集上始终取得了显著的性能提升，同时不会牺牲晴空天气下的性能。我们的代码可在https://github.com/SysCV/LiDAR_snow_sim上获得。

  光检测和测距（LiDAR）传感器是一种可用于多种应用的有源测距传感器[10，27，39，61]。其高质量的3D输出使LiDAR成为需要3D推理的多个任务的首选模式，例如3D目标检测[25,59]。随着LiDAR传感器越来越便宜[53]，它们与自动驾驶汽车的集成也变得越来越可行。尽管如此，先前的传感器测试表明，这种主动脉冲系统在散射介质中很脆弱，导致在各种天气条件下感知距离的减少，如雨[4，14，52]，雾[2，4，18，19，52]和雪[19，24，28]，如图1所示。在这些条件下，光学介质包含水或雪的颗粒，它们与激光束相互作用并吸收、反射或折射其光子。这会产生两种影响：（i）与视线处目标相对应的接收功率的衰减，以及（ii）来自粒子的反向散射，导致接收功率中的寄生最大值，从而导致与目标真实范围不同的范围内的寄生回波。因此，由于强噪声（相对于在晴朗天气中捕获的点云有较大域偏移）测量质量严重下降，因此对诸如3D目标检测等高级任务的性能产生不利影响[1，16]。然而，根据美国交通部[49]和欧盟委员会[8]的报告，在恶劣天气中实现良好的感知是一个可取的目标，因为在恶劣天气下，人类驾驶员的死亡率明显更高。

图1. 在大雪中3D目标检测结果，与未进行增强（左上）相比，事先对所提出的数据增强方案进行了训练（右上）。底行显示RGB图像作为参考。

  由于不利天气数据很难收集[1]，先前的工作已经研究了模拟方法，以缩小雾[36]和雨[48]中相机数据的区域差距。最近，还提出了雾[1,16]和雨[14,22]中LiDAR传感器的模拟方法。受这一工作的启发，我们引入了一种基于物理的方法来模拟真实晴朗天气LiDAR点云上的降雪。特别地，我们使用[33]中引入的线性系统来模拟LiDAR脉冲的传输和传感器处的相关接收功率。我们通过显式采样雪粒子并将其建模为不透明球体来模拟降雪，其大小由降雪率控制[15，32]。在我们的采样中，我们遵循排除原理，即没有两个粒子彼此相交。给定雪粒子的样本，我们计算每个LiDAR光束与之相交的粒子集，并导出每个粒子反射的光束横截面的角度，同时考虑到潜在的遮挡。该推导直接提供了降雪情况下线性系统的修正脉冲响应，这允许对传感器处的接收功率进行分析计算。

  与降雪相关的另一个条件是地面潮湿。这种出现的薄层增加了地表反射的镜面分量[44]。为了模拟地面反射，我们引入了一个使用菲涅耳方程和薄表面反射的光学模型，该模型为湿表面提供了合适的反射值。

  使用我们的降雪和湿地面模拟生成的部分合成点云作为训练数据，用于优化最先进的3D目标检测方法，从而使所学习的模型在降雪情况下更加稳健。希望我们的基于物理的模拟足够逼真，从而使我们不再需要真正的雪地训练样本。我们在STF数据集[1]的具有挑战性的真实雪子集上对在这种情况下训练的模型进行了基准测试，并发现在我们的模拟雪上训练的模型与仅在晴朗天气和竞争模拟方法上训练的基线模型相比，始终取得了显著的性能提升。

  不利天气研究可细分为气象出版物，提供计算机视觉方法的基础知识[15，32，33，38]，不同天气条件下引入扰动模式的现象学推理[2，4，24]，以及计算机视觉算法在此类挑战条件下的应用[1，29，37，48]。在[33]中，研究了预测各种天气类型（包括雨、雾和雪）对激光雷达影响的一般理论框架。作者根据散射粒子的统计分布研究了这些天气效应，如[15]和[38]中的雪。[32]中给出了降雪能见度的进一步含义。

  对[4，14，52]中的雨、[2，4，18，19，52]的雾、[19，24，28]中的雪和[5，44，56]中的湿表面，对这些产生的扰动模式及其强度进行了现象学研究。在算法上，作者尝试通过稳健的融合算法[1]解决这些问题，开发了模拟技术，作为[36，48]中相机数据和[1，14，16，22]中激光雷达数据的数据增强。作者还在[6，17，43]中研究了消除不利天气影响的增强技术，或在[37]中应用了调整晴朗天气算法以适应不利天气的域自适应方法。[1，3，29，37，46]中介绍了包含不利天气样本的基础深度学习数据集。然而，经典的数据循环方法很难应用，因为恶劣天气样本很少，而且代表性很低[1]。

  对不利天气的模拟可以通过数据合成减轻不利天气影响的罕见性和数据收集活动中的困难，如[35，36，48]所示。此外，在[17，43]中，它能够生成具有清晰真值的可再现条件，以学习图像增强技术，或在[48]中研究不同天气影响下可再现的不利天气噪声相关性能降低。在[1，14，16，22]中明确研究了LiDAR模拟方法。开发始于[1]，在雾中采用数据驱动方法，该方法通过[16]进行了扩展，引入了基于物理的模型，并实现了更高的3D目标检测性能。[14]中介绍了雨的模拟方法，[22]中介绍了雪、雨和雾的一般方法。与[22]相反，我们的降雪模拟涉及功率信号域中的连续公式，这允许我们叠加不同粒子的反射，并推断粒子和目标之间的遮挡，从而更好地遵守激光传输的物理原理。此外，我们考虑了湿路的影响，允许我们以数据驱动的方式从干路强度中估计激光硬件参数作为噪声基底和发送强度。

  近年来，3D目标检测取得了巨大进展。已经为RGB相机[45，54，60]、LiDAR[25，31，39–42，62]、门控成像器[20]或[7，23，30，51]中的多模态融合提出了几种方法。然而，在许多数据集排行榜中，顶级性能位置通常都是在基于LiDAR的方法中排序的[3，13，46]。在我们的工作中，我们使用了PV-RCCN[39]、VoxelRCNN Car[9]、CenterPoint[59]、Part-A²[42]、PointRCNN[41]、SECOND[57]和PointPillars[25]等方法。这些方法在点云表示、使用的特征提取主干和检测阶段的数量方面有所不同。作为输入模态，例如在体素空间[39，40，42，57，62]中处理点云，推断原始点云[31，41]或使用抽象表示，如[25]中的柱。

  检测阶段的数量通常分为单阶段[25]和两阶段方法[39–41，57，59，62]，其中单阶段方法直接离散输入空间并预测每个单独单元的目标[26]。两阶段方法首先预测提案，并按照[34]的一般思想在随后的合并特征空间中对其进行细化。

图2. LiDAR传感器示意图，其中发射器Tx和接收器Rx不具有同轴光学器件，但具有平行轴（称为双基地光束配置）。

自由空间中的脉冲传播可以用几何光学来模拟，以实现高性价比的激光雷达系统。此类系统应用同步近场红外脉冲发射器Tx和雪崩光电二极管（APD）阵列作为接收器Rx，如图2所示和[55]所述。发出的激光脉冲P0被固体场景目标（通常称为目标）反射，反射率为ρ0，并被接收器捕获，提供捕获回波的时间延迟τ及其相应的功率PR。通过应用R=cτ计算目标距离R，其中c是光速。目标的3D位置[x，y，z]通过使用脉冲发射的方向获得。对于扩展目标，几何光学[11]可用于建模接收功率PR 这适用于直径大于距离R处光束直径的目标，并且需要关于（i）入射角αin和（ii）与距离和时间无关的系统常数CA的附加信息。然而，由于光学和光束发散不同，每个扫描层的CA不同，因此接收的激光功率通常会被校正[11]。根据[21]，可以报告四种不同级别的强度校准。对于我们实验中使用的Velodyne HDL-S3D传感器，根据传感器手册[50]应用光束发散校正。该修正定义为 其中fs是焦点斜率，fo是焦点偏移。从工厂侧校准中检索每个激光器的参数。在应用所提出的模拟方法之前，我们首先通过反转该强度校准来检索原始强度。在降雪中，光学介质中包含的粒子小于光束直径，因此必须考虑Mie散射和粒子的精确空间分布[33]。

[33]中引入的线性模型描述了散射粒子存在下的脉冲传播，该模型对非弹性散射有效。该模型将与距离相关的接收功率PR表示为时间相关的发射信号功率PT和光学系统的脉冲响应H之间的时间卷积： 发送脉冲的时间特征由 τH是半功率脉冲宽度，对于Velodyne HDL-S3D传感器设置为10 ns。脉冲响应H可以被分解为光信道HC和目标HT的脉冲响应： HC取决于光束发散、ξ（R）所描述的发射器和接收器的重叠以及介质的透射率T（R） 假设不存在其他散射体，则介质中不被雪颗粒占据的部分的透射率T（R）等于1。重叠ξ（R）可以从图2中几何推导得出   目标的脉冲响应HT允许我们对雪粒子进行建模，我们将在下面详细介绍。

场景反射通过HT定义了粒子与激光脉冲的相互作用。对于扩展的实体指定目标，我们可以写 ρ0是目标的反射率，δ是狄拉克δ函数。然而，在降雪中，除了固体指定目标外，激光束也被雪粒子部分反射。

图3. 模拟降雪量对应于降雪速率rs=2.5 mm/h。左侧块显示了清晰的未受干扰输入。右图显示了我们的降雪模拟（顶部）和LISA[22]（底部）中的降雪模拟。请注意，我们真实地模拟散射，并仅衰减受单个雪花影响的点，而不是基于它们的距离衰减所有点。

图4. 雪粒子干扰单个激光雷达光束（顶部）。相应接收功率回波的示意图（底部）。注意单个目标的接收功率如何相互重叠（cτH≈3 m，τH=10 ns）。

  我们将雪粒子j建模为具有反射率ρs的球形目标，直径Dj遵循[15]中引入的分布，距离传感器的距离Rj，均匀地随机放置在传感器周围，使其不与任何其他粒子相交。颗粒的数量根据降雪率进行选择，通常范围为0-2.5 mm/h（更多详情请参见补充材料）。如图4（顶部）所示，粒子可以相互遮挡并遮挡指定的目标。因此，每个粒子j只反射光束开口角Θ的一小部分θj/Θ，也使光束的一部分θ0/Θ到达目标。补充材料中也给出了计算比率θj/Θ的详细信息。

假设所有j的Dj≪cτH，我们可以写 其中 Θ = θ 0 + ∑ j = 1 n θ j Θ=θ_0+ \sum_{j=1}^n{θ_j} Θ=θ0​+∑j=1n​θj​。将（4）、（5）、（6）和（9）插入（3），降雪时的接收功率为 其中 P R , s n o w 0 ( R ) P^0_{R,snow}(R) PR,snow0​(R)可以通过在（11）的右侧用（θ0，R0，ρ0）替换（θj，Rj，ρs）来导出。

  因此，接收功率是多个回波的叠加，每个回波与一个目标（雪粒子或指定目标）相关，如图4（底部）所示。至关重要的是，每个回波的大小取决于角度θj和相应目标与传感器的距离Rj的平方反比。在这项工作中，我们检索了作为激光雷达返回的接收功率的最大峰值。因此，如果雪粒子导致的峰值高于与指定的目标相关联的峰值，则会丢失真实回波，并在前一峰值的范围内将杂波点添加到模拟点云中。

  否则，指定的目标强度将根据其遮挡百分比衰减。我们的完整降雪模拟在算法1中给出。在图3中，我们展示了一个冬季示例场景，一次用我们的降雪模拟进行了增强，一次使用LISA中提出的场景[22]。

图5. 干燥公路上的真实世界捕捉（顶部），水高度dw=0.53 mm（中部）的真实世界捕获，以及来自清晰参考的合成道路湿度（底部）。

图6. 显示描述湿路面反射的几何光学模型的可视化。

  激光雷达读数受周围表面湿度的影响。发射的光脉冲从潮湿的地面镜面反射，导致激光回波显著衰减，这取决于水的高度[5]。分析STF[1]的道路湿度统计数据（在补充材料中给出），很明显，潮湿的道路与不利天气（如降雪）一起出现，是道路表面丢点的主要原因（见图5）。

  为了模拟道路湿度引起的衰减，我们应用几何光学模拟了单射线及其在薄层水上的折射，如图6所示。图5（底部）显示了一个定性示例。我们使用过渡点处的折射率（nin，nout）和角度（αin，αout）。角度αout可以根据Snell定律计算： 脉冲幅度的变化通过菲涅耳方程进行建模，菲涅耳方程分别由相对于地面的垂直和平行传输t⊥，t=和反射r⊥，r=描述（详情见补充材料）。从振幅到发射功率，我们可以推导出功率反射 R k p R_k^p Rkp​和发射 T k p T_k^p Tkp​： 其中p∈（⊥，=）表示极化。如图6所示，我们总结了穿过回传感器的所有单独光线，得出几何级数 这可以简化为 ( ρ 0 R w a t e r ) < 1 (ρ_0R_{water}) < 1 (ρ0​Rwater​)