前沿｜⼀⽂详解⾃动驾驶激光雷达和摄像头的数据融合⽅法

重磅⼲货，第⼀时间送达

本⽂转⾃：计算机视觉联盟

⾃动驾驶感知模块中传感器融合已经成为了标配，只是这⾥融合的层次有不同，可以是硬件层（如⽲赛，

Inn

ovusion

的产品），也可以是数据层（这⾥的讨论范围），还可以是任务层像障碍物检测（

obstacle 

detection

），车道线检测（

lane 

detection

），分割（

segmentation

）和跟踪（

tracking

）以及车辆⾃⾝定位（

localizati

on

）等。

有些传感器之间很难在底层融合，⽐如摄像头或者激光雷达和毫⽶波雷达之间，因为毫⽶波雷达的⽬标分辨

率很低（⽆法确定⽬标⼤⼩和轮廓），但可以在⾼层上探索融合，⽐如⽬标速度估计，跟踪的轨迹等等。

这⾥主要介绍⼀下激光雷达和摄像头的数据融合，实际是激光雷达点云投影在摄像头图像平⾯形成的深度和

图像估计的深度进⾏结合，理论上可以将图像估计的深度反投到

3-D

空间形成点云和激光雷达的点云融合，但

很少⼈⽤。原因是，深度图的误差在

3-D

空间会放⼤，另外是

3-D

空间的点云分析⼿段不如图像的深度图成熟

，毕竟

2.5-D

还是研究的历史长，⽐如以前的

RGB-D

传感器，

Kinect

或者

RealSense

。

这种融合的思路⾮常明确：⼀边⼉图像传感器成本低，分辨率⾼（可以轻松达到

2K-4K

）；另⼀边⼉激光雷达

成本⾼，分辨率低，深度探测距离短。可是，激光雷达点云测距精确度⾮常⾼，测距远远⼤于那些

Infrared/T

OF 

depth 

sensor

，对室外环境的抗⼲扰能⼒也强，同时图像作为被动视觉系统的主要传感器，深度估计精度

差，更⿇烦的是稳定性和鲁棒性差。所以，能不能把激光雷达的稀疏深度数据和致密的图像深度数据结合，

形成互补？

另外，稀疏的深度图如何

upsample

变得致密，这也是⼀个已经进⾏的研究题⽬，类似

image-based depth ups

ampling

之类的⼯作。还有，激光雷达得到的点云投到摄像头的图像平⾯会发现，有⼀些不反射激光的物体表

⾯造成

“

⿊洞

”

，还有远距离的街道或者天空区域基本上是没有数据显⽰，这样就牵涉到另⼀个研究题⽬，

ima

ge-based depth inpainting / completion

。

解决这个问题的前提是，激光雷达和摄像头的标定和同步是完成的，所以激光雷达的点云可以校准投影到摄

像头的图像平⾯，形成相对稀疏的深度图。

我们分析的次序还是先传统⽅法，后深度学习⽅法，最近后⼀种⽅法的⽂章

2017

年以后逐渐增多。笔者开始

这⽅⾯⼯作是恰恰是

2017

年，⾮常荣幸地发现当时发表的学术论⽂和⾃⼰的⽅向⾮常接近，并且笔者在这些

论⽂公开化之前已经申请了多个专利。

1.

传统⽅法