03

高精度地图制作技术发展趋势

高精度地图可以分为两个层级：静态高精度地图和动态高精度地图。受限于芯片算力以及制作成本的考虑，目前的高精度地图制作都是围绕静态高精度地图展开的，其组成主要包括车道线信息、方向箭头信息、道路标志牌信息、道路属性信息等。在静态高精度地图图层之上， 动态高精度地图主要包括道路上发生的实时动态信息， 主要包括随时间变化的交通标志（如红绿灯状态、潮汐车道等）、道路交通信息（道路拥堵情况、事故发生情况、道路施工情况、交通管制情况、天气情况、路面积水情况等）。目前高精度地图的生成一般涉及到的技术为数据采集、栅格图预处理、数据标注、检测识别、自动矢量化等生产流程，如图3所示。

图3 高精度地图生产流程

数据采集技术：一般利用多传感器GPS、IMU、轮速计、激光雷达或者摄像头融合技术计算出当前采集车的位置信息，让后将该位置信息以及激光雷达/摄像头的扫描信息写入到地图数据中。

栅格图预处理：这里主要涉及点云拼接、栅格图融合以及伪影去除等。

数据标注：利用标注工具对需要识别的元素按照一定的规则进行标注。

检测识别：这里主要是利用深度学习算法进行检测和识别，提供目标元素的语义以及位置信息。

自动矢量化：按照一定的精度要求，给出利用点线以及多边形所描述目标物体的坐标信息。这里主要涉及数据采样、多边形拟合等传统图像数据处理算法。

数据采集技术：一般利用多传感器GPS、IMU、轮速计、激光雷达或者摄像头融合技术计算出当前采集车的位置信息，让后将该位置信息以及激光雷达/摄像头的扫描信息写入到地图数据中。

栅格图预处理：这里主要涉及点云拼接、栅格图融合以及伪影去除等。

数据标注：利用标注工具对需要识别的元素按照一定的规则进行标注。

检测识别：这里主要是利用深度学习算法进行检测和识别，提供目标元素的语义以及位置信息。

自动矢量化：按照一定的精度要求，给出利用点线以及多边形所描述目标物体的坐标信息。这里主要涉及数据采样、多边形拟合等传统图像数据处理算法。

可以看出整个流程还是相当繁琐的，同时制作成本也是相当高的。加上后期的地图更新和维护成本也会是相当复杂和价格高昂，这些都大大限制了其使用范围，尤其是在自动驾驶领域大规模的落地使用和更新。

因此， 为了解决在自动驾驶技术落地高精度地图使用的问题，产生了实时局部高精度地图生成的技术路线。相比较传统的高精度地图生成，该技术路线主要体现在高精度地图生成的实时性以及空间范围的局部性（只产生处在当前车辆周边环境的高精度地图信息以供自动驾驶使用）两个方面，如图4所示。

图4 传统高精度地图生产与实时局部高精度地图生产方式对比

2021年，实时局部高精度地图技术路线主要是利用多视图摄像头/激光雷达采集到的图像数据利用神经网络进行特征提取并利用相机外参投影到鸟瞰图视角下，在鸟瞰图视角下进行解码操作得到车道线的分割信息以及车道线方向信息，在经过后处理操作得到矢量地图，如图5所示。

图5 在线局部高精度地图生成模型

2022年，实时局部高精度地图技术路线迎来了比较大的变化， 第一个比较大的变化是整个实时局部高精度地图生成变成端到端的方式，不再需要根据车道线的分割结果等进行矢量化后处理操作。 第二个比较大的变化是，transformer网络结构被广泛地使用在图像或者激光雷达数据特征图的编解码阶段直接输出矢量化的地图数据，包含道路线的关键点信息，关键点之间的起始顺序以及拓扑结构信息。比较有代表性的工作有VectorMapNet（如图6所示）、该方案将不同模态（如摄像头图像和激光雷达点云）生成的特征转换为鸟瞰图特征后，再聚合到一个公共的BEV特征空间中；然后，基于transformer的网络结构进行车道线的关键点预测，最后利用注意模块建模生成关键点之间的拓扑连接关系。MapTR（如图7所示）的方案首先是对原始图像进行语义特征提取，之后转换为鸟瞰图特征，采用transformer变体结构，使用分层级的query embedding机制结构化地编码地图要素的信息，最终输出地图要素的语义类别和节点位置。特斯拉的Lanes Neural Network（如图8所示）则更加面向工程化一点，Lanes Neural Network不仅用到了图像信息，而且其用到了导航地图的文本信息，例如车道线的数量、宽度、拓扑连接关系等属性描述，通过嵌入操作和视觉图像的特征信息统一到同一个特征张量空间输入到transformer网络结构进行解码输出，这也是文本与图像信息首次进行特征融合被用在局部高精度地图自动生成构建中。其大概的过程如下：首先是视觉特征作为输入，利用transformer结构，网络会先预测关键节点的粗略位置，再以粗略位置所在的局部范围进行更精确的位置预测，然后预测该节点的语义信息，最后预测节点的连接拓扑关系，如分叉/并道/曲率参数等。网络会以这样自回归的方式将所有的车道线节点进行生成（按照一定顺序，如自上而下，自左到右）。

图6 VectorMapNet网络结构图

图7 MapTR网络结构图

图8 Lanes Neural Network网络结构图

04

高精度地图制作技术发展趋势

从目前的技术发展路线来看，未来自动驾驶所需的高精度地图使用方式无论从制作成本、使用的便利性以后续更新的实时性角度考虑，很大概率会使用这种局部实时构建高精度地图的方式，感知数据输入会分为纯视觉(多视图)以及视觉与激光雷达融合输入的方案，但都是在鸟瞰图视角下利用transformer网络结构对多源数据（摄像头、激光雷达）进行感知特征的统一表征，同时为了提高车道线关键点之间拓扑结构关系描述的准确性以及更多的高精度地图元素输出，带有地图文本描述的信息会越来越多的加入到网络结构中，利用transformer网络结构将这些特征信息进行交互得到更准确的位置信息以及更多的高精度地图元素输出，而不局限于只有车道线、人行横道线等有关高精度地图线信息元素的矢量化输出。通过将视觉感知、文本、语音等不同模态数据，通过映射到同一语义空间进行特征对齐后，利用transformer网络结构进行特征交互学习得到统一的多模态特征，灵活的根据不同的下游任务进行特征解码操作也将是未来很多AI模型训练的一种方式。

内容来源 | 北京市高级别自动驾驶示范区

《产业指南》申报、奖项申报：宋先生/林先生

end

往期推荐:

第四届智慧交通万里行南京站圆满举办

《中国智能交通产业指南》论文火热征集 中

2022中国智能交通三十强评选今起申报！

以静制动，智慧停车开启新 返回搜狐，查看更多