【什么是transformer】

Transformer是由Google提出的神经网络模型，最早是针对NLP（自然语言处理）中RNN（循环神经网络）难以并行计算的问题，想寻找一个类似CNN（卷积神经网络）的网络来实现并行化处理。

2020年Google团队提出将Transformer应用到图像分类领域。有人认为CNN是Transformer的一个子集，Transformer可以做图像的全局关注，而CNN是对周边像素的局部关注，Transformer的全局关注包含了CNN局部关注的特殊情况（把除周边像素外的关注权重都设成0）。

其Deformable Attention的机制能够让模型自动学习到感兴趣的区域（像素点）来进行关注，这种机制在多摄像机BEV特征融合、特征金字塔多层融合以及多传感器特征融合中得到广泛应用。

【什么是BEV】

BEV视角：也被称作俯瞰视角，是一般自动驾驶系统中，规划和控制系统的标准输入。在大多数的规范道路环境下，属于带有深度信息，但不带高度信息的2D平面视角，通常对于规控系统来说够用

投影平面视角：也叫做Perspective view视角和Pixel panel view像平面视角，是指自动驾驶系统中，光学摄像头直接在其自身的CCD感光阵列上所拍摄出的2D平面视角。投影平面视角上基于像素的信息量丰富，但缺乏场景的深度信息；

感知矢量场：可以被理解为主车周围带有高度信息的完整道路和道路参与目标的3D完整状态，是一个理想的感知结果，但不包含被遮挡空间的道路和目标状态。

【Transformer在自动驾驶算法演进中的应用】

Transformer在自动驾驶中的应用已经成为一种趋势，除了在基于BEV特征的前融合中广泛应用外，Transformer还可替代CNN和RNN实现图像特征提取、金字塔特征融合以及时序特征提取的应用。