在自动驾驶系统中，摄像头就像人类驾驶员的眼睛一样重要，甚至可以说是自动驾驶系统中最重要的传感器，没有之一。

与毫米波雷达和激光雷达相比，摄像头具有成本低、色彩信息丰富、能够提供语义信息等诸多优势。就是因为这些优势，摄像头在智能汽车中非常常见，一辆车少则有3-5个摄像头，多则有十几个。

您对这种广泛使用且尤为重要的传感器到底了解多少呢？

我们先来看看摄像头的基本结构。

车载摄像头主要由光学镜头（lens）、图像传感器（sensor）、图像信号处理器（ISP）、串行器和连接器组成。

摄像头的工作原理是外界光线照射在物体上，经过反射和折射后通过光学镜头（Lens），投射到图像传感器（Sensor）上，传感器（Sensor）的光电器件将光信号转化为电信号，经过图像信号处理器ISP转换为RGB、YUV等格式的图像信号输出。

光学镜头负责将光线聚焦并将视野中的物体投射到成像介质的表面上。 光学镜头还包括红外滤光片（IR Filter），滤除人眼看不到的红外光，只留下人眼能看到的可见光。

镜头的焦距决定了拍摄图像的视场角（FOV）大小。镜头的焦距越长，视角越窄。为了能够看到150米外的物体，比如红绿灯，一般前向会加一个长焦镜头，FOV一般在30度左右。

焦距越短，视场角越大，比如360度环视（AVM）中用到的鱼眼相机，由于图像拼接需要非常大的视场角，焦距一般小于16mm，鱼眼相机的水平视场角一般大于170°，甚至会超过180°，但是大视场角的代价是图像会失真，而且越靠近边缘失真越严重，需要做畸变校正。

目前主要的光学镜头供应商有舜宇光学、联创、欧菲光等。

图像传感器利用光电器件的光电转换特性，将感光面上的光信号转换成电信号。

车载摄像头普遍采用CMOS（Complementary Metal Oxide Semiconductor，互补金属氧化物半导体），而CMOS是摄像头最重要的部分，也是价值最高的，约占成本的50%。

CMOS决定了摄像头最重要的参数——像素（Pixel），一般常说的200万像素或800万像素，就是说有200万或800万个感光点，也就是说CMOS有200万或800万个负责光电转换的光电二极管。

还有一个很重要的参数——帧率（Frame Rate）也是由CMOS决定的。 每秒帧率表示 CMOS 每秒更新的次数。 帧率越高，画面越清晰。 常见的帧率是 30 或 25。

目前车规CMOS市场主要由安森美(Onsemi）和豪威科技（OmniVision）两大厂商主导，市场集中度非常高。

ISP主要用于对CMOS输出的RAWDATA格式的图像数据进行处理，通过去除噪点、曝光控制和自动白平衡来提高图像质量，输出RGB或YUV等格式。

ISP可以集成在摄像头模组内部，如直接集成在图像传感器内部,也可以作为单芯片存在（集成在域控制器中）。

如果集成在摄像头内，对外输出的就是ISP处理过的RGB/YUV图像,否则对外输出的是RAWDATA（原始数据），RAWDATA传输到域控制器后，使用域控集成的ISP进行处理。

另外，摄像头内部还有一个串行器，因为视频信号需要使用GSML等标准传输，需要先转换成串行数据再传输。

发展趋势

近来，车载摄像头呈现出明显的发展趋势，即单车搭载摄像头的数量越来越多，分辨率也越来越高。

数量上，最早只有1个前视摄像头（单V），后来加了4个鱼眼摄像头（5V），再加上1个后视摄像头（6V）。

现在一些车企的为了满足城区场景的需求，又加了4个侧视摄像头和1个前视长焦摄像头，也就是11V方案。

再说分辨率，为了在更远的距离获取更多的信息，分辨率也大幅提升，从早期的120万演变成后期的200万、300万、500万，如今主流的高清摄像头都是800万像素，相信不久就会出现更高分辨率的摄像头。

比如蔚来ET7的11颗摄像头都是800万像素。 此外，极氪001和长城沙龙机甲龙也有7颗800万像素的摄像头。

数量和分辨率的大幅提高意味着能获得更多的数据，感知能力大大提升，相应地，传输和处理这些数据所需的带宽和算力也相应增加。

如果相应的“配套设施”不能满足，那么高分辨率的优势根本发挥不出来，最终只会沦为配置表上“堆砌”的参数，营销噱头而已。

首先要保证的是传输和存储带宽。传输一般采用LVDS和车载以太网传输就能保证。 为了提高处理带宽，相应的内存带宽也必须提高。 目前的内存一般采用LPDDR4或者LPDDR5。 特斯拉HW4.0史无前例的将GDDR6用于车载领域，而且一用就是16颗（每颗2GB，共32GB）。

GDDR（Graphics Double Data Rate）是一种显存，最初是为高端显卡设计的。 它比普通DDR具有更高的时钟频率、更低的功耗和更高的带宽。 LPDDR4带宽为17GB/s，LPDDR5带宽为26GB/s，GDDR6带宽最高可达64GB/s。

第二是计算能力。随着摄像头数量和分辨率的增加，对AI算力的需求也快速上涨。 过去几年，算力从最初的几个TOPS，发展到现在的几十、几百甚至上千TOPS。

考虑到芯片的成本，一块大算力SoC（如Orin X）动辄几百美金起，这么算下来，算力非常贵！ 因此，车企会在成本和性能之间做权衡。

特斯拉是成本控制的典范。多年来，Model 3 的 HW3.0 方案的摄像头一直是 120万像素 (1MP)。 最近升级的下一代HW4.0，像素也只是从120万增加到500万，而不是广泛使用的800万。

据说某新造车新势力使用的11路8百万像素的摄像头，除前视外，其他几路摄像头数据进入域控后，全部下采样降低分辨率来使用，真是离了个大谱。

摄像头的另一个明显趋势是ISP集成到域控。在电子电气架构的集中化发展趋势下，ECU由分布式向集中式转变，摄像头成为采集信息的硬件设备，计算和处理功能从摄像头中剥离出来，集成到大算力SoC和域控制器中。

随着SoC中集成的ISP性能的不断提升，可以支持多个摄像头的输入，这样就不需要在每个摄像头模组上都装一个ISP，从而可以大大降低硬件成本，同时也解决了ISP集成在摄像头所导致的散热问题。

最后一个趋势是取消ISP，直接使用原始数据（RAWDATA）。但目前采用的还比较少，最著名的就是特斯拉。

特斯拉摄像头的原始数据（RAWDATA）不经过ISP处理，直接输入神经网络，不仅降低了成本，也避免了开发过程中复杂的ISP调优过程，还提升了视觉感知能力。

要知道，摄像头的动态范围比人眼大很多，比如在弱光或极暗场景下，人眼几乎看不到，但CMOS仍可以接收光子“看到”目标，而很多信息，在ISP处理时，被作为噪音优化处理掉了，而不经过ISP处理直接用原始数据（RAWDATA)进行推理，则可以保留这些数据，从而提升这些场景下的感知能力。 

但取消 ISP 并不是那么容易。一方面，RAWDATA数据量过大，传输、存储和处理的带宽压力极高。另一方面，ISP是为了优化显示效果，简单来说给人看的，在需要人参与的数据链路中（比如标注），还是少不了ISP的，所以ISP短期内会继续保留。