本人是今年浙大光学工程专业即将入学的硕士研究生，暑期开始接触了解了课题组的相关研究方向，其中，事件相机（Event Cameras）作为一种新型的图像数据获取方式，能够获取时间分辨率更高、延迟更低、动态范围更大的图像信息，在许多CV领域有很大的发展潜力，比如用于光流估计，目标识别，图像重建，SLAM等。

        因此本人决定对事件相机及其应用算法这个领域展开一定的研究，就从论文研读和复现开始，分享学习的过程。从这篇文章开始，我将不定期上传一些事件相机相关论文的个人解读以及复现工作总结，欢迎行内大佬指出不足，一起研讨进步。

        本篇将介绍事件相机领域最为经典的一篇综述文章：Event-based Vision: A Survey（点击此处可以下载这篇论文）。这篇论文可谓是入坑事件相机的必读之作，从中我们能够了解事件相机是什么，能干什么，怎么去使用等基本问题，同时，文中也总结了事件相机最前沿的应用，并附上了CV顶会的参考文献，我们可以根据自己感兴趣的方向，去研读复现相关论文。

        本文会按照这篇论文的结构，分为4个部分来介绍事件相机，内容包含本人的个人理解，如有错误及不妥望大家及时批评指正。

        我们常见的RGB相机拍摄的是灰度图像，每个像素点都有一个灰度值，通过3个色彩通道叠加便呈现出了我们看到的样子，在这种情况下，各像素点的值都是在同一时间同步获取的绝对光强值，因此在强光条件下，普通相机拍出的照片会有背光等现象，就连人眼也无法识别拍照物体的细节。同时，由于普通相机拍摄的图片是在一段曝光时间内的均值，这也导致了在拍摄高速移动的物体或者相机本身发生移动时，拍摄的照片出现模糊的情况。上述两个现象表明，普通相机的时间分辨率（Temporal Resolution）和动态范围（Dynamic Range）都很差，在高速运动和强光（弱光）的情况下，工作性能很差。

                                     小动态范围                                                                          低时间分辨率

         而这个时候，我们的主角事件相机就要显示出它的优势了。事件相机的灵感来源于仿生学，即模仿人脑、人眼的工作模式：对“exciting”我们的东西作出反应——说白了，就是在相机的视野范围内，只记录运动变化的信息。根据这个理念，我们由此引出事件相机的工作模式：

        在一段时间内，事件相机在每一个时刻都记录画面中每个像素点光强变化的情况，若光强变化超过某个阈值，便给这个像素点赋值一个极性（通常+1表示亮度增加，-1表示亮度减少）。如此，和传统相机相比，传统相机在一段曝光时间内得到一张“平均照片”，同步记录每个像素点的平均光强；而事件相机则是异步输出一系列四元组（所谓异步，我理解为不同时间点各个像素独立输出事件信息彼此不关联），包括发生事件的像素坐标、事件发生的时间戳以及事件极性：，我们通常称该输出为事件流。

        下图是形象化的事件相机输出的事件流，图中红色与绿色的点即为不同极性的事件点。

                                                                                            事件相机输出示意图

        这就是我们的主角事件相机，一种异步捕捉动态事件信息的新型图像传感器。通常，我们把上述输出包含光强变化事件序列的模块称为DVS（Dynamic Vision Sensor），即动态视觉传感器，它是事件相机最基础也是最重要的模块，我们前文提到的事件流序列便是DVS产生的数据。然而光有DVS记录的事件流信息是不够的，传统的灰度图像包含的背景信息对一些CV工程来说也是至关重要的，因此往往事件相机中都包含能够获得灰度图的模块。

        早期，事件相机都将DVS做到每个像素中，用于触发输出图像绝对值，提供图像的绝对亮度，这种设计的事件相机称为ATIS（Asynchronous Time Based Image Sensor），但由于像素面积较大以及在暗光情况下触发速度较慢等缺陷，目前已很少使用。而DAVIS（Dynamic and Active Pixel Vision Sensor）将传统动态像素传感器（Active Pixel Sensor，简称APS）与DVS做到一个像素，能够提供事件流信息与绝对强度信息，且仅增加5%的像素面积，是目前大多数采用事件相机的CV项目选用的事件相机类型，之后本人也将用这类事件相机进行一些研究。目前本人所阅读的一些顶会论文中，很多研究者都选择结合APS输出的绝对灰度图与DVS生成的事件流，通过事件流丰富的时间信息来补偿灰度图时间分辨率低的缺点，从而实现效果更好的识别、预测等传统CV工作。

        那么为什么事件相机在一些CV项目能表现得更好呢？加上事件流，输出图像又能表现出什么突出的特性呢？

        我们在上一章中提到，传统相机拍出的照片在极亮和极暗的情况下，会出现拍照物体信息缺失的情况，即我们在生活中拍照常出现的背光情况；同时对于高速运动的物体，传统相机往往只能输出模糊的图像。这些缺陷使得依赖于传统相机输出图像的一些CV工程在高速、极端背景光情况下很难进行，就拿自动驾驶（基于视觉系统的）来说，汽车在面向阳光行驶或者高速行驶时，这些缺陷都会造成系统错误的路况估计与决策判断，产生严重的后果。

        那么事件相机如何解决上述问题呢？

        首先，事件相机记录每个像素点明暗变化的频率很快，和传统相机有一段较长的曝光时间不同，DVS以微秒级的时间间隔记录像素点明暗变化的信息，频率高达1Mhz，有着极高的时间分辨率，因此可以捕捉快速运动物体的信息，对消除模糊有显著的作用。

       同时，事件相机记录的是像素点强度的变化情况，是一个相对值，因此在极端背景下，依旧能够能够准确记录场景内物体的信息，动态范围很大，传统相机的动态范围大概在60dB左右，而事件相机却能高达超过120dB，这意味着借助事件相机提供的事件流，可以对极端背景下丢失细节信息的灰度图进行重建，使其展现出全部物体的信息。

        当然除了上述提到的突出优点外，事件相机还有低延时、低功耗等优点。其中，低延时源于其无需等待曝光时间，异步记录事件信息的特点，延时在实验阶段仅10，而在工业应用中也能达到微秒级别；而低功耗则是因为事件相机仅记录明暗变化，不需要记录过多的冗余信息。

        值得注意的是，事件相机以上的优点并不意味着事件相机能够直接拍出高速运动不模糊的图像、或是在极端照明条件下能够获得完整细节的物体图像。事件相机输出的事件流，个人认为更多起到的是信息补偿的作用，通过对事件流数据的一些操作，可以修复和补偿传统相机拍出的一些缺陷照片（如去模糊，图像重建等）。同时，对于一些基于深度卷积神经网络的CV算法而言，事件流输入高时间分辨率和动态范围大的特点，或许能使网络学习到图像中更多的特征，从而作出更加精准的预测和判断。

        可能会有人疑问，事件相机这么厉害，可为何目前工业界应用极少？说实话，本人在暑期了解事件相机之前，几乎也是从未听过这样一种相机，之前自学的一些自动驾驶、深度学习的相关算法模型也都是基于传统图像的，所以即便我现在是事件相机的“铁粉”，但也不得不承认它目前存在许多缺陷，使得其目前只能在实验室内大放异彩。按照论文的说法，目前事件相机面临着三大问题（以下缺陷的分析均带有个人理解）：

        其一：事件相机输出的事件流作为一种全新的数据形式，传统CV项目设计的一些算法无法直接应用。这意味着我们要么将海量的事件数据转换为传统算法的输入格式，要么针对事件数据特性设计新的算法。对于前者，由于时间精度高，事件流的数据量十分庞大，数据处理面临着算力成本、信息取舍等问题；而对于后者，设计新的算法意味着数学模型甚至硬件设备的革新，这方面消耗的成本也是阻碍其工业应用的一大原因。

        其二：事件相机感知的明暗变化，受复杂的因素影响。按照事件相机原理，每个像素异步记录自身光强变化信息，但这种光强的变化不仅受场景光照影响，还受该时间戳前后物体运动以及场景-相机间相对运动的影响，而单用极性去表示事件特性，往往无法分析事件产生的原因，这对于深度神经网络来说，也许会提供错误的特征信息，影响训练结果。

        最后：事件相机相比传统相机，噪声影响极其严重，且处理相对困难。DVS模块工作时会设定一个阈值，每个像素上感知的光强变化只有超过阈值，才会生成事件点，为了能灵敏捕捉事件，往往阈值都会设置得较小，这便造成了事件相机极易受到噪声影响。在很小的触发阈值下，一些轻微的光子扰动便可能误触发事件，影响事件信息的准确性；而若调大阈值，那事件相机的灵敏度便会下降，丢失一些关键事件点。

        尽管有这么多缺陷，尽管投入工业使用还有很远的距离，但这依旧不妨碍事件相机是未来CV发展的一个重要方向。和劣势相比，事件相机数据的优势也许是突破目前一些CV项目瓶颈的关键，毕竟它所包含的丰富的时间信息以及极端背景条件下的适用性，是极有价值的。根据文章中的一些介绍，事件相机在自动驾驶中的目标追踪、转角预测，光学测量中的光流估计以及传统图像算法中的去模糊、图像重建等大量方面均有出色于传统相机的表现。

        同时本人认为，应用事件相机的优势点在于“更精确”，也就是更多的信息造就了更准确的结果，这在一些对结果准确率要求极高的应用场景是极具优势和潜力的（比如自动驾驶中汽车在每个路口转弯角度的决策，是不容许太高的偏差的，这就要求识别预测算法的高准确性）。在我看来，事件相机是另辟蹊径去解决一些CV算法精确度问题的，不改变网络结构，而是改变数据形式，用蕴含更丰富信息的数据去让现有的网络“学到更多”。

        所以总结来说，目前事件相机的研究主要聚焦于如何处理这样一种新型的数据形式以及如何避开噪声提取出数据中有用的信息（当然，设计专门针对事件流数据的网络也是重要的研究方向），本人也将在下一章中介绍目前常用的事件处理方法，这也是应用事件相机最重要、最精髓的部分。

补充：论文的第二章还讲述了事件产生的数学模型，感兴趣的读者可以自行下载文章阅读p4-5页2.4部分，若想探讨相关问题也欢迎评论，本在在此不再分析与介绍；同时论文第二章最后也列出了事件相机市面上的情况与重要参数，想要了解的读者请自行阅读文章p5-6页2.5部分。

下一篇：Event-based Vision: A Survey——从这篇综述开始了解事件相机（二）