给博主的另一篇文章打个广告： Pytorch在finetune和multi-task任务的一个小坑（与BN层推理相关的坑）

        激光雷达和相机的时间同步是做自动驾驶感知方面实验的基础，目前网络上给出的各种解决方案都不是很完整，博主也走了不少弯路，最后探索出一个较为完整的低成本解决方案（重点是低成本，可靠性一般）。这是第一次在CSDN上写作，写得不好或者有遗漏之处还请各位看官在评论区指出，我会尽快回复。

        激光雷达和相机的时间同步是多传感器融合是先决条件，但是精确的时间同步需要涉及到软件和硬件的相关知识，因此也是不大容易实现的。下面是目前网络上已有的资料（截止到2021.03.21）：

        其中苏笑云大佬的回答是比较清晰。大佬提到：更彻底的解决方法是选择可以触发拍摄的相机（必须是硬件线控），根据激光雷达的帧周期同步触发相机的拍摄，实现雷达和相机的完全帧同步，实现完全的毫秒级同步。 本文也是根据这个解决方案来做的。所谓激光雷达与相机时间同步其实涉及到两个问题：一个是激光雷达和相机的内部时钟要同步；一个是激光雷达和相机要同时采集数据。因此本文也是从这两个方面来进行技术路线的描述的。本文的技术路线也参考了上述的论文《Camera-LIDAR_Detection_Fusion》，有一说一，这篇本科毕业论文写得很不错！

        这个需要参考的激光雷达说明文档啦，像速腾激光雷达，还对PPS和NMEA串口信号的格式做个限制，所以需要提前用示波器看买来的GPS模块是否符合要求。这一步成功之后，在RSVIEW的web端的GPS Data一栏会显示串口信息、GPS Status和PPS Status一栏Locked。

        这一步比较麻烦。这里主要使用的是gpsd、chronyd、ptp4l这几个软件。博主假设树莓派已经刷了官方系统，接好了各种外设。

        由于树莓派外设一共包含两个串口，一个称之为硬件串口（/dev/ttyAMA0），一个称之为mini串口（/dev/ttyS0）。硬件串口由硬件实现，有单独的波特率时钟源，性能高、可靠。树莓派（3/4代）板载蓝牙模块，默认的硬件串口是分配给蓝牙模块使用的，而性能较差的mini串口是分配给GPIO串口 TXD0、RXD0。但是我们不能使用mini串口，因此得把硬件串口分配给GPIO串口 TXD0、RXD0。具体的方法在网上可以查到很多资源，这里推荐树莓派的官方教程。这一步做完后，接好线，然后使用串口工具cutecom就可以查到GPS发过来的串口信号了。也可以使用gpsmon对GPS信号进行解析。

        为什么精确授时需要pps和NMEA缺一不可呢？这是因此设备处理NMEA信息（通常是串口信号）需要较长时间，处理完就已经早就错过NMEA信息所描述的那个时刻了。而PPS是一个1hz的方波，方波的上升沿可以触发设备的硬件中断功能，同时记录下这个时刻，这样处理完NMEA信息的时候，就知道对应的是哪个时刻了。开启树莓派pps-gpio功能的教程是这个。配置完成后，重启树莓派，使用ppstest去测试。

        因为我们需要让树莓派跟gps同步，因此需要关闭树莓派ntpd功能，避免树莓派通过网络时间同步。在命令行输入rcconf，安装提示操作就可以了，很简单。

        终于到重点了，这里先对这三个软件的功能做一个介绍。         gpsd的功能是解析NMEA信息和pps信号，获取当前GPS时间，但是它没有办法给树莓派系统授时；chronyd能够给树莓派系统授时，但是需要从gpsd获取当前GPS时间，chronyd和gpsd的通讯是通过共享内存实现的，这需要对chronyd做一定的配置；ptp4l是PTP同步，即精确网络时间同步协议的软件，它需要从chronyd获取系统当前时间，然后发布到局域网，给相机和工控机授时，ptp4l与chronyd的通讯也是通过共享内存。下面分别介绍怎么配置这三个软件：

        其实并不需要配置，直接开启就完事了哈哈。

        但是开启之后，需要用一些软件来测试一下有没有开启成功。如下面所示：

        chronyd有一个默认配置文件，修改配置文件即可。下面是整个配置文件，复制黏贴保存为conf即可。其中最后三行代码是重点，配置了跟gpsd和ptp4l的共享内存参数。

配置文件保存后，开启chronyd。

        等待半分钟，应该会显示系统已经与pps同步，如下：

Known Issue：有时候树莓派需要联网才能跟pps同步。。。有哪位大佬知道为啥的麻烦指导一波

        配置文件如下。其中重点是这几个参数priority1、logAnnounceInterval、logSyncInterval、time stamping、ntpshm_segment。前四者是为了保证相机能够通过PTP与树莓派时间同步（具体解释见《Camera-LIDAR_Detection_Fusion》这篇本科毕业论文，或者见Basler官方文档），最后一个是为了是ptp4l能跟chronyd通讯。

        配置文件保存后，开启ptp4l。

        由于树莓派已经配置为PTP授时服务器（master），那么工控机只要配置成PTP授时客户端（slave）即可。工控机使用的是ptp4l和chronyd两个软件，ptp4l与树莓派通讯获取当前时间，并通过共享内存的方式传递给chronyd，而chronyd更改系统时间，使系统时间与树莓派同步。

        首先ptp4l的配置文件需要做一点儿修改，主要是ntpshm_segment要改为0，全部配置文件如下：

        配置文件保存后，开启ptp4l

        chronyd的配置文件更改如下。主要还是refclock SHM的配置。至于为啥工控机和树莓派的chronyd配置文件长得很不一样，猜测应该是不同架构的软件包配置文件有所差异吧。

        配置文件保存后，开启chronyd。静待60秒后，看chronyc sources是不是PTP时钟源。

        博主使用的是Basler工业相机，支持PTP时间同步，因此只需要使用相机的sdk开启ptp时间同步即可。这里比较麻烦的一点是，Basler的官方ROS包暂时不支持开启PTP同步（虽然已经有人提交了代码了，但是一直没有merge到主分支里面），因此需要自己根据相机的sdk撸代码了。这里推荐两份参考资料，看官们可以根据此修改一点儿官方ros包的代码。接下来，博主默认Basler相机已经能够开启PTP时间同步，且发布出来的ros topic的时间戳是相机内部时间戳！

至此，所有设备都直接或者间接同步到GPS时间了。

        正如前文所说，要实现激光雷达和相机的同步采集，需要根据激光雷达的帧周期同步触发相机的拍摄，实现雷达和相机的完全帧同步。 那问题来了，触发信号从哪里来呢？答案是GPS的PPS信号！PPS是一个1HZ的方波，它的每个上升沿的时刻都是整秒时刻，误差是纳秒级的，因此是一个绝佳的触发信号。那么，如果实现了激光雷达和相机均在PPS信号上升沿的时候采集数据，且打上各自时钟的时间戳，那么就实现了我们的目标了。         但是，由于激光雷达和相机采集数据的方式不同，我们只能近似地保证激光雷达和相机的同步采集。如下图所示，激光雷达的激光束不断地360度旋转，假设帧率为10Hz的话，那么一帧点云中采集时刻最早的一个点和采集时刻最晚的一个点时间相差100ms。而相机就不同了，相机是瞬间曝光的，因此图像里面所有像素点的采集时刻都是一样的。这就导致了我们只能近似地保证激光雷达和相机的同步采集。具体方法就是当激光束旋转到相机视野中央的时候，触发相机，这样就保证了相机视野内的点云采集时间是跟图像采集时间是近似的。为什么说是近似的呢？对于相机视野中央的那些点云，它们的采集时间是跟图像采集时间一致的，但是对于相机视野边缘的那些点云，它们的采集时间就跟图像采集时间要有一定的时间偏差了，根据相机视野的大小和点云采集帧率的不同，时间偏差可能会有5ms~20ms左右。

        理论有了，那么怎么实施呢？插句题外话，KITTI数据集是怎么保证激光雷达和相机同步采集的？那个时候，机械式激光雷达还是外部旋转式的（类似于陀螺一样），作者在激光雷达外部贴了一个光电传感器，但激光雷达旋转到一定角度时，光电传感器触发，接通了相机的触发电路，从而相机曝光。但是现在的激光雷达为了小型化，高度集成，旋转元件都在内部了，因此也就无法采取跟KITTI数据集一样的方式了。不过，聪明的激光雷达制造商想出了一个相位锁定功能，也就是输入PPS，但PPS上升沿到来时，激光雷达的激光束恰好旋转到一定的角度。那么我们反过来想一下，激光雷达的激光束旋转到一定角度时，PPS上升沿刚好到来，那么我们把PPS信号当做相机硬件触发信号，不就可以触发相机了嘛。         于是乎，我们设置激光雷达的相位锁定角度为相机视野中央，如果相机视野朝着车辆正前方，激光雷达的坐标系也是朝着车辆正前方的话，相位锁定角度应该是0度。那么问题就这样解决了，每当激光雷达的激光束旋转到0度位置，也就是相机视野正中央，PPS上升沿刚好到来，相机也因此触发，就这样就实现了激光雷达和相机的同步采集，采集到的点云和图像分别附上采集时激光雷达和相机的内部时间戳，传输到工控机。（速腾激光雷达ROS包有一个配置参数use_lidar_time记得设置为true）。博主实验获取的时间戳如下所示：

        我们来分析一下上表所示的时间戳。可以看到，相机一秒钟触发一次，触发的时间点为整秒时刻（虽然时间有几微秒的偏差，但应该的PTP时间同步的误差来着），而激光雷达的采集时间是10HZ，时间戳有点儿奇怪，在一秒内的时间戳是0.05s，0.15s，0.25s，0.35s…0.85s，0.95s。需要说明的是，这是速腾激光雷达ROS包打出来的时间戳，而速腾激光雷达ROS包是以一帧点云（360度为一帧）的最后一个数据包的时间作为时间戳的。         这里涉及到一个点云分帧的概念，即激光雷达连续地做扫描，而一帧点云一般只有360度，因此有一个点云分帧角度作为起始角度和结束角度。需要注意的是，假设我们以90度作为点云分帧的角度，那么89度和91度的点云采集时间就相差100ms了哦！明白了点云分帧角度的概念之后，我们应该设置点云分帧角度在相机视野外，这样才能保证点云和图像的同时性。博主把点云分帧角度设置为180度，相位锁定角度为0度，点云采集帧率为10Hz。因此，点云的时间戳如0.15s，其实代表着激光束扫描到180度的时刻为0.15秒，因此180度为该帧点云的结束角度，所以这个时刻其实是晚于激光束扫描到0度（也就是相位锁定角度）的时刻的，结合点云采集帧率计算，激光束扫描到0度的时刻应该是0.10秒。因此，我们在做点云和图像时间对齐时，应该把点云的时间戳减0.05秒，然后再进行对齐。         我们来找一下表格里面时间对齐的图像和点云。以左相机为例，UTC时间1612512691.000003019这帧图像，应该对应UTC时间1612512691.050145864这帧点云。算一下时间差1612512691.050145864-0.05-1612512691.000003019=0.000142845，也就是0.1ms，达到了亚毫秒级同步了。         至此，我们实现了激光雷达和相机内部时钟的同步，以及点云采集和图像采集的时间同步，本博文的基本目标已经完成了。

        细心的看官肯定发现了，上面给出的解决方案，相机的采集帧率只有1Hz，而点云的采集帧率有10Hz，这在很多场景下没法使用。这时候，单片机就派上用场了。我们可以使用单片机，把PPS信号转发为任意频率、但是跟PPS信号同相位的方波，这样就可以控制相机的采集频率了。下图就展示了单片机的输入输出，把PPS信号转发为同相位的5HZ相机触发信号。具体的实现原理需要使用到中断、定时器、GPIO输入输出等功能，应该是最基础的单片机应用。博主还没有来得及实现，在这里就不献丑了。

为了使博文不至于冗长，博主省略了很多细节和原理介绍，下面这些参考文献可供学习使用。 https://www.researchgate.net/publication/339630757_Camera-LIDAR_Detection_Fusion

https://connecttech.com/resource-center/kdb349-gps-time-synchronization-linux/

https://blog.csdn.net/xiaohu50/article/details/78731534

https://gpsd.gitlab.io/gpsd/gpsd-time-service-howto.html#_ptp_with_software_timestamping

https://t.codebug.vip/questions-1646062.htm

http://www.rjsystems.nl/en/2100-ntpd-garmin-gps-18-lvc-gpsd.php#rslt

https://gpsd.gitlab.io/gpsd/gpsd-time-service-howto.html#_feeding_chrony_from_gpsd

https://livox-wiki-cn.readthedocs.io/zh_CN/latest/tutorials/timestamp_sychronization.html#id14

https://wiki.alpinelinux.org/wiki/Chrony_and_GPSD

https://blog.csdn.net/ReCclay/article/details/104679944

https://www.raspberrypi.org/documentation/configuration/uart.md

https://blog.csdn.net/qishi_blog/article/details/52843696?utm_source=blogxgwz7&utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-2&spm=1001.2101.3001.4242