在恶劣天气下，运行可靠对于安全自动驾驶汽车（AVs）的部署至关重要。通过将标准的自动驾驶汽车传感器套件（即激光雷达、相机）与天气鲁棒性好的传感器（如毫米波雷达）数据融合，可以实现更好的鲁棒性和可靠性。至关重要的是，精确的传感器数据融合需要知道传感器对之间的刚体变换，这可以通过外部标定来确定。对于2D（平面）雷达传感器已经有许多外参标定算法，然而，最近开发的低成本3D毫米波雷达将在许多应用中取代2D雷达。论文中，我们提出了一种连续时间3D雷达到相机的外参标定算法，该算法利用雷达速度测量，并且与大多数现有技术不同，不需要在环境中放置雷达反射器。我们推导了公式的可行性，并通过合成和真实实验证明了算法的有效性。

介绍

对于在以人为中心的环境中行驶的自动驾驶汽车(AVs) （如在城市街道上行驶的自动驾驶车辆）来说，安全是最重要的问题。为了降低风险并提高鲁棒性，大多数自动驾驶车辆都会对来自车载上多个传感器的数据融合。标准的自动驾驶车辆传感器套件通常包括相机和激光雷达，虽然这些传感器能够提供高程度的环境感知，但在恶劣天气（例如大雨或雪天）下可能无法可靠工作。反过来说，许多自动驾驶车辆传感器平台包含天气鲁棒的2D（平面）毫米波雷达单元，例如，雷达测量相对不受降水引起的干扰。所有雷达传感器的工作原理相同：雷达天线发射出低频电磁脉冲，经由环境中的雷达不透明目标反射，然后返回雷达传感器。通过测量返回脉冲的飞行时间和相位，雷达能够确定目标的方位角、距离、测距速率（径向速度）和横截面（反射率）。低频电磁波能够穿过雨、雪和其他障碍物[1]。尽管2D雷达已被证明在许多自动驾驶车辆应用中是有用的，但由于缺乏完整的3D信息限制了其在许多情况下的实用性。

图1 标定问题描述。雷达测量环境中物体的距离范围、方位角、仰角、测距速率和反射率。相机（或自我运动传感器）测量其自身相对于固定参考系的位姿变化。我们的目标就是得到雷达单元和相机之间的刚体变换关系。

最近，低成本的3D雷达传感器，已经变得可用，例如德州仪器AWR1843BOOST。由于3D雷达测量中包含的附加信息（例如：仰角），3D雷达有望取代自动驾驶系统和其他应用中的2D传感器。然而，为了将3D雷达数据与来自其他自动驾驶车辆传感器的测量结果正确融合，需要知道雷达和其他传感器之间的刚体变换。确定变换的过程称为外参标定。通常，部署之前，先在实验室或者工厂环境中进行外参标定；然而，由于材料疲劳属性或者用户修改，变换参数容易发生变化。因此，需要一种方法来进行现场的外参标定估计。

雷达外参标定具有挑战性，原因如下：第一，大多数雷达测量模型假设电磁波仅被一个表面反射。事实上，经常会有来自几个不同表面的多路径反射。这些多路径反射会产生测量异常值，这些异常值可能会掩盖或“淹没”目标的真实反射。第二，原始雷达测量具有显著的抖动，这会降低测量精度。最后，雷达波是一种波，因此目标反射的确切点可能不明确和/或不一致[2]。雷达测量的低精度和高异常率会降低外参标定的估计。为了缓解这些问题，许多现有的标定算法依赖于在环境中有策略性地放置专用雷达反射器。尽管这种方法更好进行标定，但在常规操作期间，现场很少有专门的回射器可供使用。

通过依赖传感器平台的运动，而不是依赖于特定的场景结构（看图1），我们克服了雷达外参标定的挑战。Stahoviak的工作表明，3D毫米波（以下简称毫米波）雷达传感器的速度可以在不了解环境的情况下直接确定[3]。我们通过依赖3D雷达提供的速度信息，而不是通过试图定位和跟踪特定目标，因此我们避免了由噪声、异常值和抖动引起的许多问题。我们专注于雷达到相机的外参标定，然而，我们所描述的方法也适用于任何能够估计自身运动的互补传感器（例如，3D激光雷达、GNSS/INS传感器等）。我们只需要足够的信息来进行自我运动估计和系统的充分激励（见第IV-B节）。本论文中，我们：

1）证明在系统充分激励的情况下，3D雷达-相机的外参标定是可观察的；

2）描述正确标定所需的运动；

3）开发一种连续时间批处理雷达-单目相机的外参标定算法；

4）通过大量的真实实验，验证了我们算法在合成数据上的性能表现。

我们提供了在不使用雷达回射器的情况下估计3D毫米波雷达和单眼相机之间的外参标定参数的第一种方法之一。尽管我们的目标是建立天气鲁棒性好的导航平台，但我们专注于在现场标称条件下（即没有恶劣天气）进行标定，这已经是一个非常困难的问题。

相关工作

现已存在各种毫米波雷达外参标定算法，这些算法可以根据所涉及的传感器对和校准的特定自由度进行粗略分组。早期的雷达-相机传感器对的外参标定算法只考虑2D雷达单元，要么忽略雷达测量的3D属性，要么将任何雷达回射器的位置限制在雷达测量平面上[4]–[7]。这些算法通过估计相机图像平面和雷达测量平面之间的单应性关系来执行。在文献[4]中，Sugimoto等人指出，当回射器位于雷达参考系中的零仰角平面上时，2D雷达单元通常测量最大回波；对于位于该平面上方或下方的回射器，返回波的强度减小。文献[4]中的方法通过强度来过滤返回的毫米波，以确保只有零仰角（相对于雷达坐标系）平面中的目标被用来进行标定。

现有的算法中，更多是通过最小化“重投影误差”来估计传感器对的刚性变换：“重投影误差”是出现在两个传感器视场中可识别的环境结构或物体的对准误差。前提是假设雷达测量被限制在零仰角平面，Kim等人[8]对准可以在相机和雷达数据中容易识别的混合视觉雷达目标。对于某些“重投影误差”算法，零仰角平面约束是放宽的。El Natour等人通过将反向投影的相机射线与雷达测量必须沿着的3D“弧”相交来估计雷达到摄像机的变换[9]。Domhof等人依靠已知的视觉目标结构将相机测量值转换为“伪雷达”测量值。将雷达和伪雷达测量值最佳对准的变换定义为外参标定[10]。Persi´c等人[11]通过使用目标反射强度作为仰角的伪测量来解决仰角模糊性，改进了以上这些方法。Persi´c等人[11]还将他们的方法扩展到2D雷达到激光雷达的标定方面。Oh等人在文献[12]中总结并比较了重投影和单应性方法，其中作者得出结论，单应性和重投影方法具有相似的准确性。

上述所有算法都需要专门的后向反射雷达目标，但也存在少量用于2D毫米波雷达的“无目标”或无目标外参标定算法。在文献[13]中，Scholler等人使用端到端的深度学习来估计外参的旋转矩阵，这些参数用来在雷达测量和相机图像中检测到的车辆（即汽车）进行对齐。然而，该算法需要通过外部测量类获取平移参数。在文献[14]中，Persic等人通过对齐运动物体轨迹来估计变换，来对2D雷达、相机和激光雷达传感器进行无目标的在线成对外参标定。该方法假设平移参数是已知的，并且仅估计雷达-相机对和雷达-激光雷达对之间的偏航角。

与我们方法类似，Kellner等人[15]使用雷达速度测量通过将陀螺仪的角速度与雷达的横向速度相关联来估计2D雷达传感器和车载陀螺仪之间的偏航角。该技术还需要传感器之间平移的先验知识。

总之，迄今为止的毫米波雷达标定算法通常受到硬件限制（即，无法可靠地解决仰角问题）或对专用后向反射目标的需求的限制，或者由于缺乏真实的3D信息而遇到高校准参数不确定性的影响。我们利用3D雷达测量中的可用仰角数据来估计雷达单元的瞬时（3D）速度。这些数据与来自相机（或其他自我运动传感器）的姿态估计相结合，使我们能够在不需要专门目标的情况下确定完整的传感器到传感器的刚体变换。

问题公式

A. 表示法

拉丁字母和希腊字母（如和）表示标量变量，而粗体小写字母和大写字母（如和）分别表示向量和矩阵。带括号的上标对，如，表示矩阵的第行和第列。三维参考系由表示。从点 （通常是参考系原点）到  的平移矢量，用表示，或用  表示。点  相对于点  的平移速度，用表示，或用 表示。坐标系相对于惯性坐标系的角速度，用表示，或用 表示。

我们用  表示旋转矩阵；例如，将它定义为到的旋转。我们为变换矩阵保留 ；例如， 是定义从坐标系到刚体变换的齐次矩阵。这些变换是使用的分割表示法来构造的。例如，在时间  时刻，从坐标系到的变换是:

其中变换矩阵  被拆分为旋转矩阵 和平移向量 。一元算子 ^ 作用于 ，产生一个斜对称矩阵，^ 等价于叉积 。

B. 传感器测量

我们考虑三个参考系：是附着在地球表面的（近似）惯性系，是雷达传感器的参考系，是相机（或其他自我运动传感器）的参考系。在坐标系相对于中，雷达单元测量传感器的速度，在某一时刻 ，用表示。

其中，我们使用偏导数表示法来表明雷达位置也取决于我们的B样条轨迹表示的参数（见第III-C节）。

假设在坐标系中，可以看到一系列三个或三个以上（已知）的3D地标，照相机能够测量其在t时刻相对于的位姿。

其中，是雷达在惯性系中时刻的齐次姿态矩阵，是定义（恒定但未知）雷达到相机变换的齐次矩阵。如果地标的度量位置未知，则只能在未知比例因子下确定相机的平移。

C. 连续时间轨迹表示

在我们的问题公式中，我们用传感器平台轨迹的连续时间表示。用连续时间表示是有优势的，因为它允许在任意时刻进行测量；由于雷达和相机以不同的速率工作，并且不是硬件同步的，因此它们测量时间之间的关系不是固定的。这有多种可能的方法来对连续时间内的轨迹进行参数化[16]–[18]。我们选择了Sommer等人在[16]中开发的李群上的累积 

 样条表示。下面，我们非常简要地回顾这一表述，并请读者参考[16]了解更多细节。 样条是一个连续参数（如时间）和一组有限控制点（或节点）的函数；为了简洁起见，我们将这里的示例限制为点集{}。样条曲线的阶数  决定了在时间  时刻评估样条曲线所需的控制点数量。在均匀间隔的 样条中，每个控制点都对应了一个时间 ，其中， 是样条曲线的起始时间， 是控制点之间的时间。给定一条长度为、阶数为  的  样条曲线，该样条曲线的结束时间就是。

给定一个时间 ，归一化时间 ，其中， 是分配给控制点  的时间和 。在归一化时间  时，评估的  样条函数为：

其中，，。矩阵是一个  的混合矩阵。混合矩阵的元素是样条阶数为  的函数，由下面的公式所定义：

标量是一个二项式系数。这个 样条曲线的定义可以通过定义 来简化，结果如下：

这种  样条表示是描述连续时间内光滑刚体轨迹的一种方便方法。我们上面的开发是针对向量空间上的样条曲线，但  样条曲线也可以定义在李群上，包括三维旋转组。

其中， 是旋转样条曲线的控制点，。算子 和 分别代表从李代数 到

的映射，反之亦然[18]。

D. 最优化问题

雷达速度的误差方程为：

其中， 和  是  的分割样条表示， 具有控制点和。向量  是在时刻  测得的雷达速度。相机测量的误差方程为：

其中， 和  分别是  对应的  和  的元素。我们希望用来估计的参数集合  包含分割样条表示的控制点和  的外参标定参数，

然后，我们的优化问题是找到最小化以下成本函数的 ，成本函数如下：

其中， 和  分别是雷达速度测量的次数和相机姿态测量的次数。

E. 实施细节

我们估计雷达单元速度的方法包括找到最适合测量距离-速率矢量的一系列速度矢量。为此，我们使用了Stahoviak等人开发的名为 ’Goggles‘ [3]的算法和软件包。‘Goggles’ 算法应用MLESAC(随机采样最大似然算法)来找到一组更内部的雷达速度测量值。最后的速度估计是在这组内部速度上使用正交距离回归来计算的。

我们使用Ceres求解器[19]中可使用的 Levenberg-Marquardt 算法来解决全批次非线性优化问题，以确定外参。将Ceres求解器的自动微分能力应用于计算误差方程的雅可比矩阵。为了操作  样条曲线，我们依赖Sommer等人的文献[16]的库。我们的平移和旋转样条曲线的样条曲线阶数为 。

可观测性分析

为了估计标定参数，系统必须是可观测的（或者，相当于我们的批次公式化，是可识别的）。在第IV-A节中，我们利用了Hermann和Krener文献[20]定义的可观测性秩的条件准则来证明标定和尺度估计问题是可观测的。众所周知，在没有度量距离信息的情况下，仅靠单目相机测量无法得到绝对尺度[21]。我们在后面显示，在给定雷达速度数据的情况下，可以在不知道视觉地标之间的（度量）距离的情况下识别标定参数和视觉比例因子。因此，在一般情况下，雷达到相机的标定不需要专门的相机标定目标（或任何其他外部尺度信息源）。我们关注以下一组参数：

其中， 是相机姿态测量中出现的未知比例因子。第IV-B节提供了标定问题的简要退化分析，该分析确定了引起可观测性损失的条件。

A. 雷达对相机外参标定的可观测性

我们采用了与[22]中类似的方法，并注意到相机的（缩放的）线速度和角速度可以通过拍摄相机姿态测量的时间导数来确定。此外，Stahoviak已经表明，雷达的3D速度（在雷达坐标系中）可以从三个非共面测距-速率测量中得到[3]。这些量可以通过刚体运动学来关联。

其中， 是相机的缩放线速度， 是相机的角速度，两者都相对于相机坐标系。为了减少未来的符号负担，我们去掉了定义速度和外部变换参数的上标和下标。第  次测量的零阶李导数的梯度为：

其中， 是  [18]的李代数左雅各比。由于感兴趣的参数相对于时间是恒定的，我们能够叠加几个李导数的梯度（在不同的点时间）来形成可观测性矩阵，如下矩阵(18)，当有三组或以上测量值可用时，该矩阵具有满列秩（为了简洁起见，我们省略了完整的证明）。我们注意到，通过只考虑测量方程和在

不同的时间点来对分析过程进行了简化。然而，也有可能表明，当传感器平台经历线性和角加速度时，系统在某一瞬间局部的可观测性较弱（同样，由于空间原因，我们省略了这一证明）。

B. 退化分析

可通过检查可观察性矩阵的零空间来确定可能发生可观察器损失（可识别性）的条件。在本节中，我们认为比例参数

是已知的，它删除了方程(17)定义的矩阵的最后一列，反过来，只需要两组测量值。 的零空间包含如下向量：

其中， 的每一列定义一个空向量。为了确保由  和  形成的堆叠可观测性矩阵具有全列秩（即，零空间仅包含零向量），必须至少满足以下约束：

方程(20)定义的约束条件表明，系统必须在不同的时间点绕两个不共线的轴旋转并沿其平移。旋转约束是意料之中的，因为我们的问题类似于Brookshire和Teller在[23]中定义的问题。然而，雷达单元的角速度不能直接测量，这导致了第二个激励要求。可以从方程(19)的第三列生成附加约束，但这些运动更难表征；根据我们的实验，我们假设这些约束在实践中不太可能被违反。

实验和结果

一般来说，我们的算法可以应用于任何3D雷达和自我运动传感器对，但我们的实验重点是3D雷达到单目相机的外参标定。为了方便起见，在这项工作中，我们估计了相机相对于已知尺寸的12×10平面棋盘标定目标的位姿。然而，如第IV节所示，不需要了解公制刻度——相机必须简单地查看具有一般配置的环境中是否有足够数量的特征（三个或以上）。

下面，我们介绍了一系列合成和真实世界的标定实验，以评估我们算法的性能。在第V-A节中，我们实验分析了算法应用于合成数据时对测量噪声的敏感性。在第V-B节中，尽管我们的方法不需要专门的雷达后向反射器，我们证明了我们的方法在手工测量标定的基础上有所改进，并与Persi等人[24]算法相比还具有优势。

A. 合成数据

我们的模拟环境如图2所示。为了确保系统的充分激励，传感器平台轨迹在雷达传感器坐标系中的所有3个轴(X, Y, Z)上具有非零的线性和角加速度；参见图2的底部。我们在每个雷达和相机测量中添加了零均值高斯噪声，其量级与我们在真实世界实验中确定的噪声水平相似。

图 2  我们模拟研究的实验设置。标定装备在沿着蓝色轨迹移动的同时进行旋转。黑点代表12×10的棋盘标定板的内部角点，正方形大小为9.9厘米乘9.9厘米，与我们的物理棋盘标定板相同

仿真结果表明，我们的算法在低噪声条件下是准确的，但随着雷达速度测量中噪声量的增加，算法性能会下降（见图3）。我们发现，在x、y和z方向上，在真实世界中估计的雷达速度平均标准差分别为0.03、0.06和0.1 m/s。因此，噪声最大的模拟实验代表了最坏的标定情况，因为该实验使用的噪声量是真实雷达速度数据中的两倍。总体而言，所提出的标定算法显示出对显著噪声的鲁棒性，尽管最坏情况下的噪声水平非常大，但我们能够在所有试验中成功标定。

B. 真实实验

我们收集了一个真实世界的数据集，使我们能够将我们算法的性能与Persic等人[24]的基于3D重投影的算法进行比较。我们的数据采集设备（如下图4所示）包含：（i）PointGrey BFLY-U3-23S6M-C全球快门相机，带Kowa C-Mount 6毫米定焦镜头（96.8°×79.4°视场）（ii）德州仪器AWR1843BOOST 3D雷达单元。两个传感器的工作频率约为10 Hz。数据由车载Raspberry Pi 4 Model B 捕获并存储。在进行实验之前，使用Kalibr工具箱[25]获得相机内参和镜头畸变参数。在运行优化算法之前，我们对雷达和相机数据进行了粗略的、临时的时间对准。此外，通过手工仔细测量外参（平移和旋转）参数以进行比较。

实验在室外进行，以减轻（在某种程度上）雷达多径反射和其他不良影响。我们将五个专门的混合雷达相机目标[11]放置在环境中进行验证，并与[24]中的标定方法进行比较。然而，我们强调，我们的算法并没有专门利用回射雷达目标；雷达的速度可以独立地确定。

图 3  左部分：不同模拟雷达速度和图像像素噪声量的估计和真值标定参数之间的平移误差范数的直方图。右部分：旋转误差的直方图。旋转误差是将估计的雷达帧和真实的雷达帧对齐的角度的大小。对于每个噪声组合，运行了50个测试用例

我们通过测量目标重投影误差来评估标定算法的性能。我们在环境中的每个雷达-相机目标上放置了AprilTag[26]，使我们能够估计目标的3D位置。通过利用给定标定方法获得的外部变换，可以将目标的雷达测量结果投影到相机参考坐标系中。观察到的目标3D位置（来自图像数据）和目标位置的投影雷达估计之间的距离是目标重投影误差。图5显示了使用3种不同标定方法确定的雷达到相机的重投影误差：手动测量、Persic等人[24]的基于3D重投影的方法以及我们提出的方法。由于[24]中3D重投影方法估计的变换将AprilTag位置与目标的投影雷达测量值进行最佳对齐，因此根据该度量值，正如预期的那样，该方法的性能优于我们的算法。然而，我们提出的方法与[24]中的方法之间的重投影误差的均值小于4 mm。与[24]相反，我们的算法在一般情况下不需要任何专门的雷达反射目标。

图 4 上部的图是手持数据采集设备的图片。下面两张图显示了我们数据收集环境的不同视角

图 5  3种标定方法的目标重投影误差：手工测量，Persic等人[24]的方法，以及我们提出的方法。所有算法都使用相同的数据集，所有标定结果都是从保留的数据集中获得的。

结论

在本文中，我们描述了一种新的连续时间3D毫米波雷达到相机的外参标定算法。我们证明了这个问题是可观察的，并仅从雷达速度和相机姿态测量中导出了标定的必要条件。在合成数据上，我们的算法被证明是准确可靠的，但我们的灵敏度分析表明，性能取决于雷达速度测量中的噪声量。使用手持传感器设备的数据，我们证明了在不需要回射器的情况下，我们的方法与[24]中的方法有相当的精度来标定外参变换。未来的一个研究方向是研究明确考虑对准误差的替代成本函数（类似于[24]）。最后，类似于[28]的联合时空标定[27]和单目相机轨迹尺度估计将是我们算法有价值的延伸。

参考资料：

[1]  R. Gourova, O. Krasnov, and A. Yarovoy, “Analysis of rain clutter detections in commercial 77 GHz automotive radar,” in 2017 European Radar Conference (EURAD), 2017, pp. 25–28.

[2]  M. A. Richards, J. A. Scheer, and W. A. Holm, Eds., Principles of Modern Radar: Basic principles, ser. Radar, Sonar & Navigation. Institution of Engineering and Technology, 2010.

[3]  C. C. Stahoviak, “An instantaneous 3D ego-velocity measurement algorithm for frequency modulated continuous wave (FMCW) doppler radar data,” Master’s thesis, University of Colorado at Boulder, 2019.

[4]  S. Sugimoto, H. Tateda, H. Takahashi, and M. Okutomi, “Obstacle detection using millimeter-wave radar and its visualization on image sequence,” in International Conference on Pattern Recognition (ICPR), 2004, pp. 342–345.

[5]  T. Wang, N. Zheng, J. Xin, and Z. Ma, “Integrating millimeter wave radar with a monocular vision sensor for on-road obstacle detection applications,” Sensors, vol. 11, no. 9, pp. 8992–9008, 2011.

[6]  D.Y.KimandM.Jeon,“Datafusionofradarandimagemeasurements for multi-object tracking via Kalman filtering,” Information Sciences, vol. 278, pp. 641–652, 2014.

[7]  J. Kim, D. S. Han, and B. Senouci, “Radar and vision sensor fusion for object detection in autonomous vehicle surroundings,” in 2018 Tenth International Conference on Ubiquitous and Future Networks (ICUFN), 2018, pp. 76–78.

[8]  T. Kim, S. Kim, E. Lee, and M. Park, “Comparative analysis of RADAR-IR sensor fusion methods for object detection,” in 2017 17th International Conference on Control, Automation and Systems (ICCAS), 2017, pp. 1576–1580.

[9]  G. El Natour, O. Ait Aider, R. Rouveure, F. Berry, and P. Faure, “Radar and vision sensors calibration for outdoor 3D reconstruction,” in 2015 IEEE International Conference on Robotics and Automation (ICRA), 2015, pp. 2084–2089.

[10]  J. Domhof, J. F. P. Kooij, and D. M. Gavrila, “An extrinsic calibration tool for radar, camera and lidar,” in 2019 International Conference on Robotics and Automation (ICRA), 2019, pp. 8107–8113.

[11]  J.Persˇic ́,I.Markovic ́,andI.Petrovic ́,“Extrinsic6DoFcalibrationofa radar–lidar–camera system enhanced by radar cross section estimates evaluation,” Robotics and Autonomous Systems, vol. 114, pp. 217 – 230, 2019.

[12]  J.Oh,K.Kim,M.Park,andS.Kim,“Acomparativestudyoncamera- radar calibration methods,” in 2018 15th International Conference on Control, Automation, Robotics and Vision (ICARCV), 2018, pp. 1057– 1062.

[13]  C. Scho ̈ller, M. Schnettler, A. Kra ̈mmer, G. Hinz, M. Bakovic, M. Gu ̈zet, and A. Knoll, “Targetless rotational auto-calibration of radar and camera for intelligent transportation systems,” in 2019 IEEE Intelligent Transportation Systems Conference (ITSC), 2019, pp. 3934– 3941.

[14] J. Persˇic ́, L. Petrovic ́, I. Markovic ́, and I. Petrovic ́, “Online multi- sensor calibration based on moving object tracking,” Advanced Robotics, vol. 35, no. 3-4, pp. 130–140, 2021.

[15] D. Kellner, M. Barjenbruch, K. Dietmayer, J. Klappstein, and J. Dick- mann, “Joint radar alignment and odometry calibration,” in 2015 18th International Conference on Information Fusion (Fusion), 2015, pp. 366–374.

[16] C. Sommer, V. Usenko, D. Schubert, N. Demmel, and D. Cremers, “Efficient derivative computation for cumulative b-splines on Lie groups,” in 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 11 145–11 153.

[17] P. Furgale, C. H. Tong, T. D. Barfoot, and G. Sibley, “Continuous- time batch trajectory estimation using temporal basis functions,” The International Journal of Robotics Research, vol. 34, no. 14, pp. 1688– 1710, 2015.

[18] T. D. Barfoot, State estimation for robotics. Press, 2017.Cambridge University

[19] S. Agarwal, K. Mierle, and Others, “Ceres solver,” http://ceres-solver. org.

[20] R. Hermann and A. Krener, “Nonlinear controllability and observabil- ity,” IEEE Transactions on Automatic Control (TAC), vol. 22, no. 5, pp. 728–740, 1977.

[21] A. Chiuso, P. Favaro, Hailin Jin, and S. Soatto, “Structure from motion causally integrated over time,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 4, pp. 523–535, 2002.

[22] M. Li and A. I. Mourikis, “Online temporal calibration for camera-imu systems: Theory and algorithms,” International Journal of Robotics Research, vol. 33, no. 7, pp. 947–964, 2014.

[23] J. Brookshire and S. Teller, “Extrinsic calibration from per-sensor egomotion,” Robotics: Science and Systems VIII, pp. 504–512, 2013. [24] J. Persˇic ́, L. Petrovic ́, I. Markovic ́, and I. Petrovic ́, “Spatio-temporal multisensor calibration based on gaussian processes moving object tracking,” To appear in: IEEE Transactions on Robotics (TRO).

[25] J. Maye, P. Furgale, and R. Siegwart, “Self-supervised calibration for robotic systems,” in 2013 IEEE Intelligent Vehicles Symposium (IV),2013, pp. 473–480.

[26] E. Olson, “AprilTag: A robust and flexible visual fiducial system,” in Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 2011, pp. 3400–3407.

[27] P. Furgale, J. Rehder, and R. Siegwart, “Unified temporal and spatial calibration for multi-sensor systems,” in 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2013, pp. 1280–1286. 

[28] E. Wise, M. Giamou, S. Khoubyarian, A. Grover, and J. Kelly, “Certifiably optimal monocular hand-eye calibration,” in 2020 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI), 2020, pp. 271–278.