相机参数的估计过程称为相机标定。这意味着我们拥有关于相机的所有信息（参数或系数），这些信息用于确定真实世界中的3D点与其在该标定相机捕获的图像中的相应2D投影（像素）之间的精确关系。通常这意味着恢复两种参数。

要理解标定的过程，我们首先需要了解成像几何。我们将从几何的角度来解释图像的形成。具体来说，我们将讨论三维点如何在图像平面上投影的数学问题。也就是说，你所需要知道的就是矩阵乘法。

为了容易理解这个问题，假设你在房间里安装了一台照相机。给定三维点P在这个房间里，我们想要找到这个3D点的像素坐标(u，v)在相机拍摄的图像中。在这个设置中有三个坐标系在起作用。我们来解释一下（解释涉及光学知识看不懂不影响可跳过）。

由上图可以看到世界坐标系和相机坐标系是通过旋转和平移联系起来的。这六个参数(3个用于旋转，3个用于平移)称为相机的外部参数。 要定义房间中点的位置，我们首先需要为这个房间定义一个坐标系。它需要做两件事：

利用上面的方法，我们可以通过测量空间内任意点沿X、Y和Z轴与原点的距离来找到它的三维坐标。这个与房间相连的坐标系称为世界坐标系。在图1中，它使用橙色轴显示。我们将使用粗体字体表示轴，用普通字体表示点的坐标。 让我们考虑一下这个房间的P点。在世界坐标系中，P的坐标只需沿三个轴测量该点距原点的距离，就可以找到该点的X、Y和Z坐标。

现在，让我们把相机放在这个房间里。这个房间的图像将用这个相机拍摄，因此，我们感兴趣的是连接到这个相机上的三维坐标系。如果我们将相机放在房间的原点，并使其X、Y和Z轴与房间的xyz轴对齐，则两个坐标系将是等同的。 然而，这是一个荒谬的限制。我们想把相机放在房间里的任何地方，它应该可以在任何地方看到。在这种情况下，我们需要找出三维房间(即世界)坐标和三维相机坐标之间的关系。 假设我们的相机位于房间中的任意位置( t X t_X tX​， t Y t_Y tY​， t Z t_Z tZ​）。用技术术语来说，我们可以用（( t X t_X tX​， t Y t_Y tY​， t Z t_Z tZ​）相对于世界坐标来转换相机坐标。相机也可能朝着任意的方向看。换句话说，我们可以说相机是相对于世界坐标系旋转的。 3D中的旋转是用三个参数捕捉的——你可以把这三个参数看作yaw, pitch, roll。也可以将其视为三维中的轴（两个参数）和围绕该轴的角度旋转（一个参数）。 然而，将旋转编码为3×3矩阵往往是便于数学操作的。现在，您可能会认为，3×3矩阵有9个元素，因此有9个参数，但是旋转只有3个参数。这就是为什么任意3×3矩阵都不是旋转矩阵的原因。不谈细节，让我们现在只知道，一个旋转矩阵只有三个自由度，即使它有9个元素。 回到我们原来的问题。世界坐标和相机坐标由旋转矩阵 R 和一个三元平移矢量 t 关联。 那是什么意思？ 这意味着在世界坐标系中具有坐标值( X w X_w Xw​， Y w Y_w Yw​， Z w Z_w Zw​）的点P在相机坐标系中将具有不同的坐标值( X c X_c Xc​， Y c Y_c Yc​， Z c Z_c Zc​）。我们用红色表示相机坐标系。这两个坐标值与下面的方程有关。

请注意，将旋转表示为一个矩阵可以让我们用简单的矩阵乘法来进行旋转，而不是像yaw, pitch, roll等其他表示中所需的繁琐的符号操作。我希望这能帮助你理解为什么我们把旋转表示为矩阵。有时，上面的表达式是以更紧凑的形式写成的。将3×1平移向量作为一列附加在3×3旋转矩阵的末尾，得到一个3×4矩阵，称为外参矩阵。

其中，外参矩阵 P 是由下式给出：

在射影几何学中，我们经常用一个有趣的坐标即齐次坐标表示，在坐标上附加一个额外的维度。笛卡尔坐标系中的三维点（X，Y，Z）可以在齐次坐标系中写成（X，Y，Z，1）。更广泛地说，齐次坐标中(X, Y, Z, W)点与笛卡尔坐标中的点( X W X_W XW​, Y W Y_W YW​, Z W Z_W ZW​)相同。齐次坐标允许我们用有限的数字来表示无限量。例如，无穷远处的点可以在齐次坐标系中表示为（1，1，1，0）。你可能会注意到我们在外参矩阵中使用了齐次坐标来表示世界坐标

点P在图像平面上的投影如上图所示。一旦我们通过对点世界坐标应用旋转和平移来获得相机三维坐标系中的点，我们就可以将该点投影到图像平面上以获得该点在图像中的位置。 在上面的图像中，我们看到的是一个点P，在相机坐标系中有坐标（ X c X_c Xc​， Y c Y_c Yc​， Z c Z_c Zc​）。只是提醒一下，如果我们不知道这个点在相机坐标系中的坐标，我们可以使用外参矩阵变换它的世界坐标，从而使用外参矩阵获得相机坐标系中的坐标。上图显示了简单针孔相机的相机投影。 光学中心（针孔）用 O c O_c Oc​表示，实际上在像面上形成点的倒像。为了数学上的方便，我们简单地做所有的计算，就好像图像平面在光学中心的前面一样，因为从传感器读出的图像可以轻微地旋转180度来补偿反转。实际上，这是不需要的。它甚至更简单：一个真正的相机传感器只是按照相反的顺序（从右到左）从最下面一行读出，然后从下到上读取每一行。通过这种方法，图像自动垂直形成，左右顺序正确。因此在实践中，不再需要旋转图像。 图像平面放置在距离光学中心f（焦距）的位置。 利用高中几何（相似三角形），可以显示出三维点（ X c X_c Xc​， Y c Y_c Yc​， Z c Z_c Zc​)的投影图像（x，y）由下式获得：

这两个方程可以用矩阵形式重写如下：

矩阵K如下所示，称为内参矩阵并包含相机的内在参数。

上述简单矩阵只显示焦距。然而，图像传感器中的像素可能不是方形的，因此我们可能有两个不同的焦距。f_x和f_y。光学中心(c_x, c_y)相机的中心可能与图像坐标系的中心不重合。 此外，相机传感器的x轴和y轴之间可能有一个小的倾斜 γ \gamma γ。考虑到以上所有因素，相机矩阵可以重新编写为：

下图显示了当图像像素坐标系的原点位于左上角时更真实的场景。内参相机矩阵需要考虑主点的位置、轴的倾斜以及沿不同轴的潜在不同焦距。

然而，在上述等式中，x和y像素坐标相对于图像的中心。但是，在处理图像时，原点位于图像的左上角。 我们用（u，v）表示图像坐标。则有下式： 其中：

将世界坐标系中的三维点投影到相机像素坐标上，有以下步骤：

正如上章中所解释的，要找到三维点在图像平面上的投影，我们首先需要使用外部参数(R和t)将点从世界坐标系转换为相机坐标系。接下来，使用相机的内部参数，我们将点投影到图像平面上。 将世界坐标系中的三维点（ X w X_w Xw​， Y w Y_w Yw​， Z w Z_w Zw​）与其在图像坐标系中的投影（u，v）相关的方程式如下所示： 其中如下图所示，***P***是一个由两部分组成的3×4投影矩阵。包含内在参数的内参矩阵（K）和由3×3旋转矩阵***R***和3×1平移向量***t***组合而成的外参矩阵）。

如前文所述，内参矩阵K是上三角矩阵 其中：

标定过程的目标是使用一组已知的三维点（ X w X_w Xw​， Y w Y_w Yw​， Z w Z_w Zw​）及其对应的图像坐标（u、v），找到3×3矩阵K、3×3旋转矩阵R、3×1平移向量T。当我们得到相机的内部和外部参数值时，相机就被称为标定相机。总之，相机标定算法具有以下输入和输出：

注意OpenCV中，相机内部矩阵不包含倾斜参数。所以矩阵的形式是：

以下是主要的相机标定方法：

标定示例过程用下面给出的流程图来解释。

我们来看看这些步骤。

世界坐标系：我们的世界坐标是由以下这个棋盘格图案固定的，这个棋盘格图案附着在房间的墙上。我们的三维点是棋盘中正方形的角。上面的任何一角都可以选择到世界坐标系的原点。 X w X_w Xw​和 Y w Y_w Yw​轴沿墙，并且 Z w Z_w Zw​垂直于墙。因此，棋盘上的所有点都在XY平面上（即 Z w Z_w Zw​=0）。 在标定过程中，我们通过一组已知的3D点（ X w X_w Xw​， Y w Y_w Yw​， Z w Z_w Zw​）和它们在图像中对应的像素位置（u，v）来计算相机参数。 对于三维点，我们在许多不同的方向拍摄具有已知尺寸的棋盘格图案。世界坐标被附加到棋盘上，因为所有的角点都在一个平面上，所以我们可以任意选择 Z w Z_w Zw​。因为每个点的 Z w Z_w Zw​都是0。 由于点在棋盘中的间距相等，( X w X_w Xw​, Y w Y_w Yw​)每个3D点的坐标很容易定义，方法是将一个点作为参考点(0，0)，并定义相对于该参考点的剩余坐标。 绘制检测到的棋盘角后的结果如下图所示：

为什么棋盘格模式在校准中应用如此广泛？ 棋盘图案是独特的，易于检测的图像。不仅如此，棋盘格上正方形的角点非常适合定位它们，因为它们在两个方向上都有尖锐的梯度。此外，这些角也与它们位于棋盘格线的交点有关。所有这些事实都被用来在棋盘格模式中可靠地定位正方形的角点。

接下来，我们保持棋盘格静止，通过移动相机拍摄棋盘格的多个图像。或者，我们也可以保持相机恒定，在不同方向拍摄棋盘格图案。这两种情况在数学上是相似的。拍摄效果如下图所示：

我们现在有多个棋盘的图像。我们还知道棋盘上的点在世界坐标系中的三维位置。最后一件事是图像中这些棋盘格角点的二维像素位置。

OpenCV提供了一个名为findChessboardCorners的内置函数，该函数查找棋盘并返回角点的坐标。让我们看看下面代码块中的用法。 C++

Python

主要参数如下：

输出是真是假取决于是否检测到角点。

好的校准都是为了精确。为了获得良好的效果，获得亚像素级精度的角点位置非常重要。 OpenCV的cornersubix函数接收原始图像和角点的位置，并在原始位置的一个小邻域内寻找最佳角点位置。算法本质上是迭代的，因此我们需要指定终止条件（例如迭代次数和/或精度）。 C++

Python

主要参数如下：

校准的最后一步是将世界坐标系中的3D点及其在所有图像中的2D位置传递给OpenCV的caliberecamera方法。该实现基于Zhang Zhengyou的一篇论文。数学有点复杂，需要有线性代数背景。让我们看一下calibrateCamera： C++

Python

主要参数如下：

实际上就是输出内参矩阵和一系列系数。所有代码见：

https://github.com/luohenyueji/OpenCV-Practical-Exercise

C++