对于双目摄像头而言，除了需要分别标定左目摄像头的内参矩阵K1、畸变系数D1、右目摄像头的内参矩阵K2、畸变系数D2，还需要标定左右目对应的旋转矩阵R和平移向量T。当双目摄像头固定在一个平面上时，旋转矩阵R可近似为一个单位阵，平移向量T的欧式范数即为基线长度b。

我们可以把两个相机都看作针孔相机，它们是水平放置的，意味着两个相机的光圈中心都位于x轴上，两者之间的距离称为双目相机的基线b，它是双目相机的重要参数。通过粗略测量可看出，这里基线b的长度在0.06m-0.07m之间，后面标定得到的估计结果为0.0696m。

双目相机一般由左目和右目两个水平放置的相机组成。当然也可以做成上下两目，但日常见到的主流双目都是做成左右的。两个相机的光圈中心都位于x轴上，它们的距离称为双目相机的基线 Baseline，记作b。

考虑一个空间点P ，它在左目和右目各成一像，记作 PL、PR。由于相机基线的存在，这两个成像位置是不同的。理想情况下，由于左右相机只有在x轴上才有位移，因此P的成像也只有在图像的u轴上才有差异。我们记它在左侧的坐标为uL，在右侧的坐标为uR。

根据三角形P-PL-PR和三角形P-OL-OR的相似关系，可以得到：

稍加整理可以得到： 这里d为左右图的横坐标之差，也称视差disparty。根据视差，在f和b已知的情况下，我们可以估计目标点离相机的深度距离。视差与深度距离成反比，视差越大，距离越近。另外由于视差最小为 一个像素，于是双目的深度存在一个理论上的最大值。可以看到，当基线越长时，双目最大能测到的距离就会变远；反之，小型双目器件则只能测量很近的距离。

虽然由视差计算深度的公式很简洁， 但视差d本身的计算却比较困难，我们需要确切地知道左眼图像某个像素出现在右眼图像的哪一个位置（即对应关系）。此外如果想计算每个像素的深度，其计算量与精度都将成为问题，并且只有在图像纹理变化丰富的地方才能计算视差。

第1步：准备一张棋盘格，粘贴于墙面，并用直尺测量黑白方格的真实物理长度。

第2步：调用双目摄像头，分别从不同角度拍摄得到一系列棋盘格图像。

第3步：利用左目图片数据集，进行左目相机标定，得到左目内参矩阵K1、左目畸变系数向量D1。

第4步：利用右目图片数据集，进行右目相机标定，得到右目内参矩阵K2、右目畸变系数向量D2。

第5步：将左右目测量得到的参数K1、K2、D1、D2作为输入，再同时利用左右目一一对应好的棋盘格图片，调用stereoCalibrate函数，输出左右目的旋转矩阵R、平移向量T。

第6步：基于测量得到的K1、K2、D1、D2、R、T，进行双目视觉的图像校正。

备注：需要用直尺测量黑白方格的真实物理长度，因为我们会将真实世界的棋盘格3D坐标，以相同的尺度(米为单位)，存储于object_points容器中，这样求解得到的平移向量T才会有意义，它的尺度才会和真实世界尺度相对应。然后我们会借助OpenCV棋盘格检测函数，将每张图片对应的棋盘格坐标索引，对应存储于left_img_points、 right_img_points容器中。在得到一系列对应好的2D、3D坐标点后，就可通过线性方程求解参数估计。

准备一张棋盘格，内点size分别是6和4，直尺测量黑白方格的长度为0.0405米。

分别从不同角度拍摄得到200张棋盘格图像，将左目、右目图片对应存储在1和2文件夹中：

先对左目摄像头进行标定，得到内参矩阵K1、畸变系数向量D1：

再对右目摄像头进行标定，得到内参矩阵K2、畸变系数向量D2：

将K1、K2、D1、D2作为输入参数，进行双目视觉标定，得到左、右目摄像头对应的旋转矩阵R、平移向量T：

最后进行双目视觉图像校正，原始双目图像为：

校正后的双目图像为：

可以看出，经过校正后图像不光被去畸变，而且被投影到了与相机平行的角度。

双目视觉标定：