python利用opencv进行相机标定(完全版) |
您所在的位置：网站首页 › 相机反向照是最真实的自己吗 › python利用opencv进行相机标定(完全版) |
python利用opencv进行相机标定(完全版)
|
我的博客:usg的博客 今天的低价单孔摄像机(照相机)会给图像带来很多畸变。畸变主要有两 种:径向畸变和切想畸变。如下图所示,用红色直线将棋盘的两个边标注出来, 但是你会发现棋盘的边界并不和红线重合。所有我们认为应该是直线的也都凸 出来了。 在 3D 相关应用中,必须要先校正这些畸变。为了找到这些纠正参数,我们必 须要提供一些包含明显图案模式的样本图片(比如说棋盘)。我们可以在上面找 到一些特殊点(如棋盘的四个角点)。我们起到这些特殊点在图片中的位置以及 它们的真是位置。有了这些信息,我们就可以使用数学方法求解畸变系数。这 就是整个故事的摘要了。为了得到更好的结果,我们至少需要 10 个这样的图 案模式。 实现步骤 拍摄棋盘图首先打印下图：下载 也可直接保存 将其固定到一个平面上，使用相机从不同角度，不同位置拍摄（10-20）张标定图。类似这样的： python调用opencv相机拍照代码（例）： import cv2 camera=cv2.VideoCapture(0) i = 0 while 1: (grabbed, img) = camera.read() cv2.imshow('img',img) if cv2.waitKey(1) & 0xFF == ord('j'): # 按j保存一张图片 i += 1 u = str(i) firename=str('./img'+u+'.jpg') cv2.imwrite(firename, img) print('写入：',firename) if cv2.waitKey(1) & 0xFF == ord('q'): break按j拍摄图片，将会按照顺序批量保存，按q退出程序。 寻找棋盘图并且标定+检视标定后结果 利用opencv寻找棋盘为了找到棋盘的图案,我们要使用函数 cv2.findChessboardCorners()。 我们还需要传入图案的类型,比如说 8x8 的格子或 5x5 的格子等。在本例中 我们使用的9×6 的格子。(通常情况下棋盘都是 8x8 或者 7x7)。它会返 回角点,如果得到图像的话返回值类型(Retval)就会是 True。这些角点会 按顺序排列(从左到右,从上到下) 这个函数可能不会找出所有图像中应有的图案。所以一个好的方法是编 写代码,启动摄像机并在每一帧中检查是否有应有的图案。在我们获得图案之后我们要找到角点并把它们保存成一个列表。在读取下一帧图像之前要设置一定的间隔,这样我们就有足够的时间调整棋盘的方向。继续这个过程直到我们得到足够多好的图案。就算是我们举得这个例子,在所有的 14 幅图像中也不知道有几幅是好的。所以我们要读取每一张图像从其中找到好的能用的。 除 了 使 用 棋 盘 之 外, 我 们 还 可 以 使 用 环 形 格 子, 但 是 要 使 用 函 数 cv2.findCirclesGrid() 来找图案。据说使用环形格子只需要很少的图像 就可以了。 在找到这些角点之后我们可以使用函数 cv2.cornerSubPix() 增加准确 度。我们使用函数 cv2.drawChessboardCorners() 绘制图案。所有的这 些步骤都被包含在下面的代码中了: 在得到了这些对象点和图像点之后,我们已经准备好来做摄像机标定了。 我们要使用的函数是 cv2.calibrateCamera()。它会返回摄像机矩阵,畸 变系数,旋转和变换向量等。 畸变矫正现在我们找到我们想要的东西了,我们可以找到一幅图像来对他进行校正 了。OpenCV 提供了两种方法,我们都学习一下。不过在那之前我们可以使用 从函数 cv2.getOptimalNewCameraMatrix() 得到的自由缩放系数对摄 像机矩阵进行优化。如果缩放系数 alpha = 0,返回的非畸变图像会带有最少量 的不想要的像素。它甚至有可能在图像角点去除一些像素。如果 alpha = 1,所 有的像素都会被返回,还有一些黑图像。它还会返回一个 ROI 图像,我们可以 用来对结果进行裁剪。 函数:cv2.getOptimalNewCameraMatrix(mtx,dist,(w,h),1,(w,h))中参数1是个坑, 这里我们使用cv2.getOptimalNewCameraMatrix(mtx,dist,(w,h),0,(w,h))参数设置为0 畸变到非畸变下面代码中 dst1图像使用的是 cv2.undistort() 这是最简单的方法。只需使用这个函数和上边得到的 ROI 对结果进行裁剪 dst2图像使用的是remapping 这应该属于“曲线救国”了。首先我们要找到从畸变图像到非畸变图像的映射方程。再使用重映射方程。(代码中有详细用法) 两种效果可以自行对比看看 纠正前后对比: 我们可以利用反向投影误差对我们找到的参数的准确性进行估计。得到的 结果越接近 0 越好。有了内部参数,畸变参数和旋转变换矩阵,我们就可以使 用 cv2.projectPoints() 将对象点转换到图像点。然后就可以计算变换得到 图像与角点检测算法的绝对差了。然后我们计算所有标定图像的误差平均值。 (但是本文不需要,所以没有将其写入) 主要代码需要的库:opencv-python numpy glob import cv2 import numpy as np import glob # 找棋盘格角点 # 设置寻找亚像素角点的参数，采用的停止准则是最大循环次数30和最大误差容限0.001 criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) # 阈值 #棋盘格模板规格 w = 9 # 10 - 1 h = 6 # 7 - 1 # 世界坐标系中的棋盘格点,例如(0,0,0), (1,0,0), (2,0,0) ....,(8,5,0)，去掉Z坐标，记为二维矩阵 objp = np.zeros((w*h,3), np.float32) objp[:,:2] = np.mgrid[0:w,0:h].T.reshape(-1,2) objp = objp*18.1 # 18.1 mm # 储存棋盘格角点的世界坐标和图像坐标对 objpoints = [] # 在世界坐标系中的三维点 imgpoints = [] # 在图像平面的二维点 #加载pic文件夹下所有的jpg图像 images = glob.glob('./*.jpg') # 拍摄的十几张棋盘图片所在目录 i=0 for fname in images: img = cv2.imread(fname) # 获取画面中心点 #获取图像的长宽 h1, w1 = img.shape[0], img.shape[1] gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) u, v = img.shape[:2] # 找到棋盘格角点 ret, corners = cv2.findChessboardCorners(gray, (w,h),None) # 如果找到足够点对，将其存储起来 if ret == True: print("i:", i) i = i+1 # 在原角点的基础上寻找亚像素角点 cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria) #追加进入世界三维点和平面二维点中 objpoints.append(objp) imgpoints.append(corners) # 将角点在图像上显示 cv2.drawChessboardCorners(img, (w,h), corners, ret) cv2.namedWindow('findCorners', cv2.WINDOW_NORMAL) cv2.resizeWindow('findCorners', 640, 480) cv2.imshow('findCorners',img) cv2.waitKey(200) cv2.destroyAllWindows() #%% 标定 print('正在计算') #标定 ret, mtx, dist, rvecs, tvecs = \ cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None) print("ret:",ret ) print("mtx:\n",mtx) # 内参数矩阵 print("dist畸变值:\n",dist ) # 畸变系数 distortion cofficients = (k_1,k_2,p_1,p_2,k_3) print("rvecs旋转（向量）外参:\n",rvecs) # 旋转向量 # 外参数 print("tvecs平移（向量）外参:\n",tvecs ) # 平移向量 # 外参数 newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, (u, v), 0, (u, v)) print('newcameramtx外参',newcameramtx) #打开摄像机 camera=cv2.VideoCapture(0) while True: (grabbed,frame)=camera.read() h1, w1 = frame.shape[:2] newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, (u, v), 0, (u, v)) # 纠正畸变 dst1 = cv2.undistort(frame, mtx, dist, None, newcameramtx) #dst2 = cv2.undistort(frame, mtx, dist, None, newcameramtx) mapx,mapy=cv2.initUndistortRectifyMap(mtx,dist,None,newcameramtx,(w1,h1),5) dst2=cv2.remap(frame,mapx,mapy,cv2.INTER_LINEAR) # 裁剪图像，输出纠正畸变以后的图片 x, y, w1, h1 = roi dst1 = dst1[y:y + h1, x:x + w1] #cv2.imshow('frame',dst2) #cv2.imshow('dst1',dst1) cv2.imshow('dst2', dst2) if cv2.waitKey(1) & 0xFF == ord('q'): # 按q保存一张图片 cv2.imwrite("../u4/frame.jpg", dst1) break camera.release() cv2.destroyAllWindows()代码放到图片相同的文件夹直接运行即可 效果对比纠正前后:
相机标定完成~ |
【本文地址】
今日新闻 |
推荐新闻 |