用Python+OpenCV实现双目视觉三维重建：从相机标定到triangulatePoints实战

PythonOpenCV双目视觉三维重建实战从标定到点云生成去年在开发一个AR眼镜原型时我遇到了一个棘手的问题如何让设备准确感知周围环境的深度。经过反复尝试最终采用双目视觉方案完美解决了这个问题。本文将分享整个实现过程从相机标定到三维点云生成手把手教你用OpenCV构建完整的三维重建流程。1. 环境准备与基础概念在开始编码前我们需要明确几个关键概念。双目视觉的核心在于模仿人类双眼的视差原理——通过两个摄像头从不同角度拍摄同一场景然后计算对应点的位置差异来推断深度。必备工具安装pip install opencv-contrib-python numpy matplotlib双目系统需要两个完全相同的摄像头至少参数相近。我在项目中使用了两个Logitech C920它们被固定在一个刚性支架上间距约6.5厘米——这个基线距离需要根据应用场景调整较大的距离适合远距离测量但会减小重叠视野。提示摄像头固定后不要移动相对位置否则需要重新标定2. 相机标定获取内在参数标定是三维重建中最关键也最容易出错的环节。我们需要获取每个相机的内参焦距、主点、畸变系数和双相机之间的外参旋转和平移关系。2.1 采集标定板图像使用棋盘格标定板我用的8x6方格边长2.5cm分别用左右相机从不同角度拍摄15-20组图像。注意标定板要尽量充满画面拍摄角度要多样倾斜、旋转、远近确保左右相机同步拍摄同一姿态import cv2 import glob # 标定板参数 pattern_size (7, 5) # 内角点数量 square_size 0.025 # 方格实际大小(米) # 准备对象点 objp np.zeros((pattern_size[0]*pattern_size[1], 3), np.float32) objp[:,:2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1,2) * square_size # 存储对象点和图像点 obj_points [] # 3D点 img_points_l [] # 左相机2D点 img_points_r [] # 右相机2D点 # 读取图像 images_left glob.glob(calib/left/*.jpg) images_right glob.glob(calib/right/*.jpg) for img_l, img_r in zip(images_left, images_right): img_l cv2.imread(img_l) img_r cv2.imread(img_r) gray_l cv2.cvtColor(img_l, cv2.COLOR_BGR2GRAY) gray_r cv2.cvtColor(img_r, cv2.COLOR_BGR2GRAY) # 查找角点 ret_l, corners_l cv2.findChessboardCorners(gray_l, pattern_size, None) ret_r, corners_r cv2.findChessboardCorners(gray_r, pattern_size, None) if ret_l and ret_r: obj_points.append(objp) # 亚像素精确化 corners_l cv2.cornerSubPix(gray_l, corners_l, (11,11), (-1,-1), (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)) corners_r cv2.cornerSubPix(gray_r, corners_r, (11,11), (-1,-1), (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)) img_points_l.append(corners_l) img_points_r.append(corners_r)2.2 计算相机参数完成图像采集后我们可以计算相机参数# 单目标定 ret_l, mtx_l, dist_l, rvecs_l, tvecs_l cv2.calibrateCamera( obj_points, img_points_l, gray_l.shape[::-1], None, None) ret_r, mtx_r, dist_r, rvecs_r, tvecs_r cv2.calibrateCamera( obj_points, img_points_r, gray_r.shape[::-1], None, None) # 双目标定 flags cv2.CALIB_FIX_INTRINSIC # 使用单目标定结果 retval, _, _, _, _, R, T, E, F cv2.stereoCalibrate( obj_points, img_points_l, img_points_r, mtx_l, dist_l, mtx_r, dist_r, gray_l.shape[::-1], flagsflags)关键参数说明mtx_l,mtx_r: 左右相机内参矩阵dist_l,dist_r: 畸变系数R,T: 右相机相对于左相机的旋转和平移3. 立体校正与视差计算原始的双目图像存在视角差异需要通过校正将其转换为共面行对准的形式这是计算视差图的前提。3.1 计算校正映射# 立体校正 R1, R2, P1, P2, Q, validPixROI1, validPixROI2 cv2.stereoRectify( mtx_l, dist_l, mtx_r, dist_r, gray_l.shape[::-1], R, T) # 计算校正映射 map1_l, map2_l cv2.initUndistortRectifyMap( mtx_l, dist_l, R1, P1, gray_l.shape[::-1], cv2.CV_16SC2) map1_r, map2_r cv2.initUndistortRectifyMap( mtx_r, dist_r, R2, P2, gray_r.shape[::-1], cv2.CV_16SC2)3.2 生成视差图我们使用SGBM半全局块匹配算法计算视差def get_disparity(img_l, img_r): # 参数设置 window_size 3 min_disp 0 num_disp 16*5 stereo cv2.StereoSGBM_create( minDisparitymin_disp, numDisparitiesnum_disp, blockSizewindow_size, P18*3*window_size**2, P232*3*window_size**2, disp12MaxDiff1, uniquenessRatio10, speckleWindowSize100, speckleRange32 ) # 计算视差 disp stereo.compute(img_l, img_r).astype(np.float32)/16.0 return disp # 读取左右图像 img_l cv2.imread(scene/left.jpg, 0) img_r cv2.imread(scene/right.jpg, 0) # 校正图像 img_l_rect cv2.remap(img_l, map1_l, map2_l, cv2.INTER_LINEAR) img_r_rect cv2.remap(img_r, map1_r, map2_r, cv2.INTER_LINEAR) # 计算视差 disp get_disparity(img_l_rect, img_r_rect)4. 三维重建与点云生成有了视差图后我们可以利用Q矩阵从stereoRectify获得将二维像素坐标转换为三维空间坐标。4.1 使用triangulatePoints对于稀疏点重建我们可以先提取特征点然后三角测量# 特征检测和匹配 detector cv2.ORB_create() matcher cv2.BFMatcher(cv2.NORM_HAMMING, crossCheckTrue) kp1, des1 detector.detectAndCompute(img_l, None) kp2, des2 detector.detectAndCompute(img_r, None) matches matcher.match(des1, des2) # 筛选优质匹配 matches sorted(matches, keylambda x:x.distance) good matches[:100] # 准备匹配点 pts1 np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1,1,2) pts2 np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1,1,2) # 校正匹配点 pts1_rect cv2.undistortPoints(pts1, mtx_l, dist_l, RR1, PP1) pts2_rect cv2.undistortPoints(pts2, mtx_r, dist_r, RR2, PP2) # 三角测量 points_4d cv2.triangulatePoints(P1, P2, pts1_rect.T, pts2_rect.T) points_3d points_4d[:3]/points_4d[3] # 齐次坐标转3D坐标4.2 从视差图生成密集点云对于需要完整三维模型的场景我们可以从视差图生成密集点云def disparity_to_3d(disp, Q): points cv2.reprojectImageTo3D(disp, Q) mask disp disp.min() return points[mask] points_3d disparity_to_3d(disp, Q)4.3 点云可视化使用matplotlib可视化三维点云from mpl_toolkits.mplot3d import Axes3D def plot_point_cloud(points, colorsNone): fig plt.figure(figsize(10, 10)) ax fig.add_subplot(111, projection3d) # 随机采样部分点避免过度密集 if len(points) 5000: idx np.random.randint(len(points), size5000) points points[idx] if colors is not None: colors colors[idx] ax.scatter(points[:,0], points[:,1], points[:,2], ccolors/255.0 if colors is not None else b, s1, alpha0.5) ax.set_xlabel(X) ax.set_ylabel(Y) ax.set_zlabel(Z) plt.show() # 从彩色图像获取颜色 img_color cv2.imread(scene/left.jpg) colors img_color[mask].reshape(-1, 3)[:, ::-1] # BGR转RGB plot_point_cloud(points_3d, colors)5. 实战技巧与常见问题在实际项目中我总结了以下几个关键经验标定质量检查标定后一定要验证重投影误差通常应小于0.5像素可以通过cv2.projectPoints将3D点重新投影到图像上比较。视差图优化SGBM参数需要根据场景调整。对于纹理缺乏的区域可以尝试增大P1和P2惩罚系数使用cv2.filterSpeckles去除噪声后处理使用cv2.ximgproc.disparityWLSFilter深度图滤波直接生成的深度图通常包含噪声和空洞可以采用双边滤波保留边缘形态学操作填充小孔洞离群点去除统计滤波性能优化对于实时应用可以考虑降低图像分辨率使用CUDA加速OpenCV CUDA模块只在ROI区域计算视差# 视差图后处理示例 def postprocess_disparity(disp): # 空洞填充 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5,5)) disp cv2.morphologyEx(disp, cv2.MORPH_CLOSE, kernel) # 双边滤波 disp cv2.bilateralFilter(disp, 9, 75, 75) return disp在AR眼镜项目中最终实现的深度测量精度达到了厘米级完全满足了手势交互和环境感知的需求。整个过程最大的挑战不是算法实现而是如何稳定地获取高质量的匹配点——这需要仔细调整每个阶段的参数并且保证相机标定的准确性。