用Python+OpenCV搞定机械臂手眼标定（眼在手上），附完整代码与实测数据

PythonOpenCV实现机械臂手眼标定眼在手上实战指南机械臂视觉引导系统中手眼标定是连接视觉感知与运动控制的核心技术。当相机安装在机械臂末端时如何精确计算相机坐标系与机械臂末端坐标系的空间关系直接决定了抓取、装配等操作的精度。本文将手把手带你用PythonOpenCV实现一套完整的手眼标定解决方案包含欧拉角转换、棋盘格检测、标定计算等关键环节并提供可直接运行的代码与测试数据集。1. 环境配置与准备工作1.1 硬件设备需求清单6轴工业机械臂需支持TCP/IP或ROS通信能够输出末端位姿全局固定棋盘格建议使用6x4或9x6的棋盘格图案方格尺寸精确测量USB工业相机推荐200万像素以上固定焦距镜头标定支架确保棋盘格在机械臂运动范围内保持固定1.2 软件依赖安装pip install opencv-python4.5.5.64 pip install numpy1.21.5 pip install transforms3d0.3.11.3 数据采集规范机械臂末端安装相机确保视野中心对准棋盘格控制机械臂在20个以上不同位姿拍摄棋盘格图像记录每个位姿下机械臂末端的欧拉角与平移向量图像命名规范pose_{index}.jpg位姿数据保存为CSV注意棋盘格需占据图像1/3以上面积且不同位姿间旋转角度差异应大于15度2. 核心算法原理解析2.1 坐标系转换基础手眼标定需要求解的是相机坐标系(C)到机械臂末端坐标系(E)的变换矩阵T_C2E [ R_C2E t_C2E ] [ 0 1 ]其中R_C2E为3x3旋转矩阵t_C2E为3x1平移向量。根据Tsai方法该问题可转化为求解AXXB的矩阵方程。2.2 欧拉角转旋转矩阵机械臂通常返回欧拉角位姿需转换为旋转矩阵def euler_to_rotation_matrix(rx, ry, rz, unitdeg): if unit deg: rx, ry, rz np.radians([rx, ry, rz]) Rx transforms3d.axangles.axangle2mat([1,0,0], rx) Ry transforms3d.axangles.axangle2mat([0,1,0], ry) Rz transforms3d.axangles.axangle2mat([0,0,1], rz) return np.dot(Rz, np.dot(Ry, Rx))2.3 棋盘格检测关键参数pattern_size (6, 4) # 内角点数量 square_size 20.0 # 棋盘格实际物理尺寸(mm) criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)3. 完整代码实现与分步解析3.1 位姿数据处理模块def load_pose_data(csv_path): 从CSV加载机械臂位姿数据 data np.loadtxt(csv_path, delimiter,) translations data[:, :3] # 前三列为平移向量 eulers data[:, 3:] # 后三列为欧拉角 return translations, eulers def build_hand_eye_inputs(translations, eulers): 构建手眼标定输入数据 R_gripper2base [] t_gripper2base [] for t, (rx, ry, rz) in zip(translations, eulers): R euler_to_rotation_matrix(rx, ry, rz) R_gripper2base.append(R) t_gripper2base.append(t) return R_gripper2base, t_gripper2base3.2 视觉标定核心流程def calibrate_camera(images, pattern_size, square_size): 相机内参标定 obj_points [] img_points [] objp np.zeros((np.prod(pattern_size),3), np.float32) objp[:,:2] np.mgrid[0:pattern_size[0],0:pattern_size[1]].T.reshape(-1,2) objp * square_size for img_path in images: img cv2.imread(img_path) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, pattern_size) if ret: corners2 cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria) obj_points.append(objp) img_points.append(corners2) ret, K, dist, _, _ cv2.calibrateCamera( obj_points, img_points, gray.shape[::-1], None, None) return K, dist3.3 手眼标定执行def hand_eye_calibration(R_gripper2base, t_gripper2base, R_target2cam, t_target2cam): 执行手眼标定计算 R_cam2gripper, t_cam2gripper cv2.calibrateHandEye( R_gripper2baseR_gripper2base, t_gripper2baset_gripper2base, R_target2camR_target2cam, t_target2camt_target2cam, methodcv2.CALIB_HAND_EYE_TSAI) T_cam2gripper np.eye(4) T_cam2gripper[:3,:3] R_cam2gripper T_cam2gripper[:3,3] t_cam2gripper.flatten() return T_cam2gripper4. 验证与误差分析4.1 重投影误差检验def compute_reprojection_error(T_cam2gripper, poses, K, dist): 计算标定结果的重投影误差 total_error 0 for i, (R_g2b, t_g2b) in enumerate(zip(R_gripper2base, t_gripper2base)): # 计算理论投影点 T_g2b np.eye(4) T_g2b[:3,:3] R_g2b T_g2b[:3,3] t_g2b T_c2b T_g2b T_cam2gripper # 投影计算与实测对比 rvec, _ cv2.Rodrigues(T_c2b[:3,:3]) tvec T_c2b[:3,3] img_points, _ cv2.projectPoints( obj_points[i], rvec, tvec, K, dist) error cv2.norm(img_points, img_points_observed[i], cv2.NORM_L2) total_error error return total_error / len(poses)4.2 典型问题排查表问题现象可能原因解决方案标定结果不稳定位姿变化不足增加标定位姿数量(20)重投影误差大相机内参不准确重新进行相机标定解算失败数据对应关系错误检查图像-位姿匹配顺序5. 工程实践建议光照控制保持标定环境光照均匀避免反光机械振动机械臂静止后再采集图像减少运动模糊数据校验实时显示角点检测结果剔除失败帧温度影响工业环境下需考虑热变形对结果的影响# 实际项目中的增强处理 def enhanced_hand_eye_calibration(images, poses, pattern_size, square_size): # 多阶段标定流程 K, dist calibrate_camera(images[:5], pattern_size, square_size) R_g2b, t_g2b build_hand_eye_inputs(poses) R_t2c, t_t2c detect_chessboard_poses(images, K, dist, pattern_size) # RANSAC鲁棒估计 best_T None best_error float(inf) for _ in range(20): subset random.sample(range(len(images)), 10) T hand_eye_calibration( [R_g2b[i] for i in subset], [t_g2b[i] for i in subset], [R_t2c[i] for i in subset], [t_t2c[i] for i in subset]) error compute_reprojection_error(T, poses, K, dist) if error best_error: best_error error best_T T return best_T在完成标定后建议通过以下方式验证结果可靠性机械臂末端固定标定板移动相机观察坐标变换一致性使用标定结果执行物品抓取测试实际定位精度定期(每3个月)重新标定特别是机械结构发生变更后