OpenCV相机标定与3D重建(36)计算两幅图像之间基本矩阵（Fundamental Matrix）的函数findFundamentalMat()的使用

• 操作系统：ubuntu22.04
• OpenCV版本：OpenCV4.9
• IDE:Visual Studio Code
• 编程语言：C++11

算法描述

从两幅图像中的对应点计算基本矩阵。
cv::findFundamentalMat 是 OpenCV 中用于计算两幅图像之间基本矩阵（Fundamental Matrix）的函数。基本矩阵描述了两个未校准摄像机之间的几何关系，它在计算机视觉中用于立体视觉、运动结构恢复（Structure from Motion, SfM）、视觉里程计等任务。

函数原型

Mat cv::findFundamentalMat
(InputArray 	points1,InputArray 	points2,int 	method,double 	ransacReprojThreshold,double 	confidence,int 	maxIters,OutputArray 	mask = noArray() 
)		

参数

• 参数points1：来自第一幅图像的 N 个点数组。点的坐标应该是浮点数（单精度或双精度）。
• 参数points2：第二幅图像的点数组，与 points1 具有相同的大小和格式。
• 参数method：计算基本矩阵的方法。
  • FM_7POINT：用于7点算法。N=7
  • FM_8POINT：用于8点算法。N≥8
  • FM_RANSAC：用于RANSAC算法。N≥8
  • FM_LMEDS：用于最小中值法（LMedS）算法。N≥8
• 参数ransacReprojThreshold：仅用于 RANSAC 的参数。它是点到极线的最大距离（以像素为单位），超过该距离的点被认为是离群点，并不用于计算最终的基本矩阵。根据点定位的准确性、图像分辨率和图像噪声，它可以设置为1-3等。
• 参数confidence：仅用于 RANSAC 和 LMedS 方法的参数。它指定了估计矩阵正确的期望置信水平（概率）。
• 参数[out] mask：可选输出掩码。
• 参数maxIters：稳健方法的最大迭代次数。

说明

极几何由以下方程描述：

$$[p_2;1{]}^{T}F[p_1;1]=0$$

其中 F 是基本矩阵，p1和p2分别是第一幅和第二幅图像中的对应点。

该函数使用上述列出的四种方法之一来计算基本矩阵，并返回找到的基本矩阵。通常只找到一个矩阵。但在7点算法的情况下，该函数可能返回多达3个解（一个 9×3 矩阵，按顺序存储所有3个矩阵）。

// Example. Estimation of fundamental matrix using the RANSAC algorithm
int point_count = 100;
vector<Point2f> points1(point_count);
vector<Point2f> points2(point_count);
// initialize the points here ...
for( int i = 0; i < point_count; i++ )
{points1[i] = ...;points2[i] = ...;
}
Mat fundamental_matrix =findFundamentalMat(points1, points2, FM_RANSAC, 3, 0.99);

代码示例

#include <iostream>
#include <opencv2/opencv.hpp>using namespace cv;
using namespace std;int main( int argc, char** argv )
{// 创建虚拟的匹配点数据（假设我们有8对匹配点）vector< Point2f > points1 = { Point2f( 154.0f, 38.0f ),  Point2f( 285.0f, 176.0f ), Point2f( 279.0f, 238.0f ), Point2f( 276.0f, 284.0f ),Point2f( 273.0f, 342.0f ), Point2f( 267.0f, 397.0f ), Point2f( 262.0f, 446.0f ), Point2f( 254.0f, 495.0f ) };vector< Point2f > points2 = { Point2f( 149.0f, 49.0f ),  Point2f( 280.0f, 187.0f ), Point2f( 274.0f, 249.0f ), Point2f( 271.0f, 295.0f ),Point2f( 268.0f, 353.0f ), Point2f( 262.0f, 408.0f ), Point2f( 257.0f, 457.0f ), Point2f( 249.0f, 506.0f ) };// 定义输出的基本矩阵和掩码Mat fundamentalMatrix, mask;// 使用 RANSAC 方法计算基本矩阵fundamentalMatrix = findFundamentalMat( points1, points2,FM_RANSAC,  // 使用RANSAC方法1.0,        // 点到极线的最大重投影误差0.99,       // 置信水平2000,       // 最大迭代次数mask );     // 输出掩码// 打印结果cout << "Fundamental Matrix:\n" << fundamentalMatrix << endl;// 打印哪些点被认为是内点cout << "Inliers mask:\n";for ( size_t i = 0; i < mask.total(); ++i ){if ( mask.at< uchar >( i ) ){cout << "Point " << i + 1 << " is an inlier." << endl;}else{cout << "Point " << i + 1 << " is an outlier." << endl;}}return 0;
}

运行结果

Fundamental Matrix:
[-3.247212965698772e-20, -0.0008949509319799827, 0.704568065615863;0.0008949509319799836, 3.892534466973619e-19, 0.229349120734492;-0.7144125258676433, -0.2338238753943923, 1]
Inliers mask:
Point 1 is an inlier.
Point 2 is an inlier.
Point 3 is an inlier.
Point 4 is an inlier.
Point 5 is an inlier.
Point 6 is an inlier.
Point 7 is an inlier.
Point 8 is an inlier.