OpenCV相机标定与3D重建(43)用于计算矫正和重映射的变换函数initUndistortRectifyMap()的使用

• 操作系统：ubuntu22.04
• OpenCV版本：OpenCV4.9
• IDE:Visual Studio Code
• 编程语言：C++11

算法描述

计算畸变矫正和校正变换映射。

该函数计算联合的畸变矫正和校正变换，并以 remap 所需的地图形式表示结果。矫正后的图像看起来像是原始图像，仿佛它是使用 cameraMatrix = newCameraMatrix 和零畸变的相机捕获的一样。对于单目相机，newCameraMatrix 通常等于 cameraMatrix，或者可以通过 getOptimalNewCameraMatrix 计算以更好地控制缩放。对于立体相机，newCameraMatrix 通常设置为由 stereoRectify 计算得到的 P1 或 P2。

此外，这个新的相机在坐标空间中的方向根据 R 不同。例如，这有助于对齐立体相机的两个头，使得两幅图像上的极线变得水平并且具有相同的 y 坐标（对于水平对齐的立体相机而言）。

该函数实际上构建了用于 remap 的逆映射算法的地图。也就是说，对于目标图像（即矫正和校正后的图像）中的每个像素 (u, v)，该函数计算源图像（即来自相机的原始图像）中对应的坐标。应用以下过程：
$$\begin{array}{l}x\leftarrow (u-{c^{\prime }}_x)/{f^{\prime }}_x\\ y\leftarrow (v-{c^{\prime }}_y)/{f^{\prime }}_y\\ [XYW{]}^T\leftarrow R^{-1}\cdot [xy1{]}^T\\ x^{\prime }\leftarrow X/W\\ y^{\prime }\leftarrow Y/W\\ r^2\leftarrow x^{\prime 2}+y^{\prime 2}\\ x^{\prime \prime }\leftarrow x^{\prime }\frac{1+k_1{r}^2+k_2{r}^4+k_3{r}^6}{1+k_4{r}^2+k_5{r}^4+k_6{r}^6}+2p_1{x}^{\prime }{y}^{\prime }+p_2(r^2+2x^{\prime 2})+s_1{r}^2+s_2{r}^4\\ y^{\prime \prime }\leftarrow y^{\prime }\frac{1+k_1{r}^2+k_2{r}^4+k_3{r}^6}{1+k_4{r}^2+k_5{r}^4+k_6{r}^6}+p_1(r^2+2y^{\prime 2})+2p_2{x}^{\prime }{y}^{\prime }+s_3{r}^2+s_4{r}^4\\ s\left[\begin{array}{c}{x}^{\prime \prime \prime }\\ y^{\prime \prime \prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}{R}_{33}({\tau }_x,{\tau }_y)& 0& -R_{13}({\tau }_x,{\tau }_y)\\ 0& R_{33}({\tau }_x,{\tau }_y)& -R_{23}({\tau }_x,{\tau }_y)\\ 0& 0& 1\end{array}\right]\cdot R({\tau }_x,{\tau }_y)\cdot \left[\begin{array}{c}{x}^{\prime \prime }\\ y^{\prime \prime }\\ 1\end{array}\right]\\ ma{p}_x(u,v)\leftarrow x^{\prime \prime \prime }{f}_x+c_x\\ ma{p}_y(u,v)\leftarrow y^{\prime \prime \prime }{f}_y+c_y\end{array}$$

其中 (k1, k2, p1, p2[, k3[, k4, k5, k6[, s1, s2, s3, s4[, τx, τy]]]]) 是畸变系数。

对于立体相机，此函数会被调用两次：每次针对一个相机头，在 stereoRectify 之后调用，而 stereoRectify 又是在 stereoCalibrate 之后调用的。但如果立体相机未经过校准，仍然可以直接从基本矩阵使用 stereoRectifyUncalibrated 计算校正变换。对于每个相机，该函数以像素域中的单应性矩阵 H 而不是三维空间中的旋转矩阵 R 来计算校正变换。R 可以通过 H 按照以下方式计算：
$$\text{R}={\text{cameraMatrix}}^{-1}\cdot \text{H}\cdot \text{cameraMatrix}$$
其中 cameraMatrix 可以任意选择。

函数原型

void cv::initUndistortRectifyMap	
(InputArray 	cameraMatrix,InputArray 	distCoeffs,InputArray 	R,InputArray 	newCameraMatrix,Size 	size,int 	m1type,OutputArray 	map1,OutputArray 	map2 
)		

参数

• 参数cameraMatrix 输入相机矩阵 $\text{cameraMatrix}=A=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$ 。
• 参数distCoeffs 输入畸变系数向量 (k1, k2, p1, p2[, k3[, k4, k5, k6[, s1, s2, s3, s4[, τx, τy]]]])，包含 4、5、8、12 或 14 个元素。如果该向量为 NULL/空，则假设畸变系数为零。
• 参数R 可选的对象空间中的校正变换（3x3 矩阵）。可以传递由 stereoRectify 计算得到的 R1 或 R2。如果该矩阵为空，则假定为单位变换。在 initUndistortRectifyMap 中，R 假设为单位矩阵。
• 参数newCameraMatrix 新的相机矩阵 $$$\text{newCameraMatrix}=A^{\prime }=\left[\begin{array}{ccc}{f}_x^{\prime }& 0& c_x^{\prime }\\ 0& f_y^{\prime }& c_y^{\prime }\\ 0& 0& 1\end{array}\right]$$ 。
• 参数size 矫正后图像的尺寸。
• 参数m1type 第一个输出映射的类型，可以是 CV_32FC1, CV_32FC2 或 CV_16SC2，参见 convertMaps。
• 参数map1 第一个输出映射。
• 参数map2 第二个输出映射。

代码示例

#include <iostream>
#include <opencv2/opencv.hpp>using namespace cv;
using namespace std;int main()
{// 假设的相机矩阵和畸变系数Mat cameraMatrix = ( Mat_< double >( 3, 3 ) << 500, 0, 320, 0, 500, 240, 0, 0, 1 );Mat distCoeffs   = ( Mat_< double >( 5, 1 ) << 0.1, 0.05, -0.01, 0.005, 0 );// 假设的旋转矩阵 R 和新的相机矩阵 newCameraMatrixMat R               = Mat::eye( 3, 3, CV_64F );  // 单位矩阵作为示例Mat newCameraMatrix = cameraMatrix.clone();// 图像尺寸Size imageSize( 640, 480 );// 定义输出映射类型int m1type = CV_32FC1;// 初始化矫正映射Mat map1, map2;initUndistortRectifyMap( cameraMatrix, distCoeffs, R, newCameraMatrix, imageSize, m1type, map1, map2 );cout << "Undistortion and rectification maps created." << endl;// 使用 remap 对图像进行矫正Mat originalImage = imread( "/media/dingxin/data/study/OpenCV/sources/images/remap.png" );  // 加载原始图像if ( originalImage.empty() ){cerr << "Error: Could not open or find the image!" << endl;return -1;}Mat undistortedImage;remap( originalImage, undistortedImage, map1, map2, INTER_LINEAR );// 显示结果imshow( "Original Image", originalImage );imshow( "Undistorted Image", undistortedImage );waitKey( 0 );return 0;
}