计算机视觉之三维重建（6）---多视图几何(上)

---

一、运动恢复结构问题（SfM）

 1. 运动恢复结构问题：通过三维场景的多张图像，恢复出该场景的三维结构信息以及每张图片对应的摄像机参数。

 2. 运动恢复问题建模表述：已知 $n$ 个世界坐标点在 $m$ 张图像中的对应点的像素坐标 $x_{ij}$，计算出 $m$ 个摄像机的投影矩阵 $M_i$ 和 $n$ 个三维点 $X_j$ 的坐标。下图中 $M=K[R,T]$。

二、欧式结构恢复

2.1 概述

 1. 欧式结构恢复问题：摄像机内参数已知，外参数未知情况。

 2. 对于欧式结构恢复问题，已知摄像机内参数，根据投影矩阵的计算公式可知 $x_{ij}=M_i{X}_j=K_i[R_i,T_i]X_j$。那么求解投影矩阵 $M$ 只需要求解外参数 $[R,T]$。

2.2 求解

 1. 对于二视图的欧式结构恢复问题，如果把世界坐标系放在第一个坐标系下面，那摄像机 $1$ 的外参数为 $[I,0]$，而摄像机 $2$ 的外参数 $[R,T]$ 却是未知的。

 2. 求解步骤：
 （1）求解基础矩阵 $F$（归一化八点法）

 （2）求解本质矩阵 $E=K_2^{T}F{K}_1$

 （3）分解本质矩阵 $E\to R,T$

 （4）三角化（求解世界坐标系下的3D坐标）

 3. 上面步骤中除了分解本质矩阵 $E$ 外，其他都在之前文章中提到过。分解本质矩阵 $E$ 在编程下的代码不难，但是推导过程极其复杂，博主在这里就不叙述了。

import numpy as np  # 假设你已经有了一个本质矩阵E  
E = np.array([[...], [...], [...]])  # 用你的本质矩阵替换这里的占位符  # 对E进行奇异值分解  
U, S, Vt = np.linalg.svd(E)  # 根据SVD分解的结果恢复旋转矩阵R和平移向量t  
W = np.array([[0, -1, 0], [1, 0, 0], [0, 0, 1]])  
R1 = U @ W @ Vt  
R2 = U @ W.T @ Vt  # 由于t的方向是不确定的，我们通常选择使t的最后一个分量为正的那个解  
t1 = U[:, 2]  
t2 = -U[:, 2]  # 选择合适的R和t组合  
if np.linalg.det(R1) * np.linalg.det(np.eye(3) - R1) < 0:  R, t = R2, t2  
else:  R, t = R1, t1  # 现在你有了旋转矩阵R和平移向量t  
print("Rotation matrix R:")  
print(R)  
print("Translation vector t:")  
print(t)

2.3 欧式结构恢复歧义

 1. 在没有先验信息的情况下，我们求解出来的解跟真实解是存在一个相似变换关系（旋转、平移、缩放）。

 2. 度量重构：恢复的场景与真实场景之间仅存在相似变换的重构。如果欧式结构恢复后能达到这种重构的话，那就可以说的上恢复效果是很不错了。

三、仿射结构恢复

3.1 概述

 1. 仿射结构恢复问题：摄像机为仿射相机，内外参数均未知。 一般来说仿射相机代表为弱透视投影摄像机。

 2. 下面图中所有坐标使用欧式坐标，对于仿射变换而言 $z$ 轴的 $m_{3}X=1$，所以经过等式变换世界坐标的欧式坐标与像平面欧式坐标关系为 $x^E=A{X}^E+b$。其中 $A_{2\ast 3}，b_{2\ast 1}$。

 3. 仿射结构恢复问题可以建模为：已知 $n$ 个三维点 $X_j$ 在 $m$ 张图像中的对应点的像素坐标为 $x_{ij}$，且 $x_{ij}=A_i{X}_j+b_i$，其中第 $i$ 张图片对应的仿射相机的投影矩阵为 $M_i$。求解 $n$ 个三维点 $X_j$ 的坐标以及 $m$ 个仿射相机的投影矩阵中的 $A_i$，$b_i$ ($i=1,2,...,m$)。

3.2 因式分解法

 1. 数据中心化：对于所有像平面点和世界坐标的三维点，分别减去像平面点和三维点的质心，建立新的关系，可知 ${\hat{x}}_{ij}=A_i{\hat{X}}_j$。其中 ${\hat{x}}_{ij}=x_{ij}-{\bar{x}}_{ij}$，${\hat{X}}_j=X_j-{\bar{X}}_j$。通过数据中心化消掉了 $b$ 的影响。

 2. 如果3D点的质心=世界坐标系的中心，那么减去的均值为 $0$，所以 ${\hat{x}}_{ij}=A_i{X}_j$。

 3. 矩阵形式如下所示。接下来我们要将 $D_{2m\ast n}$ 分解为 $M_{2m\ast 3}$ 和 $S_{3\ast n}$，即因式分解。

 4. 由于 $M$ 和 $S$ 的秩为 $3$，所以 $D$ 的秩为 $3$，我们对 $D_{2m\ast n}$ 矩阵进行奇异值分解。可以得到 $D_{2m\ast n}=U_{2m\ast 3}\times W_{3\ast 3}\times V_{3\ast n}$。

3.3 总结

3.4 仿射结构恢复歧义

 1. 仿射结构恢复歧义：投影矩阵存在一个可逆 $3\ast 3$ 矩阵的变换，也就是差了一个仿射变换的矩阵系数。对于歧义我们需要引入其他约束来解决歧义。

 2. 另外对于给定 $m$ 个相机，$n$ 个 $3$ 维点情况下，我们将有 $2mn$ 个等式，$8m+3n-8$ 个未知量。