计算机视觉之三维重建（7）---多视图几何(下)

---

一、透视结构恢复问题

1.1 概述

 1. 透视结构恢复问题：摄像机为透视相机，内外参数均未知。

 2. 问题：已知 $n$ 个三维点 $X_j$ 在 $m$ 张图像中的对应点的像素坐标为 $x_{ij}$，且 $x_{ij}=M_i{X}_j$，其中 $M_i$ 为第 $i$ 张图片对应的摄像机投影矩阵，求解 $n$ 个三维点 $X_j$ 的坐标以及 $m$ 个摄像机投影矩阵 $M_i$。

1.2 透视结构恢复歧义

 1. 透视结构与仿射结构的区别在于，透视结构计算得到的投影矩阵 $M_i$，与真实投影矩阵差一个 $4\ast 4$ 的可逆矩阵 $H$，也就是差了一个透视变换关系。

 2. 对于给定 $m$ 个相机，$n$ 个三维点，我们将有 $2mn$ 个等式，$11m+3n-15$ 个未知量。

1.3 代数方法

 1. 求解步骤：(1) 求解基础矩阵 $F$ (归一化八点法)。 (2) 基于 $F$ 估计摄像机矩阵 $F\to M_1,M_2$。 (3) 三角化。
 关键是第二步的求解。

 2. （1）令 $M_1^{\ast }=[I|0]$，$M_2^{\ast }=[A|b]$。推导出基础矩阵 $F$ 与 $A$ 和 $b$ 的关系：$F=[b_x]A$。注：同方向的向量叉乘为 $0$。

 （2）如何计算 $A$ 和 $b$：

1.4 捆绑调整

 1. 捆绑调整(Bundle Adjustment)：捆绑调整使用最小化重投影误差，可以进行多次迭代，使重构点足够拟合真实值，可以应用于欧式结构、仿射结构和透视结构多种情况，是一个恢复结构和运动的非线性方法。

 2. 代数法与分解法的局限性：(1) 因式分解法：假定所有点都是可见的，所以对于存在遮挡，建立对应点关系失败的情况将不得不删除该对应点关系。 (2) 代数法：应用于 $2$ 视图重建，多视图容易出现误差累积。

 3. 最小化重投影误差：$min(E(M,X))={\sum }_{i=1}^m{\sum }_{j=1}^{n}D(x_{ij},M_i{X}_j{)}^2$

 4. 捆绑调整的优势：同时处理大量视图，处理丢失的数据。局限性：大量参数的最小化问题，需要良好的初始条件（即初始 $M_i$）。一般来说，捆绑调整作为运动恢复问题的最后一步，首先通过分解或代数方法先求出优化问题的初始 $M_i$。

二、P3P问题

 1. (1) PnP 问题：指通过世界中 $N$ 个三维点坐标及其在图像中 $N$ 个像点坐标，计算出相机或物体位姿的问题。 (2) P3P 问题：我们只讨论世界中 $3$ 个三维点和图像中 $3$ 个像点的关系，计算欧式结构恢复相机位姿的问题，也就是计算出摄像机的外参数 $R$、$T$。 (3) 相比于之前求 $F$ 和三角化得到摄像机外参数的方法，该方法误差更小。

 2. P3P 问题解法如下所示。其中步骤 $1$ 的计算方法：由于 $a=K[I0]P_a$，则 $K^{-1}a=[I0]P_a$，所极点到像点 $a$ 的方向向量为：$\overrightarrow{oa}=\frac{K^{-1}a}{||K^{-1}a||}$，同理可以计算出 $\overrightarrow{ob}$ 和 $\overrightarrow{oc}$。

三、随机采样一致性

 1. 随机采样(Random sample consensus)：一种适用于数据受到异常值污染的模型拟合方法，通过选择随机均匀采样一定的点，估计模型参数，并输出模型分数最高的模型。

 2. 算法流程：
 (1) 随机均匀采样获取模型求解所需的最小子集。
 (2) 适用该子集估计模型参数。
 (3) 计算剩余样本与当前模型的一致性，统计满足当前模型的内点（在正确拟合模型上的点为内点，负样本点为外点）个数，作为当前模型分数。
 (4) 按照设定次数重复（1）-（3）步，最终输出分数最高的模型。