详解相机的内参和外参，以及内外参的标定方法

1 四个坐标系

要想深入搞清楚相机的内参和外参含义， 首先得清楚以下4个坐标系的定义：

• 世界坐标系： 名字看着很唬人， 其实没什么大不了的， 这个就是你自己定义的某一个坐标系。 比如， 你把房间的某一个点定为原点， 并且定义好方向， 这就是世界坐标系。 一般是个三维坐标系， 单位是m
• 相机坐标系： 以相机光心为原点， 一般我们把z轴指向相机前方，x向右，y向下，是个三维坐标系， 单位是m
• 成像平面坐标系： 这个是定义在物理成像平面的坐标系，方向定义与相机坐标系一致（没有z方向）， 原点是光心在物理成像平面上的投影，是个二维坐标系， 单位是m。 注意， 我们一般都会忽略这个坐标系， 因为它是个中间过渡状态， 很少直接使用它。
• 像素坐标系： 这个应该是最为常用， 也最为大家熟悉的坐标系， 计算机视觉任务的输出的坐标表达基本都是在这个坐标系。 它是个二维坐标系， 原点通常在图像的左上角， x向右，y向下， 单位是像素， 没有具体的尺度。
  

2 内参和外参

除了世界坐标系， 后面三个坐标系只跟相机本身有关。 相机内参表达的就是这三个坐标之间的转换关系， 而相机外参表达的是相机与世界坐标系之间的转换关系。

成像的过程实质上是几个坐标系的转换。首先空间中的一点由世界坐标系转换到相机坐标系 ，然后再将其投影到物理成像平面 ( 成像平面坐标系 ) ，最后再将成像平面上的数据转换像素坐标系 。

从世界坐标到像素坐标总共有3步转换， 前面2个合在一起就是相机内参， 最后一个是相机外参。

上面矩阵中的参数很好理解， 也都有明确的物理含义： a 和b 表示从成像平面坐标转到像素坐标时， 分别在x和y轴上的缩放系数， $u_0$和$v_0$是原点的平移量。 $r$是扭曲因子， 一般为0。 $f$是相机的焦距。 R和T是旋转和平移矩阵。

把前面2个合一起， 就得到了如下更为常见的内参矩阵：

$$\mathbf{K}=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$$
下面的讲解中， 我们直接用这种形式，跳过成像平面坐标系。

注意， 实际上内参包含2部分: 内参矩阵K和畸变系数D， 上面只讲到了内参矩阵的原理， 没有讲畸变系数。 这里简单列一下畸变系数， 不做详细介绍。
D = [k1 k2 p1 p2 k3]
其中 k1、k2、k3 是径向畸变系数（radial distortion coefficients） p1、p2 是切向畸变系数（tangential distortion coefficients)。

3 常用的坐标转换

假设有某一个点， 在世界坐标下的坐标为$P_w=(X_w,Y_w,Z_w)$， 在相机坐标系下的坐标为$P=(X_c,Y_c,Z_c)$, 在像素坐标系下的坐标为$P_{uv}=(u,v)$。

• 世界坐标转到相机坐标：
  $$P=R{P}_w+t$$

• 相机坐标转到像素坐标：
  $$P_{uv}=\frac{1}{Z_c}KP$$
  展开就是：
  $$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\frac{1}{Z_c}\mathbf{K}\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=\frac{1}{Z_c}\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]$$

注意上面有个尺度因子跟$Z_c$有关， 从相机坐标系的三维坐标投影到像素平面的二维坐标， 实际上丢失了Z方向也就是深度信息。 所以如果不知道深度， 从像素坐标就无法恢复出准确的相机坐标。

4 内外参标定方法

4.1 内参标定方法

内参标定通常使用张正友标定法， 也就是常见的棋盘格标定。

4.2 外参标定方法

外参标定的核心是：已知多个点分别在相机坐标系下的坐标和在世界坐标系下的坐标， 求它们之间的映射关系。
常用求解PnP 的方法，即已知多个点， 在像素坐标系的二维坐标， 和在世界坐标系的三维坐标，并且已知内参， 求解旋转平移矩阵。