基于相机内参推导的透视投影矩阵

基于相机内参推导透视投影矩阵（splatam）：

$$M_{cam}=\left[\begin{array}{cccc}\frac{2\cdot fx}{w}& 0.0& \frac{(w-2\cdot cx)}{w}& 0.0\\ 0.0& \frac{2\cdot fy}{h}& \frac{(h-2\cdot cy)}{h}& 0.0\\ 0& 0& \frac{far+near}{near-far}& \frac{2far\cdot near}{near-far}\\ 0.0& 0.0& -1.0& 0.0\end{array}\right]$$

• fx: 相机内参中的焦距在x方向上的分量。
• fy: 相机内参中的焦距在y方向上的分量。
• cx: 图像中心在x方向上的坐标。
• cy: 图像中心在y方向上的坐标。
• w: 图像宽度。
• h: 图像高度。
• near: 视锥体（frustum）的近裁剪平面距离。
• far: 视锥体（frustum）的远裁剪平面距离。
  注：此处深度为负

参考透射投影矩阵的数学推导的推导得到透视投影矩阵另一种形式：
$$M_p=\left[\begin{array}{cccc}\frac{2n}{r-l}& 0& \frac{r+l}{r-l}& 0\\ 0& \frac{2n}{t-b}& \frac{t+b}{t-b}& 0\\ 0& 0& \frac{f+n}{n-f}& \frac{2fn}{n-f}\\ 0& 0& -1& 0\end{array}\right]$$

• n: 近裁剪平面距离。
• f: 远裁剪平面距离。
• r: 近裁剪平面的右边界。
• l: 近裁剪平面的左边界。
• t: 近裁剪平面的上边界。
• b: 近裁剪平面的下边界。

可以先看这两个参考再往下看：
参考：
https://zhuanlan.zhihu.com/p/421962223
https://blog.csdn.net/qq_43758883/article/details/116503614

通过视场角来从$M_p$得到$M_{cam}$:

上图，忽略y轴，上半部分是相机坐标系，下班部分是像素坐标系，可见相机坐标下的视场角和像素坐标下的视场角是一致的，
1、
在相机坐标系下：
$$tan(fovx/2)=\frac{r-l}{2n}$$

在像素坐标系下：
$$tan(fovx/2)=\frac{fx}{w/2}$$
将上式公式同时提取缩放因子：
$$tan(fovx/2)=\frac{\alpha f}{\alpha w^{\prime }/2}=\frac{f}{w^{\prime }/2}=\frac{r-l}{2n}$$

2、
$$\begin{array}{rl}\alpha (r-l)& =w\\ \alpha (r+l)& =(w-2cx)\end{array}$$
所以，
$$\frac{r+l}{r-l}=\frac{(w-2cx)}{w}$$

同理，透视投影矩阵y轴也是如此推导。

splatam非标准透视投影

splatam使用的非标准透视投影，与一般不同，splatam是把深度缩放到 [0,1]：
此处深度全取正数，因此第三、四列需要加个负号。
$$M_{splatam}=\left[\begin{array}{cccc}\frac{2\cdot fx}{w}& 0.0& \frac{-(w-2\cdot cx)}{w}& 0.0\\ 0.0& \frac{2\cdot fy}{h}& \frac{-(h-2\cdot cy)}{h}& 0.0\\ 0.0& 0.0& \frac{far}{far-near}& \frac{-(far\cdot near)}{far-near}\\ 0.0& 0.0& 1.0& 0.0\end{array}\right]$$
可以看到矩阵的第三行与之前的不同，它的作用是把深度最后归一化到 [0,1]。
设相机坐标下的点位置为$[x_{cam},y_{cam},z_{cam},1]$，对应裁剪空间坐标为$[x_c,y_c,z_c,w_c]$，对应NDC坐标$[x_n,y_n,z_n,1]$。
故：
$$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ w_c\end{array}\right]=M_{splatam}\left[\begin{array}{c}{x}_{cam}\\ y_{cam}\\ z_{cam}\\ 1\end{array}\right]$$
考虑深度，即z轴的变换有：
$$\begin{array}{rl}{z}_c& =\frac{far}{far-near}{z}_{cam}-\frac{(far\cdot near)}{far-near}\\ w_c& =z_{cam}\end{array}$$

归一化处理，得到NDC坐标
$$\begin{array}{rl}{z}_n& =\frac{z_c}{w_c}=\frac{\frac{far}{far-near}{z}_{cam}-\frac{(far\cdot near)}{far-near}}{z_{cam}}\\ & =\frac{far-\frac{(far\cdot near)}{z_{cam}}}{far-near}\end{array}$$
故，当$z_{cam}=near$时，$z_n=0$， 当$z_{cam}=far$时，$z_n=1$，所以深度最后是限制在 [0,1]。为什么要怎样设计呢，因为使用3DGS渲染时，只考虑深度大于0的。