3D Gaussian Splatting 代码层理解之Part2

现在让我们来谈谈高斯分布。我们已经在Part1介绍了如何根据相机的位置获取 3D 点并将其转换为 2D。在本文中，我们将继续处理高斯泼溅的高斯部分。这里用到的是代码库 GitHub 中part2.

我们在这里要做的一个小改动是，我们将使用透视投影，它利用与上一篇文章中所示的不同内部矩阵。但是，在将点投影到 2D 时，两者是等效的，我发现第 1 部分中介绍的第一种方法更容易理解，但是我们更改了方法，以便在 python 中尽可能多地复制作者的代码。具体来说，我们的“内部”矩阵现在将由此处显示的 OpenGL 投影矩阵给出，乘法顺序现在将为

 points @ external.transpose() @ internal.

内部透视投影矩阵。具体的参数将在下文中进行详细解释。

对于那些想知道这个新的内部矩阵的人（否则请随意跳过本段）r 和 l 是右侧和左侧的剪切平面，基本上是相对于照片宽度可以看到的点，t 和 b 是顶部和底部剪切平面。N 是近剪切平面（点将投影到的位置），f 是远剪切平面。有关更多信息，我在这里发现 scratchapixel 的章节信息量很大 （The Perspective and Orthographic Projection Matrix）。这还会返回标准化设备坐标（介于 -1 和 1 之间）中的点，然后我们将其投影到像素坐标。撇开题外话不谈，任务保持不变，以 3D 方式获取该点并投影到 2D 图像平面上。但是，在本教程的这一部分中，我们现在使用高斯分布而不是点。

def getIntinsicMatrix(focal_x: torch.Tensor,focal_y: torch.Tensor,height: torch.Tensor,width: torch.Tensor,znear: torch.Tensor = torch.Tensor([100.0]),zfar: torch.Tensor = torch.Tensor([0.001]),,
) -> torch.Tensor:"""Gets the internal perspective projection matrixznear: near plane set by userzfar: far plane set by userfovX: field of view in x, calculated from the focal lengthfovY: field of view