当前位置：首页 > news >正文

3d gaussian splatting公式推导

news 2025/11/15 8:09:55

1. 离散公式推导

nerf中连续的积分渲染公式是：

$C(r)=\int_{0}^{t_i}T(t)\sigma(r(t))c(r(t), d)dt$

其中被遮挡率：

$T(t)=exp(-\int_{0}^{t_i}\sigma(r(s))ds)$

那么转换为离散公式后有：

$T_i=T(t_i) =exp(-\sum_{j=0}^{j=i-1}\int_{t_j}^{t_{j+1}}\sigma(t)dt) =exp(-\sum_{j=0}^{j=i-1}\sigma_j\delta_j)$

其中， $\delta_j$ 代表j时刻的时间差，将其带入渲染公式：

$C(i)=\sum_{j=0}^{j=i-1}\int_{t_j}^{t_{j+1}}T(t)\sigma(t)c(t)dt \\=\sum_{j=0}^{j=i-1}\int_{t_j}^{t_{j+1}}exp(-\int_{0}^{t}\sigma(s)ds)\sigma_jc_jdt \\=\sum_{j=0}^{j={i-1}}\int_{t_j}^{t_{j+1}}exp(-\int_{0}^{t_j}\sigma(s)ds)exp(-\int_{t_j}^{t}\sigma(s)ds)\sigma_jc_jdt \\=\sum_{j=0}^{j=i-1}\int_{t_j}^{t_{j+1}}T_jexp(-\int_{t_j}^{t}\sigma(s)ds)\sigma_jc_jdt \\=\sum_{j=0}^{j=i-1}T_j\sigma_jc_j\int_{t_j}^{t_{j+1}}exp(-\sigma_j(t-t_j)dt \\=\sum_{j=0}^{j=i-1}T_j\sigma_jc_j(-\frac{1}{\sigma_j})(exp(-\sigma_j\delta_j)-1) \\=\sum_{j=0}^{j=i-1}T_jc_j(1-exp(-\sigma_j\delta_j))$

设透明度 $\alpha_i=(1-exp(-\sigma_i\delta_i))$

则被遮挡率 $T_i =\prod_{j=1}^{j=i-1}(1-\alpha_i)$

有 $C(i)=\sum_{j=0}^{j=i-1}c_j\alpha_j\prod_{j=1}^{j=i-1}(1-\alpha_j)$

而gaussian-splating的公式与nerf不一样的点在于，透明度 $\alpha_i$ 的计算是根据像素点处于2D高斯球的概率求得的：

$\alpha_i=\frac{1}{2\pi\sqrt{\left | \Omega \right |}}exp(-0.5(x-\mu)\Omega ^{-1}(x-\mu))$

其中 $\mu$ 是3D高斯球溅射到屏幕上形成的2D高斯球的均值， $\Omega$ 是2D高斯球的协方差

2. 正向渲染公式推导

正向渲染是指从3D高斯球渲染到2D屏幕中某个像素值的颜色的过程。

2.1 3D高斯到2D高斯

首先，3D高斯参数有高斯球的中心即均值 $\omega$ ，协方差 $\Sigma$ ，透明度 $\sigma$ ，颜色 $c$ ，2D高斯参数有高斯球的中心即均值 $\mu$ ，协方差 $\Omega$ 。

对于均值 $\mu$ 来说，其值就是将 $\omega$ 转换到屏幕坐标系上就可以了

$p_{c}=T_{w2c}\omega$ ， $p_c$ 将 $\omega$ 从世界坐标系转换到相机坐标系下，

$\mu=\left\{\begin{matrix}p_c[0]/p_c[2] \\ p_c[1]/p_c[2] \\ \left \| p_c \right \| \end{matrix}\right.$

这里3D高斯球的表示是通过一个旋转R和一个缩放矩阵S的乘积表示的，即 $\Sigma=RS\Lambda S^TR^T=RSS^TR^T$ ,这么表示的原理是协方差是一个椭球，标准正态分布是一个圆，椭球就是将这个圆进行旋转缩放变成的。 $\Lambda$ 是标准正态分布的协方差，它是一个单位矩阵，所以可以省略。

3. 反向传播公式推导

参考：

【CV】Nerf中体素渲染的离散公式推导 - Edlinf - 博客园

https://zhuanlan.zhihu.com/p/633106694

3d gaussian splatting公式推导

1. 离散公式推导

2. 正向渲染公式推导

2.1 3D高斯到2D高斯

3. 反向传播公式推导

相关文章：

3d gaussian splatting公式推导

金属增材制造咋突破？纳米纹理粉末如何助力金属增材制造？

openpnp - 为了防止物料操作混乱，做一张物料分布位置图清晰一些

懒人帮美食系统小程序的设计

David律所代理Jose Martin幽默水果版权首发维权，尚未TRO

读构建可扩展分布式系统：方法与实践15可扩展系统的基本要素

解决VisualStudio msvsmon.exe远程调试器未启动问题

如果淘汰是注定的，那么读书还有意义吗？

Python 中三种常用的绘图方式 ! ! !

统一回复OneAPI:failed to get gpt-3.5-turbo token encoder的解决办法

Flash Attention是怎么做到又快又省显存的？

CAN报文ID过滤

ELK-05-skywalking监控SpringCloud服务日志

17年数据结构考研真题解析

nginx 安装（Centos）

异步编程利器：深入解析 Python 异步并发库 Gevent

Python pyusb 使用指南【windows+linux】

Xcode报错：The request was denied by service delegate (SBMainWorkspace)

面试系列-携程暑期实习一面

你以为建站很复杂？Baklib 5分钟解决你的痛点

在软件开发中正确使用MySQL日期时间类型的深度解析

多模态2025：技术路线“神仙打架”，视频生成冲上云霄

大型活动交通拥堵治理的视觉算法应用

04-初识css

HashMap中的put方法执行流程（流程图）

Fabric V2.5 通用溯源系统——增加图片上传与下载功能

面向无人机海岸带生态系统监测的语义分割基准数据集

音视频——I2S 协议详解

C# 表达式和运算符(求值顺序)

Web后端基础(基础知识)