1 基于神经辐射场（neural Radiance Fileds， Nerf）的三维重建- 简介

Nerf简介

   Nerf（neural Radiance Fileds） 为2020年ICCV上提出的一个基于隐式表达的三维重建方法，使用2D的 Posed Imageds 来生成（表达）复杂的三维场景。现在越来越多的研究人员开始关注这个潜力巨大的领域，也有方方面面关于 Nerf 的工作在不断被提出。
  Nerf 为输入为稀疏的、多角度、带有姿态信息的图像的神经网络模型，可以用于渲染出任意视角下的清晰照片。（Nerf是使用MLP神经网络来隐式表达的一个三维场景），如下图所示：

背景知识

  Nerf本质是图形学的3D渲染（Render）功能，使用隐式表达来表示3D信息。
3D渲染：将场景定义（包括摄像机、灯光、表面几何与材料）转换为模拟摄像机图像的过程称为渲染，渲染的结果为该视角下的一张照片。相机拍摄过程为一个光学物理成像过程，是光线经过镜头到达传感器中被记录的过程如下图所示：

  传统的3D渲染方法包括：
光栅化（rasterization）：光栅化是是空间中的物体 使用透视投影来"投射 "到2d图像上，然后通过采样技术填充二维三角形所覆盖的图像的所有像素。
光线追踪（ray tracing）：通过图像中的每个像素追踪一条射线，找出相机与该射线相交的任何物体之间的距离。通过该像素可见的物体就是相交距离最小的物体。通过在图像中的所有像素上循环，为每个像素追踪一条光线，然后找出这些光线是否与场景中的任何物体相交来创建图像。该算法需要两个主要循环。外循环遍历图像中的像素，内循环遍历场景中的物体。
隐式表达：使用隐函数$f(x,y,z)=0$来表示空间中3d点的位置关系，所有满足约束的3d点都为待表达的目标点。该方法难以描述复杂物体，且非直观，但是该方式有以下优点：（1）表达方式简单。（2）便于查询，直接通过坐标点代入隐函数中可以查询该点与平面的关系。（3）能以较高的精度表达简单物体。（4）易于处理拓补结构（如流体）。
显示表达：直接给出，或通过参数映射的方式来表达空间中点的信息，如电云与深度图。

3D空间中物体的表达方式：
显示表达：

隐式表达：

Nerf的应用

1 新视点生成（View Synthesis）：https://www.matthewtancik.com/nerf
2 360°重建：https://jonbarron.info/mipnerf360/
3 大型场景重建：http://waymo.com/research/block-nerf
4 人体重建：https://zhaofuq.github.io/humannerf/
5 3D风格迁移：https://www.youtube.com/watch?v=0Z8FYd8MV1k&list=PL6liSIqFR4BW3FTN5lpruLIVGqv3wMpMG&index=13