论文阅读：pixelNeRF: Neural Radiance Fields from One or Few Images

中文标题：从一或少量图像中构建神经辐射场

提出问题

• NeRF效果虽然惊艳，但是其需要大量环绕图像以及长时间的训练。

创新点

• 与原始的NeRF网络不使用任何图像特征不同，pixelNeRF将与每个像素对齐的空间图像特征作为输入。
• 也可以集合更多输入相关场景特征。

具体实现

图像约束神经辐射场

• 为了克服NeRF不能在场景间分享Knowledge的缺陷，文章提出适应图像空间特征的NeRF。
• 提出的模型包括两部分：一个全卷积图像编码器以及一个NeRF的MLP网络。

单图Pixel-NeRF

• 首先对输入图像提取特征$W=E(I)$.
  

• 然后将射线x投影回输入图像平面$\pi (x)$, 然后通过插值查找对应特征$W(\pi (x))$。

• 最后将对应特征一起送入MLP。
  

• 如果查询视图方向与输入视图方向相似，则模型可以更直接地依赖于输入；如果它不同，则模型必须利用学习到的先验。

合并多个视图

• 多个视角为场景提供了额外的信息，能够解决单视角下的几何歧义。文章提出的框架可以扩展到任意数量的输入图像。
• 我们将一个视图方向为d的查询点x转换为每个输入视图i的坐标系：
  
  
• $\psi$ 是平均池化操作。$f=f_1\circ f_2$。
  

参考文献

[1] Yu A, Ye V, Tancik M, et al. pixelnerf: Neural radiance fields from one or few images[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 4578-4587.