CVPR2023新作：pix2pix3D

1. Title: 3D-Aware Conditional Image Synthesis
2. Affiliation: Carnegie Mellon University (卡内基梅隆大学)
3. Authors: Kangle Deng, Gengshan Yang, Deva Ramanan, Jun-Yan Zhu
4. Keywords: Image Synthesis, 3D-aware, Neural Radiance Fields, Interactive Editing, Conditional Generative Models
5. Summary:

• (1)本文研究背景是现有的图像到图像翻译方法只在2D层面上操作，没能正确推理内容的潜在3D结构。

• (2)过去方法纯粹在2D层面操作，没有对应3D架构，这限制了模型的可控性。本文基于现有资源，进一步扩展条件生成模型的特性，将3D融入图像生成。

• (3)将3D神经场引入条件生成模型，将大量双眼标签和monocular视图放入训练生成器中，使模型能够对每个3D点分配标签、所对应的色彩和密度。这样能够使模型在显示图像的同时也显示像素对应的标签。

• (4)本文提出的pix2pix3D模型能够在给定2D条件习得3D对象的结构学直观的编辑控制。还提供了相应互动系统。实验结果证明，我们的方法生成的图像在视觉上是写实的。

6. Methods:

• (1): 本文提出的 pix2pix3D 模型通过引入 3D 神经场，将大量双眼标注和单ocular视图放入训练生成器中，使模型能够将每个3D点分配标签、相应的颜色和密度。通过条件编码器将 2D 标签映射为潜在向量，然后使用这些向量调节 3D 特征，得到最终的图像。
• (2): pix2pix3D 模型能够在给定2D标签的情况下，生成3D对象的结构学，并通过交互式编辑系统进行控制。在训练过程中，采用各种损失（如重建损失、GAN损失和跨视角一致性损失）以提高模型的可控性和渲染质量。
• (3): 通过体积渲染和2D上采样，pix2pix3D模型生成高质量的逼真图像。通过采用透过每个像素的光线并对样本点颜色等信息加权平均，可以从不同视角渲染出高质量的图像。
• (4): 本文的方法提供了一种新颖的2D到3D的生成方式以及一种基于图像的交互式编辑系统，可以生成高质量的、具有逼真感的3D场景。实验结果证明，我们的方法在视觉和数值上超越了现有方案。

7. Conclusion:

• (1): 本文提出了一种将3D场景引入到图像生成中的方法，并提供了基于图像的交互式编辑系统，改进了现有图像到图像翻译方法只在2D层面上操作的问题，具有重要的研究意义。
• (2): 创新点：激光雷达和双目视图等3D信息被融入到条件生成模型中，使得模型具有了对3D结构学的直观编辑控制能力，解决了现有方法只在2D层面操作的问题。性能：pix2pix3D模型能够产生逼真的3D场景图像，并且可以通过体积渲染和2D上采样生成高质量的图像。工作量：本文使用多种损失函数对模型进行训练，而训练数据集的规模相对较小。