计算机视觉与图形学-神经渲染专题-pi-GAN and CIPS-3D

《pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis》

摘要

我们见证了3D感知图像合成的快速进展，利用了生成视觉模型和神经渲染的最新进展。然而，现有的方法在两方面存在不足：首先，它们可能缺乏底层的3D表示，或者依赖于视图不一致的渲染，从而合成不具有多视图一致性的图像；其次，它们往往依赖于表达能力不足的表示网络架构，因此它们的结果缺乏图像质量。我们提出了一种新的生成模型，称为周期隐式生成对抗性网络（π-GAN或π-GAN），用于高质量的3D感知图像合成。π-GAN利用具有周期激活函数和体积渲染的神经表示来将场景表示为视图一致的辐射场。所提出的方法在具有多个真实和合成数据集的3D感知图像合成中获得了最先进的结果。

实验效果

框架

pi-GAN的生成框架，

地址：https://arxiv.org/pdf/2012.00926v2.pdf

《CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent Pixel Synthesis》

摘要

基于风格的GAN（StyleGAN）架构在生成高质量图像方面取得了最先进的成果，但它缺乏对相机姿势的明确和精确控制。最近提出的基于NeRF的GANs在3D感知生成器方面取得了巨大进展，但它们还无法生成高质量的图像。本文介绍了CIPS-3D，这是一种基于风格的3D感知生成器，由浅NeRF网络和深隐式神经表示（INR）网络组成。生成器在没有任何空间卷积或上采样操作的情况下独立地合成每个像素值。此外，我们诊断了镜像对称问题，这意味着次优解，并通过引入辅助鉴别器来解决它。CIPS3D经过对原始单视图图像的训练，在FFHQ上256×256分辨率的图像中，其令人印象深刻的FID为6.97，创下了3D感知图像合成的新纪录。我们还展示了CIPS-3D的几个有趣的方向，如迁移学习和3D人脸风格化。

框架

基于风格的 3D 感知生成器的详细超参数介绍。NeRF 网络很浅，以节省运行时内存。INR网络很深，以增加生成器的容量。我们将3D 形状和外观分开，其中 NeRF 网络负责 3D 形状，INR 网络负责外观。辅助鉴别器有助于克服镜像对称问题。对于 INR 网络，每个 ModFC 后面都跟着一个 LeakyReLU（此处未显示）。

实验结果

结论

本文提出了一种基于风格的 3D 感知生成器，可以独立合成像素值，无需任何空间卷积或上采样操作。我们发现输入坐标的对称性导致了镜像对称问题，并提出利用辅助鉴别器来解决这个问题。我们期待将所提出的生成器应用于更有趣的应用，例如 3D 感知 GAN 反转和图像到图像翻译。

论文地址：https://arxiv.org/pdf/2110.09788v1.pdf