【计算机视觉】FusionGAN

1. FusionGAN论文阅读

abreheret/FusionGAN: Pytorch implementation of "Generating a Fusion Image: One’s Identity and Another’s Shape"

1.1. WHY

在现实世界中，将对象或人物转换为期望的形状是一种常用技术，但现有的图像翻译方法在处理身份和形状时存在不足，如现有图像翻译学习映射函数时缺乏明确的形状匹配损失函数，可能导致形状无法保持。因此需要新的框架来有效处理身份和形状问题，以生成融合图像，例如将一个人的身份与另一个人的姿势相结合，将合成眼图像转换为真实图像并保持形状，或实现不同风格图像（如照片、素描、卡通）之间的转换等。

1.2. HOW

1.2.1. FusionGAN

基于生成对抗网络（GANs）提出新网络，可从多个无标签图像集中获取两个输入图像，生成具有一个输入图像身份和另一个输入图像形状的融合图像，且能同时在多个图像数据集上进行无监督训练。具体地，对于两个输入图像和，目标是生成融合图像，即输出图像具有的身份和的形状。网络不限于两个图像集之间的转换，可用于多个无标签图像集。这里身份可视为图像集级别的特征（如在 VGG YouTube Pose 数据集里是人物身份），形状为实例级别的特征（如人物姿势）。

1.2.2. 损失函数

身份损失

通过判别器区分输入对是真实对还是生成对，使生成图像的分布与第一个输入图像所属集合的分布相似，以获取图像的身份。采用损失替代负对数似然，让生成器最大化