当前位置：首页 > news >正文

【计算机视觉】FusionGAN

news 2025/7/7 9:27:08

1. FusionGAN论文阅读

abreheret/FusionGAN: Pytorch implementation of "Generating a Fusion Image: One’s Identity and Another’s Shape"

1.1. WHY

在现实世界中，将对象或人物转换为期望的形状是一种常用技术，但现有的图像翻译方法在处理身份和形状时存在不足，如现有图像翻译学习映射函数时缺乏明确的形状匹配损失函数，可能导致形状无法保持。因此需要新的框架来有效处理身份和形状问题，以生成融合图像，例如将一个人的身份与另一个人的姿势相结合，将合成眼图像转换为真实图像并保持形状，或实现不同风格图像（如照片、素描、卡通）之间的转换等。

1.2. HOW

1.2.1. FusionGAN

基于生成对抗网络（GANs）提出新网络，可从多个无标签图像集中获取两个输入图像，生成具有一个输入图像身份和另一个输入图像形状的融合图像，且能同时在多个图像数据集上进行无监督训练。具体地，对于两个输入图像 $x=(I_x,S_x)$ 和 $y=(I_y,S_y)$ ，目标是生成融合图像 $G(x=(I_x,S_x),y=(I_y,S_y))=(I_x,S_y)$ ，即输出图像具有 $x$ 的身份和 $y$ 的形状。网络不限于两个图像集之间的转换，可用于多个无标签图像集。这里身份可视为图像集级别的特征（如在 VGG YouTube Pose 数据集里是人物身份），形状为实例级别的特征（如人物姿势）。