StarGANv2: Diverse Image Synthesis for Multiple Domains论文解读及实现(一)

StarGAN v2: Diverse Image Synthesis for Multiple Domainsp
github:https://github.com/clovaai/stargan-v2

1 模型架构

模型主要架构由四部分组成
①Generator、②Mapping network、③Style encoder、④Discriminator

• Generator：G网络
  生成模型G将输入图片x转换成 输出图片G(x,s),反映了一个领域的独有风格编码s。s是有Maping network F或者风格编码E生成。s被设计表征为领域y的风格。

• Mapping network： F网络
  给定一个隐变量z和一个领域y，mapping network F生成一个风格 s=F(z)，F由一层MLP和多个输出分支组成，分支代表了领域的所有风格。通过随机采样不同的隐变量z，F能高效的学习各领域的风格表征。

• Style encoder：E网络
  给定图片X和相应的领域y，encoder E挖掘风格编码 s=E(x)，E和上面的F类似。使用不同的参考图片，E可以产生不同风格的编码s。

• Discriminator：D网络
  判别器D是多任务判别器，由多个输出分支组成，每个分支Dy学习一个二分类，判断图片X是否是真实的y领域，或者由G生成的假图 G(x,s).

2 训练目标

2.1Adversarial objective.

对抗损失：
训练期间，随机采样隐变量z和领域y，通过F函数，生成风格编码s ，
$$风格编码：\bar{s}=F_{\bar{y}}(z)$$
生成网络G,将图片X和上面的风格编码S作为输入，生成图片：
$$生成图片：G(x,\bar{s})$$
对抗损失函数为：
$$L_{adv}=E_{x,y}[log{D}_y(x)]+E_{x,\bar{y},z}[log(1-D_{\bar{y}}(G(x,\bar{s})))](1)$$

D_y：是y领域的判别器
F: 是提供y领域的风格编码s
G：输入图片和风格编码s,生成新图片

2.2 Style reconstruction

风格重构损失
使得前后的风格距离最小
$L_{sty}=E_{x,\bar{y},z}[||\bar{s}-E_{\bar{y}}(G(x,\bar{s}))|{|}_1](2)$
E网络用来生成风格，上面有提到
（前面的E是求均值，后面的$E_{\bar{y}}$是网络）

2.3 Style diversification

为了使生成器G产生更多风格图片，使得不同风格图片的距离尽可能大

$L_{ds}=E_{x,\bar{y},z_1,z_2}[||G(x,{\bar{s}}_1)-G(x,{\bar{s}}_2)|{|}_1](3)$

${\bar{s}}_1和{\bar{s}}_2$是F在隐变量$z_1和z_2条件下生成的{\bar{s}}_i=F_{\bar{y}}(z_i)fori\in 1,2$

2.4 cycle consistency loss

循环一致损失
使得经过变换后的X与之前的X距离最小
$L_{cyc}=E_{x,y,\bar{y},z}[||x-G(G(x,\bar{s}),\hat{s})|{|}_1](4)$

$\hat{s}=E_y(x)$是E网络估计的风格code,y是原始的X的领域，使生成器G学会去保留原始的X的特征

2.5 full objective

将上面的损失函数求和，其中DS是最大化距离（所有用减号），其他是最小化