《昇思25天学习打卡营第21天|Pix2Pix实现图像转换》

Pix2Pix 是一种图像转换模型，使用条件生成对抗网络（Conditional Generative Adversarial Networks，cGANs）实现图像到图像的转换。它主要由生成器（Generator）和判别器（Discriminator）两部分组成。

Pix2Pix 可以应用于多种图像到图像的转换任务，例如：

• 黑白图像上色
• 图像去噪
• 图像修复
• 图像合成（如从草图生成真实图像）

基础原理

cGAN的生成器与传统GAN的生成器在原理上有一些区别，cGAN的生成器是将输入图片作为指导信息，由输入图像不断尝试生成用于迷惑判别器的“假”图像，由输入图像转换输出为相应“假”图像的本质是从像素到另一个像素的映射，而传统GAN的生成器是基于一个给定的随机噪声生成图像，输出图像通过其他约束条件控制生成，这是cGAN和GAN的在图像翻译任务中的差异。Pix2Pix中判别器的任务是判断从生成器输出的图像是真实的训练图像还是生成的“假”图像。在生成器与判别器的不断博弈过程中，模型会达到一个平衡点，生成器输出的图像与真实训练数据使得判别器刚好具有50%的概率判断正确。

• 生成器（Generator）：

  • 生成器接受一张输入图像，并将其转换为目标图像。生成器通常采用编码器-解码器（Encoder-Decoder）的结构。编码器将输入图像编码为低维的特征表示，解码器则将这些特征表示解码为目标图像。
  • 在 Pix2Pix 中，生成器的目标是生成尽可能逼真的目标图像，使得这些图像无法被判别器正确区分。

• 判别器（Discriminator）：

  • 判别器的任务是区分真实的目标图像和生成器生成的伪造图像。它接受一对图像（输入图像和目标图像），并输出一个表示该对图像是否为真实数据的概率。
  • 判别器通常是一个卷积神经网络（CNN），用于提取图像特征并进行分类。

• 损失函数（Loss Function）：

  • Pix2Pix 使用 cGANs 的损失函数，其中包含对抗损失和 L1 损失。
  • 对抗损失（Adversarial Loss）：用于训练生成器和判别器。生成器试图最大化判别器误判的概率，而判别器则试图最小化其误判的概率。
  • L1 损失：用于衡量生成图像与真实目标图像之间的像素差异，以确保生成图像与真实图像在整体结构和细节上尽可能接近。

Pix2Pix的训练过程

1. 数据准备：准备一组配对的训练图像，每对图像包含一个输入图像和一个对应的目标图像。
2. 模型初始化：初始化生成器和判别器的参数。
3. 训练步骤：
   • 生成器训练：输入图像通过生成器生成伪造的目标图像，计算对抗损失和 L1 损失，反向传播以更新生成器参数。
   • 判别器训练：将真实目标图像和生成器生成的伪造图像分别输入判别器，计算判别器的损失，反向传播以更新判别器参数。
   • 以上步骤交替进行，直到模型收敛。

• •