GANs学习记录

基于GAN的研究

是通过GAN 进行图像重建，恢复细节，去模糊，提高图像质量，图像还原，去噪等等。

识别相关

• 一种基于生成对抗网络的训练样本扩充。¹
  通过截取训练样本中数目少的类别目标图像，利用生成对抗网络生成大量异构的目标图像并融合到背景图像中作为训练样本，丰富目标信息，有效扩充训练样本集。
  考虑原始样本中海参、海胆和海星目标数目多，而贝壳目标数量少的特点，将原始样本训练集和验证集图像中的1 015 个贝壳目标截取出来，作为生成对抗网络的输入，训练后生成1 402张异构的贝壳图像，通过与不同背景融合生成1 000 张有效样本图像

• 基于学习的夜视图像增强模型²。利用GAN强大的生成能力，生成与夜视图像对应的同一场景下的白天图像

• 用于半监督 GAN 网络³训练的标记样本中的正样本从标记数据中直接进行切取，并利用hard negative mining 获取负样本。
  Hard negative mining 对于负样本的选取，采取 hard negative mining 的方法，而不是随机截取。利用训练好的全监督检测器对标记图像进行检测，然后对检测结果按照检测得到的置信度按照降序进行排序，选取排在靠前的非正样本作为负样本。为保持正负样本的平衡，我们维持正负样本的比例为 1 ∶1。

• 在少样本情况下生成高分辨率、高质量的遥感舰船图像⁴。针对现有的生成图像样本模糊、模式崩溃（理想情况下,生成模型应该能够生成10个数字,如果只能生成其中的几个,而错失其它的模式,则我们称这种现象为模式崩溃）等问题。

不同背景+目标图像 可以用Augmentation

Augmentation

2021.3.15

1. Auxiliary Classifier GAN 合成高分辨率的真实感图像
2. Adversarial Autoencoder 对抗自动编码器，使用Autoencoder进行对抗学习，AAE相比原始GAN显然具有了很多让生成结果更可控的特性，比DCGAN产生的图片质量更高
3. BEGAN 结合了从Wasserstein距离得出的损失，用于训练基于自动编码器的生成对抗网络，在更高的分辨率下，提高视觉质量
4. BicycleGAN 图像到图像的转换，在条件生成建模环境中对可能的输出分布进行建模
5. Boundary-Seeking GAN 基于边界寻找的gan，生成图片
6. Cluster GAN 使用GAN进行聚类
7. Conditional GAN生成不属于训练标签的描述性标签，指定生成某一个具体数字的图像
8. Context-Conditional GAN 图像呈现给鉴别器网络，以判断它们是否是真实的（未更改的训练图像）
9. Context Encoder 提出了上下文编码器-一种经过训练的卷积神经网络，可以生成以周围环境为条件的任意图像区域的内容。
10. Coupled GAN 仅从边际分布中抽取样本来学习联合分布，领域自适应和图像转换
11. CycleGAN 将图像从源域X转换为目标域Y，集合样式转移，对象变形，季节转移，照片增强等
12. Deep Convolutional GAN “伪造”图像、图像发生语义上的平滑过度、语义遮罩、矢量算法
13. DiscoGAN 从一个域到另一个域同时保存关键属性的网络传输方式，例如方向和脸部身份、边缘到图像
14. DRAGAN 可以使用DRAGAN的梯度惩罚方案来避免这些GAN训练收敛的局部均衡
15. DualGAN 使图像翻译人员可以从来自两个域的两组未标记图像中进行训练，由原始任务和双重任务构成的闭环允许翻译或重建来自任一域的图像
16. Energy-Based GAN 训练单尺度体系结构以生成高分辨率图像。将鉴别器视为能量函数比常规GAN更稳定
17. Enhanced Super-Resolution GAN 单幅图像超分辨率期间生成逼真的纹理
18. GAN
19. InfoGAN 不需要监督学习，而且不需要大量额外的计算花销就能得到可解释的特征
20. Least Squares GAN 生成更高质量的图像、学习过程中表现更稳定
21. MUNIT 多模式无监督图像到图像转换，允许通过提供示例样式图像来控制翻译输出的样式
22. Pix2Pix 不需要手工设计映射功能，从标签图合成照片，从边缘图重建对象以及为图像着色等
23. PixelDA 在渲染图像上训练的模型推广到真实图像，以无监督的方式学习了像素空间从一个域到另一个域的转换，对源域图像进行调整产生合理样本
24. Relativistic GAN RGAN比非相对论的同类稳定得多，并且生成的数据样本质量更高；具有梯度罚分的标准RaGAN生成的质量比WGAN-GP更好的数据，而只需要单个鉴别符更新每次生成器更新；RaGAN能够从很小的样本中生成合理的高分辨率图像，图像的质量明显优于WGAN-GP和SGAN
25. Semi-Supervised GAN 创建数据效率更高的分类器 而且它可以生成比常规GAN更高质量的样本
26. Softmax GAN Softmax GAN是GAN的重要采样版本
27. StarGAN 仅使用一个模型就可以对多个域执行图像到图像的转换，图像质量更高，具有将输入图像灵活转换为任何所需目标域的新颖功能（面部属性转移和面部表情合成）
28. Super-Resolution GAN 用于图像超分辨率（SR）的生成对抗网络（GAN），区分超分辨图像和原始照片级逼真的图像
29. UNIT 将提出的框架与竞争方法进行比较，并在各种具有挑战性的无监督图像翻译任务（包括街道场景图像翻译，动物图像翻译和面部图像翻译）上呈现高质量的图像翻译结果。我们还将提出的框架应用于领域适应，并在基准数据集上实现最新的性能
30. Wasserstein GAN 传统GAN训练的替代方法：提高学习的稳定性，摆脱模式崩溃等问题，并提供有意义的学习曲线，可用于调试和超参数搜索
31. Wasserstein GAN GP 削减权重的替代方法：比标准WGAN的性能更好，并且可以稳定训练几乎没有超参数调整的各种GAN架构，包括101层ResNet和离散数据的语言模型
32. Wasserstein GAN DIV W-met的宽松版本

---

1. 刘有用,张江梅,王坤朋,冯兴华,杨秀洪.不平衡数据集下的水下目标快速识别方法[J].计算机工程与应用,2020,56(17):236-242. ↩︎

2. 孟莹莹. 基于GAN的低质视频增强与目标检测算法研究[D].北京交通大学,2019. ↩︎

3. 陈国炜,刘磊,郭嘉逸,潘宗序,胡文龙.基于生成对抗网络的半监督遥感图像飞机检测[J].中国科学院大学学报,2020,37(04):539-546. ↩︎

4. 高守义. 基于GAN的海面目标图像生成和效果评价[D].西安工业大学,2020. ↩︎