【深度学习】实验7布置，图像超分辨

清华大学驭风计划

因为篇幅原因实验答案分开上传，

实验答案链接http://t.csdnimg.cn/P1yJF

如果需要更详细的实验报告或者代码可以私聊博主

有任何疑问或者问题，也欢迎私信博主，大家可以相互讨论交流哟~~

深度学习训练营

案例 7 ：图像超分辨

相关知识点：生成对抗网络、图像处理（ PIL ）和可视化（ matplotlib ）

1 任务和数据简介

本次案例将使用生成对抗网络来实现 4 倍图像超分辨任务，输入一张低分辨率图像，生成器会生成一张 4 倍超分辨率的图像，如图 1 所示。生成对抗网络选用 SRGAN 结构 [1] 。本案例训练集使用 DIV2K 数据集 [2] ，包含有 800 张 2K 左右高分辨率的图像和 800 张对应的低分辨率图像；测试集使用 DIV2K 验证集 [2] 、Set5、 Set14 、 B100 、 Urban100 五个数据集，分别包括高分辨率图像和对应的低分辨率图像。训练集和测试集中的所有低分辨图像都是由高分辨率图像下采样得到，下采样方法为使用 Matlab 中的 resize 函数， scale factor 为 0.25 ，其余为默认参数（双三次插值）。

图 1 图像超分辨任务

本案例使用 PSNR 与 SSIM 两个评价指标来衡量生成的高分辨率图像的质量，但指标的高低并不能直接反应图像质量的好坏，因此最终结果评价会加入人工评价，具体见第 4 部分的要求。

2 方法描述

模型结构

案例使用 [1] 中提出的 SRGAN 结构，生成器和判别器的结构与原论文保持一致，本案例要求自行实现 SRGAN 网络结构。

内容损失函数

对抗损失函数

3 参考程序及使用说明

本案例提供了部分代码供使用，各程序简介如下：

create_data_lists.py : 下载好训练集和测试集后，根据提供的数据集地址来生成案例训练测试所需要的 csv 文件。

datasets.py : 定义符合 pytorch 标准的 Dataset 类，供读入数据，注意训练阶段每张图片采样了 100 个 patch 来扩充训练集。

imresize.py : 用 python 实现了 matlab resize 函数，用于图像下采样。目前

python 第三方包中尚未有能得到与 matlab resize 函数一样结果的函数。

solver.py : 定义了一个 epoch 的训练过程。

models.py : 定义 SRGAN 模型结构，需要自行实现。

train.ipynb : 用于训练的 jupyter 文件，其中超参数需要自行调节，训练过程中可以看到模型损失的变化，每个 epoch 训练后都会进行模型保存。

test.ipynb : 加载指定的训练好的模型文件，在 5 个测试集上进行测试，计算并报告各个数据集上的 PSNR 和 SSIM 指标数值。

super_resolution.ipynb : 加载指定的训练好的模型文件，针对单个图片进行 4倍超分辨，并对结果进行可视化。

utils.py : 定义了一些可能会用到的函数，如图像数值格式转换等。

环境要求： python 包 pytorch, torchvision, numpy, csv, PIL, matplotlib, easydict ，tqdm 等。

使用说明：

1) 下载训练集和测试集 [5] ，更改 create_data_lists.py 中数据集存放的位置，指定输出文件夹，运行该文件生成案例所需的 csv 文件； 2) 按照 SRGAN 网络结构完成 models.py ；

3) 运行 train.ipynb 训练网络，现在的训练模式为初始化生成器和判别器后，对生成器和判别器进行交替更新。这样的训练模式只能得到一个表现很差的模型。案例要求自行设计训练模式，如加入生成器的预训练等[4] ，更改 solver.py 和 train.ipynb 训练出一个性能好的模型；

4) 运行 test.ipynb 对训练的模型进行测试，现在是对 5 个测试集进行 PSNR和 SSIM 的计算。其中包含了 DIV2K 数据集中的验证集，这个验证集也可以作为训练时用于调整参数的验证集（如需验证请自行修改 train.ipynb实现，不做要求）；

5) 模型训练好之后运行 super_resolution.ipynb 生成供人工测评的图片。

4 要求与建议

 完成 models.py 文件 ，可参考原论文 [1] ；

 调节 train.ipynb 中的超参数，使网络结构与原论文保持一致。运行 train.ipynb使案例可以跑通基础模式的训练；

 设计生成器和判别器的训练方式 ，可参考 [4] 中的训练方式，修改 solver.py 和train.ipynb 训练出性能更好的模型；

 运行 test.ipynb 对模型在 5 个测试集上进行测试，记录 PSNR 与 SSIM 结果；

 运行 super_resolution.ipynb ，为 Set5 测试集 中的每一张低分辨图片生成相应的高分辨图片，保留结果供人工评价 ；

 完成一个实验报告，内容包括生成器和判别器的训练方式说明、模型最佳参数和对应的测试集结果、Set5 测试集图片生成结果、自己所做的尝试和改进；

5 参考材料

[1] Ledig, Christian, et al. "Photo-realistic single image super-resolution using a generative adversarial network." Proceedings of the IEEE conference on computervision and pattern recognition. 2017. https://arxiv.org/abs/1609.04802

[2] https://data.vision.ee.ethz.ch/cvl/DIV2K/

[3] https://zhuanlan.zhihu.com/p/50757421

[4] https://github.com/tensorlayer/srgan

[5] 数据集下载链接

训练集： http://data.vision.ee.ethz.ch/cvl/DIV2K/DIV2K_train_HR.zip http://data.vision.ee.ethz.ch/cvl/DIV2K/DIV2K_train_LR_bicubic_X4.zip

测试集： http://data.vision.ee.ethz.ch/cvl/DIV2K/DIV2K_valid_HR.zip

http://data.vision.ee.ethz.ch/cvl/DIV2K/DIV2K_valid_LR_bicubic_X4.zip

https://cloud.tsinghua.edu.cn/d/d97daf4c4b394abf86ec/