fal.ai发布超分辨率模型——AuraSR V2

今天，我们发布了单步 GAN 升频器的第二个版本： AuraSR。

我们在上个月发布了 AuraSR v1，社区的反响让我们深受鼓舞，因此我们立即开始了新版本的训练。

AuraSR 基于 Adobe Gigagan 论文，以 lucidrain 的实现为起点。Gigagan 升频器是专门为生成的图像设计的，在训练过程中缺乏降级预处理。因此，Aura SR 无法对 JPG 压缩图像进行无伪影的升频。

我们看到社区中有人希望将 AuraSR 用于非生成图像，并进行大量不同类型的降解，因此我们在 v2 中加入了类似 ESRGAN 训练的降解过程。

此外，我们注意到，V1 版往往会添加过多细节。我们将这一问题归咎于训练数据和测试数据之间的不匹配。在训练 v1 时，我们会将较大的图像调整为 256 像素作为基本事实，并将低分辨率输入的图像再次调整为 64 像素。

然而，在推理过程中，V1 会将较大图像的 64 像素平铺放大。一小块图像的细节与整幅图像的细节存在明显差异。因此，在 v2 的训练中，我们使用 1024 像素图像的 256 像素平铺。这使得训练更接近推理过程中模型的使用方式。

我们做了最后一项改进，以解决推理过程中的接缝问题。出现接缝的原因是推理使用了不重叠的图块。对于某些图像来说，接缝并不明显，但对于许多图像来说，这却是一个大问题。我们更新了推理库 aura，使其包含一种新的推理方法 upscale_4x_overlapped，该方法使用重叠的瓷砖执行两次推理，并对结果求平均值以消除接缝。

放大图像的细节。从左到右依次为 AuraSR v1 未进行瓦片混合，接缝和伪影清晰可见；AuraSR v2 进行了瓦片混合；RealESRGAN_4xPlus。与 RealESRGAN 相比，AuraSR v2 能够保留更多野外图像的细节，而不会产生伪影。

Aura SR v2 采用与 v1 相同的架构，因此可以直接替换。该模型已在 Huggingface 上发布，并已部署到 fal 的 AuraSR 终端。

我们计划使用更高分辨率的图像、更多的人脸图像以及全新的架构来训练 v3。不过，在此之前，请享受 AuraSR v2！