腾讯开源人像照片生成视频模型V-Express

网址

• https://github.com/tencent-ailab/V-Express

下面是github里的翻译：

在人像视频生成领域，使用单张图像生成人像视频变得越来越普遍。一种常见的方法是利用生成模型来增强受控发电的适配器。

但是，控制信号的强度可能会有所不同，包括文本、音频、图像参考、姿势、深度图等。其中，较弱的条件往往由于较强条件的干扰而难以有效，这对平衡这些条件构成了挑战。

在人像视频生成方面，我们发现音频信号特别弱，经常被姿势和原始图像等较强的信号所掩盖。然而，使用弱信号进行直接训练往往会导致收敛困难。

为了解决这个问题，我们提出了V-Express，这是一种简单的方法，通过一系列渐进式丢弃操作来平衡不同的控制信号。

我们的方法逐渐实现了弱条件下的有效控制，从而实现了同时考虑姿势、输入图像和音频的生成能力。