Follow Your Pose: Pose-Guided Text-to-Video Generation using Pose-Free Videos

• 清华深&港科&深先进&Tencent AAAI24
• https://github.com/mayuelala/FollowYourPose

1. 问题引入

• 本文的任务是根据文本来生成高质量的角色视频，并且可以通过pose来控制任务的姿势；
• 当前缺少video-pose caption数据集，所以提出一个两阶段的训练，可以利用image-pose数据和pose free video数据；
• 第一阶段首先使用pose-image pair来训练pose encoder，第二阶段使用pose free video来训练时序模块；

2. methods
   

• 将任务分解为两个子问题，首先image-pose pair数据来实现pose控制，视频数据来实现帧间的一致性；
• 训练阶段1Pose-Controllable Text-to-Image Generation：pose encoder模块$E_p$
• 训练阶段2Video Generation via Pose-free Videos：时序模块；

3. 实验

• Laion-Pose训练第一阶段，HDVILA第二阶段；