TANGO - 数字人全身动作生成

---

一、关于 TANGO

TANGO 是 具有分层音频运动嵌入 和 扩散插值的共语音手势视频再现

由东京大学和 CyberAgent AI Lab 联合开发

• github : https://github.com/CyberAgentAILab/TANGO
• 官网：https://pantomatrix.github.io/TANGO/
• huggingface 试用： https://huggingface.co/spaces/H-Liu1997/TANGO
• paper : https://arxiv.org/abs/2410.04221
• YouTube : https://www.youtube.com/watch?v=_DfsA11puBc

---

参考文章：开源版Heygen！TANGO数字人，瞄准全身动作生成，本地部署实测
https://mp.weixin.qq.com/s/3br-2dP2GmrhqqHY4cbpmg

---

演示视频（YouTube）

https://youtu.be/xuhD_-tMH1w?si=Tr6jHAhOR1fxWIjb

---

📝发布计划

• AuMoClip和ACInterp的训练代码
• ACInterp的推理码
• 处理YouTube商业视频数据（非常小，约15分钟）
• 创建手势图的脚本
• 带有AuMoClip和预训练权重的推理码

---

二、⚒️安装

---

克隆存储库

git clone https://github.com/CyberAgentAILab/TANGO.git
cd TANGO
git clone https://github.com/justinjohn0306/Wav2Lip.git
git clone https://github.com/dajes/frame-interpolation-pytorch.git

---

构建环境

我们推荐一个python版本==3.9.20和cuda版本==11.8。然后构建环境如下：

# [Optional] Create a virtual env
conda create -n tango python==3.9.20
conda activate tango
# Install with pip:
pip install -r ./pre-requirements.txt
pip install -r ./requirements.txt

---

三、🚀训练和推理

---

1、推理

这是在路径<your root>/TANGO/下运行推理脚本的命令，生成两个8s vido大约需要3分钟。您可以通过直接检查视频或使用我们在EMAGE中的搅拌机插件通过搅拌机检查结果. npz文件来可视化。

第一次运行时将自动下载必要的检查点和预先计算的图表。请确保至少有35GB的磁盘空间可用。

python app.py

---

2、为自定义字符创建图形

python create_graph.py

---

2025-01-06（一）