【生成模型】视频生成论文调研

工作清单

上游应用方向：控制、速度、时长、高动态、多主体驱动

类型		工作
基础模型		WAN / WAN-VACE / HunyuanVideo
控制条件	轨迹控制	ATI
~	镜头控制	ReCamMaster
~	多主体驱动	Phantom
~	音频驱动	Let Them Talk: Audio-Driven Multi-Person Conversational Video Generation
速度/存储优化		FramePack
基础模型上限提升	长视频生成
~	效果难点动作幅度

基础模型leadboard：Vbench

论文集：

• github Awesome-Video-Diffusion
• github awesome-video-generation
• github Awesome-Controllable-Video-Generation

参考技术

1. 少样本Lora：
   • 因为基模的能力足够强，因此lora微调不需要太多数据就有70～80分的效果。
   • 基模不是做不到，而是需要调整通用的输出分布为专用的输出分布，提高专用分布输出的概率、或者精细控制的程度、或者减少某些情况出现的概率（比如畸形）
   • 这些并不需要很多的样本，只需要一些能从预训练权重的平滑过渡的技巧。

问题

当前模型存在的问题：
1.人像动作畸形，动作幅度越大，畸形概率越高；
a.投影透视比例不正确（比如手指接近垂直镜头时，手指应当会变短，但实际没有这样）
2.Wan 1.3B比14B的模型在分辨率上差很多，同时细节清晰度也弱很多；
3.视频生成标准是5s的，如何扩展成更高维度的，即视频延展； FramePack
4.一致性保持：运动越大，一致性保持越差，而且需要看具体的业务需求对商品的变动服务多大程度上能接受；
5.给视频配口播、配音效需要卡点，例如当人物产生某个动作的时候，口播往往是重音等；
6.速度提升；
7.视频超分，速度更快；
8.动作过大，势必会降低模型的泛用性；

哪些会随着数据的收集，基模的scaling law被解决？哪些是基模单纯通过数据scale无法解决的。