Open AI — Sora 如何发挥其魔力 — 近距离观察该技术

OpenAI 的大模型 Sora 可以制作一整分钟的高质量视频。他们的工作成果表明，使视频生成模型更大是为现实世界创建多功能模拟器的好方法。Sora 是一种灵活的可视化数据模型。它可以创建不同长度、形状和大小的视频和图片，甚至可以创建长达一分钟的高清视频。我阅读了 OpenAI 的 SORA 技术报告，让每个人都更容易理解。让我们开始吧！

大型语言模型 （LLM） 的灵感：

• 灵感来源：该方法的灵感来自大型语言模型，这些模型通过对大量互联网规模数据的训练来实现通才功能。
• 法学硕士范式：以 LLM 为例的大型语言模型之所以成功，部分原因是使用了标记。标记作为各种文本模式的统一表示，包括代码、数学和各种自然语言。

训练：

Sora 的训练涉及视频压缩、时空潜伏补丁的提取以及缩放变压器以生成视频。让我们分解每个部分：

视频压缩网络：

• 输入：原始视频片段。