part1:sora技术

1.Sora能力边界探索

        从sora的视频合集里看到了多段视频，假如我不知道这是sora视频合计，估计我第一反应并不是AI生成了这些视频，可以说在我这里通过了图灵测试😊。

        在视频合集里还有同一场景的多角度/镜头的生成能力，让我想起了我曾经学习3d建模的时光（大学时曾经学习过一段时间的maya做3d建模），在制作动画中也会切换不同视角，估计sora训练数据里有一些3d建模的素材，不然很难输出同一场景的多镜头的视频。

        sora还可以支持任意分辨率，宽高比的视频输出，从视频截图里还可以看到无论什么分辨率，视频的主题（乌龟）都能恰好出现在视频比较中间的位置，我想是不是sora生成的原始视频是一个比较大的场景，然后根据不同分辨率宽高比需求，然后像拍电影一样调整成自己想要的宽高比，聚焦主角，当然这样可能会造成算力浪费，当时如果是这样实现的会感觉很有趣😄。

        sora生成的玻璃杯掉到桌子上后没有碎，这种看起来是sora的缺点，并不能很好模拟出真实世界的物理规律，但是我觉得sora团队能公开这种看似失败的视频，证明他们已经想好了解决方案在改进中了，可能到了sora2.0发布的时候，这个视频还会再次出现，只不过标题是sora2.0和sora1.0的对比。

2.Sora模型训练流程，关键技术拆解

        通过原始视频数据切分为 Patches通过 VAE 编码器压缩成低维空间表示，通过原始视频数据切分为 Patches通过 VAE 编码器压缩成低维空间表示，基于 Diffusion Transformer完成从文本语义到图像语义的再映射，DiT 生成的低维空间表示，通过 VAE 解码器恢复成像素级的视频数据。这里的技术名词还有些陌生，但是从描述中能了解到sora也是需要将复杂的东西分解成简单的东西，然后做训练，再生成简单的东西，再输出复杂的内容。

3.个人的思考与总结

        本次学习了解到了最新的sora视频能里有多强，期待进一步的技术学习及代码实践，AI时代跟上时代的脚步。