WonderWorld：斯坦福与 MIT 联手打造实时交互生成图像，单图秒变 3D 虚拟世界

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

---

🚀 快速阅读

1. WonderWorld 是从单张图片生成多样化 3D 场景的创新框架。
2. 用户可通过文本和相机移动实时交互，生成连贯的虚拟世界。
3. 基于 FLAGS 表示法和引导深度扩散技术，生成速度极快，应用广泛。

正文

WonderWorld 是什么

WonderWorld 是斯坦福大学和麻省理工学院共同推出的创新性 3D 场景生成框架，能从单张图片快速生成多样化且连贯的 3D 虚拟世界。基于核心的 Fast LAyered Gaussian Surfels (FLAGS)表示法和引导深度扩散技术，框架在不到 10 秒的时间内完成场景的生成，极大地提高 3D 场景创建的速度，保证新旧场景之间的几何一致性。用户实时地用文本指令和相机移动交互式地塑造和探索虚拟环境，让 WonderWorld 在游戏开发、虚拟现实和创意设计等领域具有广泛的应用潜力。

WonderWorld 的主要功能

• 快速 3D 场景生成：从单张图片快速生成 3D 场景，用户能实时渲染和探索。
• 交互式控制：用户基于移动相机和输入文本提示指定生成场景的内容和位置。
• 多样化场景创建：支持生成具有不同风格和元素的 3D 场景，如城市、自然、幻想等。
• 实时用户交互：在实时渲染的同时，支持用户与生成的场景进行互动，如移动和旋转视角。
• 连贯场景连接：新生成的场景能与现有场景在几何上保持连贯，形成统一的虚拟世界。
• 用户驱动的内容创作：用户根据自己的想象和需求，创造出个性化的虚拟环境。

WonderWorld 的技术原理

• Fast LAyered Gaussian Surfels (FLAGS)：新颖的场景表示方法，用分层设计和基于几何的初始化加速场景的生成和优化。
• 单视图层生成：用文本引导的扩散模型和单视图图像来生成场景图像，用分层方法填补场景中的遮挡区域。
• 基于几何的初始化：基于估算单目相机的法线和深度信息，快速初始化场景中每个层的几何参数，减少优化时间。
• 引导深度扩散：一种训练自由的方法，用部分可见的深度信息引导深度估计，生成与现有场景几何一致的新场景。
• 实时渲染：在用户交互过程中，能实时渲染相机移动和文本提示生成的场景，提供流畅的用户体验。

WonderWorld 官方演示

演示视频请到公众号对应文章查看。

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

如何运行 WonderWorld

目前 WonderWorld 的代码尚未公开，但可以通过以下方式进行初步体验：

1. 访问WonderWorld 官网。
2. 根据官网提供的示例和指南，了解如何通过文本和相机移动进行交互。
3. 等待代码开源后，可以进一步学习和使用其背后的技术。

资源

• 项目官网：kovenyu.com/wonderworld
• arXiv 技术论文：arxiv.org/pdf/2406.09394

---

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦