华东师范联手上海AI实验室：把真实房间“复制“进Minecraft，AI导航机器人就此诞生

这项由华东师范大学计算机科学与技术学院联合上海人工智能实验室、上海创新研究院共同完成的研究于2026年发表在国际顶级机器学习会议ICLR 2026第十四届国际学习表征会议上论文编号为arXiv:2604.27578v1感兴趣的读者可通过该编号检索完整原文。你有没有想过如果能把自己家的客厅原封不动地复制进一个游戏世界然后让AI机器人在里面练习帮你拿东西、带你找冰箱会是什么感觉这听起来像科幻情节但这支研究团队正是做了类似的事情。他们开发了一个叫做**World2Minecraft**的系统能够把真实世界的室内场景自动转换成Minecraft我的世界游戏里的虚拟环境然后让AI在这个虚拟世界里学习导航和执行任务。这件事之所以重要根本原因在于训练会走路、会认路、会理解人类语言指令的AI机器人需要大量练习场地。现实世界的场地太贵、太危险、太难控制而现有的模拟环境要么是数据来自真实扫描导致场景信息泄露、无法灵活修改要么是Minecraft这种沙盒游戏的积木式画面和现实世界差距太大让AI练完就废——在游戏里学会的技能放到现实中一点都不管用。这支团队希望找到一条中间路既有游戏世界的灵活可编辑性又能尽可能贴近真实场景的视觉效果。一、真实世界如何变成Minecraft积木世界要把一个真实房间搬进游戏最大的挑战是现实世界是连续的、模糊的而Minecraft的世界是由一个个1立方米的方块整整齐齐堆起来的就像用乐高积木重建了整个宇宙。两种语言之间的翻译工作就是这项研究的核心。研究团队选择了一种叫做三维语义占用预测的技术作为桥梁。可以把它理解为给AI看一张或多张普通的相机照片AI需要在脑子里构建出一个三维网格网格里的每一个格子都被标上标签——这里是椅子、那里是桌子、这块是地板、那片是空气。当这张三维标注网格建好之后和Minecraft的方块世界几乎就是天然对应关系每个网格格子对应游戏里的一个方块。具体流程分两步走。第一步AI针对每一张输入的照片单独生成一份三维语义占用图记录这张照片视角下空间的布局。第二步由于拍摄一个房间需要多张照片系统会利用每张照片的相机位置和朝向信息把所有单张照片生成的三维图拼合成一张完整的房间全局图就像把多张地图碎片拼成一张完整地图一样。拼完整体图之后还需要处理一个关键问题识别出每件家具在哪里以便精确地在Minecraft里摆放对应的方块模型。系统首先计算每个区域的密度——如果某个区域被标记为有物体的格子特别集中那这里很可能是一件家具的位置。然后用一种叫DBSCAN的聚类算法把密集的点群各自归拢成一个中心点每个中心点代表一件独立的家具。为了保证摆放的家具形状准确系统还会从一个预设的家具模板库里挑选最合适的形状并通过旋转比较找到摆放方向最吻合的方案再转化成Minecraft的建造指令一条条执行。整个过程完全自动化生成的场景可以直接在游戏里加载使用而且任何细节都可以手动修改——毕竟Minecraft本来就是个随意搭建的世界。研究团队还开发了一个叫SceneForge的可视化编辑工具让使用者能在网页上直接以三维视角查看和调整AI生成的房间布局用鼠标拖动家具位置、删除漂浮的多余方块、拆分错误合并的物体操作非常直观。实验结果显示自动重建出来的场景从多个视角与真实照片对比布局和物体位置的一致性都相当高。研究团队还做了横向比较与同类根据文字描述生成室内场景的方法相比World2Minecraft在语义完整度0.913对比最高竞品的0.884、视觉真实度6.145分最高竞品为6.001分、出界率仅0.024和物体碰撞次数仅0.2次等各项指标上均表现最优。这意味着用占用预测来做场景重建比用语言描述去生成场景不仅更贴近真实而且物体摆放更合理、更精确。此外研究团队还对比了从零手工搭建场景与使用World2Minecraft自动重建再手动微调两种方式的效率。结果非常直观手工从零搭建一个场景平均需要482秒、340次操作而使用World2Minecraft自动生成后只需微调全程平均仅需70秒、24.5次操作效率提升约7倍操作次数减少约14倍。这种微调主要是删除漂浮的小方块、补全少数缺口、调整家具朝向三类简单工作。二、在Minecraft里教AI认路MinecraftVLN数据集场景搭好只是第一步。这支研究团队真正想做的是让AI在这些场景里学会按照人类语言指令找路这项任务在学术上叫视觉语言导航可以简单理解为给AI看一段文字指令比如从你现在的位置穿过大门去客厅找冰箱AI需要一步步移动最终到达目标。为此研究团队专门构建了一个叫做MinecraftVLN的数据集。具体做法是让一个角色在场景里四处走动拍摄同时记录下每一步的位置坐标和朝向角度。然后把这些连续录像切分成有意义的导航片段让人类标注者为每段轨迹写下详细的文字描述形成指令—路径配对。最终利用问答模板自动生成了3801条训练样本。这个数据集包含两类任务。第一类叫Next-View预测下一个视角任务是AI看到历史上走过的三张画面以及一段导航指令需要猜出下一步应该看到什么画面。第二类叫Next-Action预测下一步动作任务是AI看到当前视角的画面和导航指令需要从向前走、向左转、向右转、停止四个选项里选出正确的下一步动作。数据集分三个版本Base版来自15个经过手动精修的真实场景重建共1059条样本指令相对简短平均约79-87个字符Extend版来自5个Minecraft社区创作的大型场景共2483条样本指令更加复杂丰富平均长达171-173个字符Combined版将两者合并共3542条样本覆盖了更广泛的场景和指令多样性。研究团队在这个数据集上训练了两个规模的视觉语言大模型分别是Qwen2.5-VL-3B约30亿参数和Qwen2.5-VL-7B约70亿参数并分别测试了不经训练直接使用、监督微调SFT和强化微调RFT三种方式的效果。结果呈现出一些有意思的规律。在没有训练的情况下较大的7B模型确实比3B模型表现更好。经过训练后两种微调方式都能显著提升性能。然而最优策略因任务和数据集而异对于需要理解多张历史图片的预测下一视角任务监督微调对小模型更有效但随着模型规模增大两种方式的差距缩小对于预测下一动作任务在场景较简单的Base数据集上监督微调更优但在更复杂多样的Extend和Combined数据集上强化微调反而更占优势。这表明强化学习方式训练出来的AI在面对陌生、复杂场景时泛化能力更强。研究团队还做了一个很直观的演示用谷歌最新的Gemini-2.5-Pro大模型直接控制一个Minecraft角色跟随去找钢琴这条指令在重建的真实场景里一步步走到目标位置。整个过程完全成功验证了这套系统在实际使用中的可行性。三、给AI考试的新题库MinecraftOcc数据集在做World2Minecraft的过程中研究团队发现了一个更深层的问题整个系统的效果瓶颈在于三维语义占用预测的准确度。而目前这个领域的AI模型之所以不够准确根本原因是训练数据太少、太单一导致模型在见到不熟悉的场景时表现急剧下降。现有的主流训练数据集存在几个共同缺陷数据量少NYUv2只有1449张图OccScanNet有65119张场景种类有限图像质量受限于真实扫描仪的噪声而且制作成本极高——需要人工标注每一张图的三维语义信息耗时费力。研究团队想到了一个独特的解法既然Minecraft本身就是一个精确已知每个方块坐标和类型的虚拟世界何不直接在游戏里自动生成带标注的数据于是他们开发了一套全自动的数据采集流水线借助Minecraft的WorldEdit模组和自定义的Screen with Coordinates工具实现了走到哪数据就自动生成到哪。具体来说游戏角色在场景里行走时系统同步记录每一帧的截图、角色坐标和朝向角度根据这些信息自动计算出当前视角对应的三维空间范围再调用WorldEdit直接查询地图数据把这片空间里每个坐标对应的方块类型全部读出来就得到了完美精确的三维语义标注——完全不需要人工参与。为了让数据更贴近真实情况研究团队在场景里启用了物理渲染、动态光照和高清材质包让游戏画面的视觉质量尽量接近真实照片从而减少在游戏里训练、在现实里用时的效果落差。此外他们还专门处理了一个游戏世界特有的技术问题当角色朝对角线方向看时比如朝45度角方向由于Minecraft方块的离散特性视野边缘会丢失大量方块数据导致标注不完整。研究团队设计了一种视角感知补偿策略通过对视野边界坐标做微小偏移让标注范围更准确地覆盖角色实际能看到的空间解决了这个问题。最终生成的MinecraftOcc数据集规模非常可观100165张高分辨率图像1920×1129像素来自156个精心设计的室内场景涵盖约1000个房间覆盖1452种语义类别总语义体素数量超过7.3亿。与之对比NYUv2的总语义体素数量只有约1079万OccScanNet约为2.01亿——MinecraftOcc的数据密度是前两者的数十倍。图像质量的客观测量同样印证了这一点。用三个无参考图像质量指标评估时MinecraftOcc的自然图像质量评分NIQE为9.97远优于NYUv2的14.96和OccScanNet的17.63感知失真评分PIQE为45.23同样优于其他两个数据集图像清晰度指标拉普拉斯方差LV高达274305而OccScanNet仅为10352差距超过26倍。把四个主流三维语义占用预测模型MonoScene、NDC-Scene、ISO、Symphonies放到MinecraftOcc上测试结果普遍不理想——这些在现有数据集上表现不错的模型面对MinecraftOcc都出现了明显的性能下降。这说明MinecraftOcc确实构成了有效的泛化挑战能暴露出模型对特定数据集过拟合的问题。更重要的是MinecraftOcc不只是一道难题还是有用的补充营养。研究团队做了一个混合训练实验把MinecraftOcc的8000张子集和NYUv2的真实数据混合起来一起训练Symphonies模型在NYUv2测试集上的评估结果显示体素交并比IoU提升了0.43平均类别交并比mIoU提升了0.21。虽然数字看起来不大但这是在已有真实数据基础上的额外提升说明游戏生成的合成数据确实能为真实场景的模型训练提供有效补充。四、Minecraft背后的技术基础设施要让整个系统顺利运行还需要一套精心设计的技术底层。研究团队对Minecraft做了定制化改造主要引入了三个关键插件。WorldEdit提供了高效的场景批量生成和编辑能力同时能够直接访问地图底层数据读取任意坐标的方块类型。Screen with Coordinates则在游戏渲染的同时同步记录每一帧的玩家坐标和欧拉角即朝向角度让图像和相机参数自动配对。最核心的是TMEO材质与模型包它引入了超过1400种精细的语义标注物体模型——不再是抽象的木头或石头而是百叶窗、婴儿床、吊灯这样具体的生活物品并配合高分辨率的基于物理的渲染材质让场景画面质量大幅提升。为了将游戏内的虚拟相机参数精确对应到计算机视觉标准格式研究团队还推导了完整的相机内参和外参矩阵计算方法。相机内参焦距和主点位置由游戏视角FOV和图像分辨率决定相机外参旋转矩阵和平移向量由玩家的偏航角和俯仰角通过坐标系变换推导确保游戏坐标系和标准右手坐标系之间正确对齐。这套数学推导使得游戏采集的数据能够直接用于训练标准计算机视觉模型无需额外转换。另外为了提升标注精度研究团队还引入了视锥体剔除机制用相机投影矩阵把三维体素格逐一投影到图像平面只保留投影落在图像范围内的体素过滤掉相机实际上看不见的部分确保每张图的三维标注和实际视野严格对齐不引入额外噪声。---说到底World2Minecraft这项研究的价值可以从三个层次来理解。从工具层面看它提供了一条低成本、可扩展的路径把任何拍了照片的真实房间变成可以反复使用、任意修改的AI训练场地而且效率比手工搭建高出一个数量级。这对任何需要在室内场景里训练AI的研究团队都是实实在在的帮助。从数据层面看MinecraftOcc揭示了一个目前被低估的问题现有的三维语义占用预测模型可能比大家以为的泛化能力要差得多。当模型被放到一个和训练分布不同的场景里时性能会明显下滑。而像MinecraftOcc这样的合成数据恰好可以扮演泛化补丁的角色以极低的成本补充训练数据的多样性。从应用层面看MinecraftVLN数据集和在其上训练出来的导航能力为让AI在真实场景里听懂人话、找准路线这个目标提供了一个实验路径。Gemini-2.5-Pro成功在重建场景里找到钢琴这个小演示虽然离真正的家用机器人还有相当距离但证明了整个技术链条是可以端对端打通的。这项研究还留下了一些开放的问题值得进一步思考当三维语义占用预测的精度足够高时自动重建的场景质量能提升到什么程度在Minecraft里训练好的AI是否真的能在真实室内场景里直接使用还是依然需要额外的迁移学习合成数据的多样性提升最终能把模型的泛化天花板推高到哪里有兴趣深入了解的读者可以通过arXiv编号2604.27578查阅完整论文研究团队也承诺将公开完整代码和数据集方便后续研究者在此基础上继续探索。---QAQ1World2Minecraft是如何把真实房间转换成Minecraft场景的AWorld2Minecraft首先用AI对多张真实房间照片进行三维语义占用预测为每张照片生成一个带语义标签的三维体素网格再根据相机位置把多张网格拼合成完整的房间布局图然后通过密度计算和聚类算法找到每件家具的位置最后从家具模板库里匹配对应形状生成Minecraft建造指令自动搭建出场景。Q2MinecraftOcc数据集和其他数据集相比有什么优势AMinecraftOcc包含100165张高分辨率图像覆盖156个室内场景约1000个房间拥有1452种语义类别总语义体素数量超7.3亿远超NYUv2约1079万和OccScanNet约2.01亿。图像质量方面MinecraftOcc在清晰度、自然度和感知质量等指标上均优于现有数据集且制作成本极低完全自动化生成无需人工标注。Q3MinecraftVLN里的两个导航任务分别考验AI什么能力ANext-View任务考验AI根据历史行走画面和文字指令预测下一步应该看到什么侧重空间推理和视觉预测Next-Action任务则考验AI根据当前画面和指令判断下一步该做什么动作前进、左转、右转或停止更侧重即时决策能力。两个任务分别模拟了导航过程中的规划和执行两个环节。