CVPR 2026 Oral｜横扫室内3D场景！港科大提出LegoOcc：刷新单目开放词汇占据预测SOTA

点击下方卡片关注“CVer”公众号AI/CV重磅干货第一时间送达点击进入—【顶会/顶刊】投稿交流群添加微信号CVer2233小助手拉你进群扫描下方二维码加入CVer学术星球可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料及应用发论文/搞科研/涨薪强烈推荐转载自机器之心在具身智能研究中如何让智能体精准理解周围环境的精细几何结构与开放语义信息始终是具身感知的核心难题。近年来语义占据预测Semantic Occupancy Prediction 将稠密几何与语义信息统一到三维体素网格中用于构建 3D 语义占据地图为机器人的空间推理、导航与交互操作提供了场景表达基础。然而现有方法大多建立在封闭词汇Closed-vocabulary 设定下模型只能识别训练阶段预先定义好的有限类别。一旦进入真实环境场景中的语义往往是开放且长尾的 —— 用户可能会直接问「鞋子在哪儿」「纸巾在哪儿」「遥控器在哪儿」 对于传统占据预测方法而言超出预定义类别的目标几乎无法被正确识别。面对「一个带条纹的马克杯」「一把破损的木椅」这类更细粒度、描述性更强的目标时封闭词汇模型往往无能为力。近期香港科技大学广州陈昶昊教授团队联合香港中文大学深圳 研究者提出了 LegoOcc首次面向具身场景实现了单目开放词汇三维占据预测。该工作被 CVPR 2026 收录为 Oral大会口头报告。LegoOcc 以语言嵌入高斯Language-embedded Gaussians 作为统一的三维表示在仅使用几何标签二值占据标签 训练的情况下便能支持任意文本描述的目标类别查询实现开放词汇的三维语义占据预测。在 Occ-ScanNet 数据集上LegoOcc 取得了 21.05 mIoU 和 59.50 IoU 的开放词汇预测结果相比此前最强的开放词汇模型mIoU 提升超过 2 倍同时其整体几何占据预测精度也超越了多种封闭词汇方法展现出极强的性能与泛化能力。论文标题Monocular Open Vocabulary Occupancy Prediction for Indoor Scenes论文地址https://arxiv.org/abs/2602.22667为什么具身场景的开放语义占据预测更困难传统的占据预测模型像仅仅背过单词书只能认出学过的词汇类别而开放词汇模型则掌握了语言能力无论遇到什么新物体都能根据文本描述进行推理。下图展示了这一差异封闭词汇模型 - 只能识别「椅子」「桌子」等训练时见过的类别。开放词汇模型LegoOcc- 可以响应任意自然语言查询如「鞋子」「纸」等未定义物体并生成对应区域的热力图。Figure 1 闭集 vs 开集 3D 占据预测此外室内具身环境与户外车辆驾驶场景也有不同室内场景的几何更稠密、结构更复杂有大量的细小物体以及遮挡对几何建模的精细度要求高。室内场景的物体类别繁多、细粒度要求更高且分布不均衡很多类别在训练数据中只出现寥寥几次。因此直接将室外开放词汇占据预测模型迁移到室内会出现性能下降已有的少数室内占据预测方法仍然依赖固定基类模型无法支持开放词汇类别推理。LegoOCC 框架介绍Figure 2 LegoOcc 整体算法框架LegoOcc 将问题拆解为两部分几何学习决定空间里哪里「被占据」语义学习决定这些被占据区域「是什么」。为实现开放词表场景表达LegoOcc 采用语言嵌入高斯LE-Gaussians 作为统一的中间表示每个高斯同时携带几何参数位置、协方差、不透明度与一个语言对齐的语义嵌入。1从单目图像生成语言嵌入的 3D 高斯给定输入图像LegoOcc 首先通过前馈网络预测一组三维高斯这里的每个高斯不仅包含位置、尺度、协方差和不透明度等几何参数还携带一个与语言空间对齐的语义嵌入。LegoOcc 模型避免在几何分支和语义分支中使用两套独立表示而是让同一组高斯同时服务于几何建模和开放词汇语义建模。由此「空间哪里有东西」和「这个东西是什么」就被统一到了同一个场景表示框架中。2泊松视角的高斯到占据转换在仅有二值占据监督的设定下进一步研究如何将高斯表示稳定地聚合为体素占据结果。现有方法在这一环节易出现训练不稳定原因在于二维渲染时使用了基于不透明度的 α 混合但三维占据聚合时却可能忽略不透明度信息导致二维渲染监督与三维占据监督之间存在优化冲突。为此LegoOcc 提出了基于泊松过程的高斯到占据转换Poisson-based Gaussian-to-Occupancy, G2O将每个高斯在某个体素位置的有效贡献视作泊松事件强度并将「该位置是否被占据」解释为「至少发生一次事件」的概率。相比伯努利并集式聚合基于泊松过程的建模方式在弱监督条件下更稳定也不容易退化到无效的不透明度分配从而提升了模型几何学习阶段的稳定性与可优化性。3渐进温度衰减减少沿光线的特征混合在语义学习部分LegoOcc 采用高斯泼溅将三维高斯的语义特征微渲染到图像平面再与一个无需训练的开放词汇分割模型文中采用 Trident输出的图像特征进行余弦相似度对齐。由于 α 混合会让每个像素特征成为沿光线多个高斯嵌入的加权混合然而室内场景对象密集、投影重叠多易导致监督信号鼓励「混合后的特征」对齐语言而不是每个高斯本身对齐语言。因此提出了渐进温度衰减Progressive Temperature Decay 用带温度的 sigmoid 函数控制不透明度并在训练中把温度从较高逐步退火到低使不透明度逐渐变尖锐减少了沿光线的特征混合同时又保留连续梯度区别于硬 Top‑k 的离散选择提升语言监督落到单个高斯上的精度增强了模型在开放词汇语义理解中的判别能力。实验结果论文从定量实验、消融实验和可视化结果三个方面验证了提出的 LegoOcc 模型有效性LegoOcc 在开放语义占据预测、三维几何占据预测和推理效率上都展现出了明显优势。1开放词汇设定下 mIoU 超过此前最佳方法 2 倍论文展示了闭集评测和开放词汇评测两种设定下的定量实验结果。在闭集评测中LegoOcc 在 Occ-ScanNet 的 11 个固定类别上预测与真实标签更为一致几何准确、语义泛化能力强。在开放词汇评测中由视觉语言模型自动抽取名词作为文本查询如「鞋子」「洗手池」模型生成对应类别的三维语义占据结果实现文本驱动的任意语义类别定位。在 Occ-ScanNet 数据集上LegoOcc 在开放词汇设定下取得了 21.05 mIoU 和 59.50 IoU 的结果。相比此前表现最好的开放词汇方法 LOccLegoOcc 的 mIoU 提升了 11.80 个点超过 2 倍整体 IoU 提升了 22.80 个点。LegoOcc 的 59.50 IoU 不仅领先开放词汇方法甚至还超过了表中所有封闭词汇模型的最佳整体 IoU。2Poisson 聚合的作用验证本工作对提出的泊松式高斯到占据转换Poisson-based G2O进行了消融实验。在开放词汇设定下当使用 GaussianFormer2 风格聚合时结果几乎退化到 0.00 mIoU / 0.00 IoU当使用 Bernoulli 聚合时性能恢复到 17.25 mIoU / 46.65 IoU当使用 Poisson 聚合时性能进一步提升到 21.05 mIoU / 59.50 IoU。这表明引入 Poisson 聚合能够让模型在仅有几何监督条件下稳定训练、有效学习。3渐进温度衰减缓解特征混合问题本文对温度控制策略进行了消融实验若训练和测试都固定高温虽然几何 IoU 尚可但 mIoU 明显偏低说明语义学习仍受特征混合影响若训练时用高温、测试时突然切换到低温则会出现训练测试不匹配Train-test Mismatch若从训练一开始就使用低温则优化会困难甚至直接退化当采用渐进温度衰减模型能够兼顾训练稳定性与最终语义判别性取得最佳结果。4推理速度具备优势更适合机器人平台部署在单张 RTX 4090 上LegoOcc 的推理速度达到了 22.47 FPS明显快于多种对比方法。相比于自动驾驶等场景机器人平台对推理速度和轻量化计算要求更高因此 LegoOcc 更适用于具身机器人平台。5可视化结果1. 闭集评测结果在 Occ-ScanNet 的固定类别评测中LegoOcc 的预测结果与真实标签更为一致几何和语义预测能力强。a) 输入图像b) 真实标签cLOcc对比方法d提出的 LegoOcc。图 3 Occ-ScanNet 闭集测试结果Closed-vocabulary Results on Occ-ScanNet2. 开放词汇测试结果进一步使用视觉语言模型Vision-language Model自动从场景中提取名词作为文本查询例如「鞋子」「洗手池」「显示器」等并让模型生成对应类别的三维语义占据预测结果。LegoOcc 不局限于训练时给定的固定类别能够根据自然语言描述进行三维空间中的目标识别实现了文本驱动的开放词汇三维查询。图 4 开放词汇测试结果Open-vocabulary Results展望与意义面向具身室内场景本文提出 LegoOcc 一种单目开放语义占据预测框架采用语言嵌入的高斯统一表达几何与语义场景信息。几何侧以泊松聚合稳定弱监督训练语义侧用渐进温度退火削弱特征混合模型在无需体素语义标注的前提下实现了文本驱动的三维语义占据预测。未来的家用机器人能够高效地将三维场景表达为体素网格只需一句「帮我找一下茶几上的遥控器」即可在复杂空间中精准定位目标物体而无需预先「学习」过遥控器这一类别。作者介绍周常青香港科技大学广州博士生致力于高效且稳定的三维场景理解方法研究当前重点关注端到端轨迹生成模型以及面向导航任务的高效世界模型构建。张涵香港科技大学广州红鸟硕士生专注探索高效可靠的三维场景理解方法现阶段重点探索三维视觉语义定位方法以及适配导航任务的高效世界模型构建。江泽宇香港科技大学广州博士生主要研究方向为高效的空间物理智能体专注于将通用空间智能注入现实开放环境的具身应用场景。陈昶昊通讯作者香港科技大学广州智能交通学域和人工智能学域助理教授博士生导师香港科技大学跨学科学院联署助理教授从事具身智能感知、导航与交互研究组建港科大广州PEAK-Lab 课题组并担任独立 PI。本文系学术转载如有侵权请联系CVer小助手删文何恺明在MIT授课的课件PPT下载在CVer公众号后台回复何恺明即可下载566页课件PPT大家赶紧学起来CVPR 2026 所有论文和代码下载在CVer公众号后台回复CVPR2026即可下载CVPR 2026 所有论文和代码CV垂直方向和论文投稿交流群成立扫描下方二维码或者添加微信号CVer2233即可添加CVer小助手微信便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖目标检测、图像分割、目标跟踪、人脸检测识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注研究方向地点学校/公司昵称如Mamba、多模态学习或者论文投稿上海上交卡卡根据格式备注可更快被通过且邀请进群▲扫码或加微信号: CVer2233进交流群 CVer计算机视觉知识星球人数破万如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料一定要扫描下方二维码加入CVer知识星球最强助力你的科研和工作 ▲扫码加入星球学习▲点击上方卡片关注CVer公众号 整理不易请点赞和在看