当前位置： 首页 > news >正文

《OpenScene: 3D Scene Understanding with Open Vocabularies》阅读笔记1

news 2025/11/19 22:00:23

传统的3D场景理解方法依赖于带标签的3D数据集，用于训练一个模型以进行单一任务的监督学习。我们提出了OpenScene，一种替代方法，其中模型在CLIP特征空间中预测与文本和图像像素共同嵌入的3D场景点的密集特征。这种零样本方法实现了与任务无关的训练和开放词汇查询。例如，为了执行最先进的零样本 3D语义分割，它首先推断每个3D点的CLIP特征，然后根据与任意类别标签的嵌入的相似性对它们进行分类。更有趣的是，它实现了一系列以前从未实现过的开放词汇场景理解应用。例如，它允许用户输入任意文本查询，然后查看一个热图，指示场景的哪些部分匹配。我们的方法在复杂的3D场景中有效地识别对象、材料、功能、活动和房间类型，所有这些只使用一个模型进行训练，而无需任何带标签的3D数据。

1. Introduction

3D场景理解是计算机视觉中的一项基本任务。给定一个带有一组RGB图像的3D网格或点云，目标是推断每个3D点的语义、可视性、功能和物理属性。例如，给定图1所示的房子，我们想要预测哪些表面是风扇(语义)的一部分，由金属(材料)制成，在厨房(房间类型)内，人可以坐在哪里(可供性)，人可以在哪里工作(功能)，哪些表面是柔软的(物理性质)。这些问题的答案可以帮助机器人与场景进行智能交互，或者通过交互式查询和可视化帮助人们理解场景。

（图1：开放词

相关文章：

《OpenScene: 3D Scene Understanding with Open Vocabularies》阅读笔记1

传统的3D场景理解方法依赖于带标签的3D数据集，用于训练一个模型以进行单一任务的监督学习。我们提出了OpenScene，一种替代方法，其中模型在CLIP特征空间中预测与文本和图像像素共同嵌入的3D场景点的密集特征。这种零样本方法实现了与任务无关的训练和开放词汇查询。例如，为了…...

编程日记 2024/3/3 19:56:17

数据结构 - Trie树（字符串统计、最大异或对）

文章目录 前言Part 1：Trie字符串统计1.题目描述输入格式输出格式数据范围输入样例输出样例 2.算法 Part 2：最大异或对1.题目描述输入格式输出格式数据范围输入样例输出样例 2.算法 前言 本篇博客将介绍Trie树的常见应用，包括：Trie…...

编程日记 2024/3/3 19:55:16

2. vue 工程创建

1. 基于 vite创建 官方文档: https://v3.cn.vuejs.org/guide/installation.html#vite vite官网: https://vitejs.cn 使用vite创建的优势： 开发环境中，无需打包操作，可快速的冷启动。轻量快速的热重载(HMR)。真正的按需编译，不再…...

编程日记 2024/3/3 19:50:12

2024绿色能源、城市规划与环境国际会议(ICGESCE 2024)

2024绿色能源、城市规划与环境国际会议(ICGESCE 2024) 一、【会议简介】 随着全球气候变化和环境问题日益严重，绿色能源和可持续发展已成为全球关注的焦点。本次会议旨在汇聚全球在绿色能源、城市规划与环境领域的专家、学者和实践者，共同探讨和分享关于…...

编程日记 2024/3/3 19:49:11

0门槛电子画册制作

​电子画册制作，门槛低至零，也可以制作出如此精美的电子画册吗？别担心，这个问题早已解决，今天就教你如何0门槛制作电子画册。 选择合适的企业宣传册制作软件，如FLBOOK在线制作电子杂志平台等。这个工具提供…...

编程日记 2024/3/3 19:46:09

C语言----冒泡排序进阶

冒泡排序大家应该到写过吧。但大家可能知道到的冒泡排序有两种方法。而我呢，最近学习到了另外一种方法，现在知道三种方法了。所以想与大家分享一下。但是缺点是第三种是第二种的自实现版。第一种就是我们平常写的普通冒泡排序。第二种就是qsort。第三种就…...

编程日记 2024/3/3 19:45:07

【机器学习】实验5，AAAI 会议论文聚类分析

本次实验以AAAI 2014会议论文数据为基础，要求实现或调用无监督聚类算法，了解聚类方法。 任务介绍 每年国际上召开的大大小小学术会议不计其数，发表了非常多的论文。在计算机领域的一些大型学术会议上，一次就可以发表涉及各个方向…...

编程日记 2024/3/3 19:40:02

安卓虚拟机ART和Dalvik

目录 一、JVM和Dalvik1.1 基于栈的虚拟机字节码指令执行过程 1.2 基于寄存器的虚拟机 二、ART与Dalvikdex2aotAndroid N的运作方式 三、总结 一、JVM和Dalvik Android应用程序运行在Dalvik/ART虚拟机，并且每一个应用程序对应有一个单独的Dalvik虚拟机实例。 Dalvik…...

编程日记 2024/3/3 19:38:01

OPENWRT本地局域网模拟域名多IP

本地配置MINIO服务时，会遇到域名多IP的需求。当某一个节点失效时，可以通过域名访问平滑过渡到其它的节点继续服务。 【MINIO搭建过程略】 搭建完毕后，有4个节点，对应的docker搭建命令： docker run --nethost --rest…...

编程日记 2024/3/3 19:37:00

今日学习总结2024.3.2

最近的学习状态比较好，感觉非常享受知识进入脑子的过程，有点上头。 实验室一个星期唯一一天的假期周六，也就是今天，也完全不想放假出去玩啊，在实验室泡了一天。 很后悔之前胆小，没有提前投简历找实习&…...

编程日记 2024/3/3 19:33:57

Java虚拟机（JVM）从入门到实战【上】

Java虚拟机（JVM）从入门到实战【上】，涵盖类加载，双亲委派机制，垃圾回收器及算法等知识点，全系列6万字。 一、基础篇 P1 Java虚拟机导学课程 P2 初识JVM 什么是JVM Java Virtual Machine 是Java虚拟机。…...

编程日记 2024/3/3 19:32:56

SaaS 电商设计 (九) 动态化且易扩展的实现购物车底部弹层(附:一套普适的线上功能切量的发布方案)

目录 一.背景1.1 业务背景1.2 技术负债 二.技术目标三.方案设计3.1 解决移动端频繁发版3.1.1 场景分析3.1.2 技术方案 3.2 减少后端坏味道代码&无法灵活扩展问题3.2.1 通过抽象接口完成各自单独楼层渲染逻辑3.2.2 通过配置能力做到部分字段可配 四.升级上线(普适于高并发大…...

编程日记 2024/3/3 19:26:52

数据结构——lesson5栈和队列详解

hellohello~这里是土土数据结构学习笔记🥳🥳 💥个人主页：大耳朵土土垚的博客 💥 所属专栏：数据结构学习笔记 💥对于顺序表链表有疑问的都可以在上面数据结构的专栏进行学习哦~感谢大家的观看与…...

编程日记 2024/3/3 19:25:51

使用rsync同步服务器和客户端的文件夹

使用rsync同步服务器和客户端的文件夹 实现目的实验准备实验操作步骤服务器操作关闭防火墙和SELINUX安装rsync修改服务器配置文件/etc/rsync.conf创建服务器备份文件的目录创建rsync系统运行的用户修改备份文件的所有者和所属组创建rsync.passwd启动rsync服务并进行验证 客户端…...

编程日记 2024/3/3 19:24:50

计算机网络｜Socket

文章目录 Socket并发socket Socket Socket是一种工作在TCP/IP协议栈上的API。 端口用于区分不同应用，IP地址用于区分不同主机。 以下是某一个服务器的socket代码。 其中with是python中的一个语法糖，代表当代码块离开with时，自动对s进行销毁…...

编程日记 2024/3/3 19:23:47

Python 使用 MyHDL库 实现FPGA板卡仿真验证

要使用 Python 结合 MyHDL 库实现 FPGA 板卡的仿真验证，您可以利用 MyHDL 提供的硬件描述语言和仿真功能来进行 FPGA 设计的验证。下面我将为您介绍一个简单的示例，演示如何使用 MyHDL 库进行 FPGA 设计的仿真验证。 步骤概述 编写 MyHDL 硬件描述&…...

编程日记 2024/3/3 19:22:46

解决SpringBoot集成WebSocket打包失败问题

前言 这几天在一个SpringBoot项目中使用WebSocket来用作客服聊天以及上传文件功能,项目在写的时候,以及在idea中跑的时候都非常完美,结果一打成jar包是,报错.在网上查了报错原因,原来是自己导入的WebSocket的jar与SpringBoot内置tomcat中的WebSocket的jar冲突,需要在打包时把S…...

编程日记 2024/3/3 19:20:44

i-vista五星测试标准

智能行车板块以八类场景评测汽车的 单车道纵向控制能力、 单车道横向控制能力、 单车道纵横向组合控制能力及换道辅助能力， 8类场景包括目标车静止、目标车低速、目标车减速、前车切入（新增场景）、直道居中行驶、直道驶入弯道、盲区无车、盲…...

编程日记 2024/3/3 19:18:42

初识Maven

介绍： web后端开发技术ApacheMaven是一个项目管理和构建工具，它基于项目对象模型（POM）的概念，通过一小段描述信息来管理项目的构建。安装：http://maven.apache.org/ Apache软件基金会，成立于19…...

编程日记 2024/3/3 19:16:41

16 Educational Codeforces Round 142 (Rated for Div. 2)C. Min Max Sort（递归、思维、dp）

C. Min Max Sort 很不错的一道题目，不过脑电波和出题人每对上， q w q 。 qwq。 qwq。 正难则反。 我们考虑最后一步是怎么操作的。 最后一步一定是对 1 1 1和 n n n进行操作 那么上一步呢？ 上一步应该是对 2 2 2和 n − 1 n-1 n−1 以此类推…...

编程日记 2024/3/3 19:15:40

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周，有很多同学在写期末Java web作业时，运行tomcat出现乱码问题，经过多次解决与研究，我做了如下整理： 原因： IDEA本身编码与tomcat的编码与Windows编码不同导致，Windows 系统控制台…...

编程新知 2025/11/17 11:18:27

css实现圆环展示百分比，根据值动态展示所占比例

代码如下 <view class""><view class"circle-chart"><view v-if"!!num" class"pie-item" :style"{background: conic-gradient(var(--one-color) 0%,#E9E6F1 ${num}%),}"></view><view v-else …...

编程新知 2025/11/17 9:04:16

K8S认证|CKS题库+答案| 11. AppArmor

目录 11. AppArmor 免费获取并激活 CKA_v1.31_模拟系统 题目 开始操作&#xff1a; 1&#xff09;、切换集群 2&#xff09;、切换节点 3&#xff09;、切换到 apparmor 的目录 4&#xff09;、执行 apparmor 策略模块 5&#xff09;、修改 pod 文件 6&#xff09;、…...

编程新知 2025/11/17 0:40:35

Admin.Net中的消息通信SignalR解释

定义集线器接口 IOnlineUserHub public interface IOnlineUserHub {/// 在线用户列表Task OnlineUserList(OnlineUserList context);/// 强制下线Task ForceOffline(object context);/// 发布站内消息Task PublicNotice(SysNotice context);/// 接收消息Task ReceiveMessage(…...

编程新知 2025/9/10 5:36:56

Cilium动手实验室: 精通之旅---20.Isovalent Enterprise for Cilium: Zero Trust Visibility

Cilium动手实验室: 精通之旅---20.Isovalent Enterprise for Cilium: Zero Trust Visibility 1. 实验室环境1.1 实验室环境1.2 小测试 2. The Endor System2.1 部署应用2.2 检查现有策略 3. Cilium 策略实体3.1 创建 allow-all 网络策略3.2 在 Hubble CLI 中验证网络策略源3.3 …...

编程新知 2025/11/17 2:20:51

大语言模型如何处理长文本？常用文本分割技术详解

为什么需要文本分割？ 引言：为什么需要文本分割？一、基础文本分割方法1. 按段落分割（Paragraph Splitting）2. 按句子分割（Sentence Splitting）二、高级文本分割策略3. 重叠分割（Sliding Window）4. 递归分割（Recursive Splitting）三、生产级工具推荐5. 使用LangChain的…...

编程新知 2025/11/18 0:32:13

Frozen-Flask ：将 Flask 应用“冻结”为静态文件

Frozen-Flask 是一个用于将 Flask 应用“冻结”为静态文件的 Python 扩展。它的核心用途是&#xff1a;将一个 Flask Web 应用生成成纯静态 HTML 文件&#xff0c;从而可以部署到静态网站托管服务上&#xff0c;如 GitHub Pages、Netlify 或任何支持静态文件的网站服务器。 &am…...

编程新知 2025/7/28 21:04:40

Psychopy音频的使用

Psychopy音频的使用 本文主要解决以下问题&#xff1a; 指定音频引擎与设备&#xff1b;播放音频文件 本文所使用的环境&#xff1a; Python3.10 numpy2.2.6 psychopy2025.1.1 psychtoolbox3.0.19.14 一、音频配置 Psychopy文档链接为Sound - for audio playback — Psy…...

编程新知 2025/11/17 6:49:20

C# SqlSugar：依赖注入与仓储模式实践

C# SqlSugar&#xff1a;依赖注入与仓储模式实践 在 C# 的应用开发中&#xff0c;数据库操作是必不可少的环节。为了让数据访问层更加简洁、高效且易于维护&#xff0c;许多开发者会选择成熟的 ORM&#xff08;对象关系映射&#xff09;框架&#xff0c;SqlSugar 就是其中备受…...

编程新知 2025/8/29 10:53:38

Java入门学习详细版（一）

大家好&#xff0c;Java 学习是一个系统学习的过程&#xff0c;核心原则就是“理论 实践 坚持”&#xff0c;并且需循序渐进&#xff0c;不可过于着急&#xff0c;本篇文章推出的这份详细入门学习资料将带大家从零基础开始&#xff0c;逐步掌握 Java 的核心概念和编程技能。 …...

编程新知 2025/7/27 0:21:52