当前位置： 首页 > news >正文

SAM 2:分割图像和视频中的任何内容

news 2025/7/7 23:01:36

文章目录

  • 摘要
  • 1 引言
  • 2 相关工作
  • 3 任务：可提示视觉分割
  • 4 模型
  • 5 数据
    • 5.1 数据引擎
    • 5.2 SA-V数据集
  • 6 零样本实验
    • 6.1 视频任务
      • 6.1.1 提示视频分割
      • 6.1.2 半监督视频对象分割
      • 6.1.3 公平性评估
    • 6.2 图像任务
  • 7 与半监督VOS的最新技术的比较
  • 8 数据和模型消融
    • 8.1 数据消融
    • 8.2 模型架构消融
      • 8.2.1 容量消融
      • 8.2.2 相对位置编码
      • 8.2.3 记忆架构消融
  • 9 结论
  • 10 致谢
  • 附录
    • A PVS任务的细节
    • B 局限性
    • C SAM 2细节
      • C. 1 架构
      • C. 2 训练
        • C.2.1 预训练
        • C.2.2 全面训练
      • C. 3 速度基准测试
    • D 数据细节
      • D. 1 SA-V数据集细节
      • D.2 数据引擎细节
        • D.2.1 注释协议
        • D.2.2 数据引擎阶段比较
    • E 关于零样本转移实验的更多细节
    • E.1 零样本视频任务
        • E.1.1 视频数据集细节
        • E.1.2 交互式离线和在线评估细节
      • E.1.3 半监督VOS评估细节
        • E.1.4 SAM+XMem++和SAM+Cutie基线细节
      • E.2 DAVIS交互式基准测试
      • E.3 零样本图像任务
        • E.3.1 数据集细节
        • E.3.2 详细的零样本实验
    • F 在半监督VOS中与最新技术的比较的更多细节
    • G 模型、数据和注释卡片
      • G. 1 模型卡片
      • G. 2 SA-V数据集卡片
      • G.3 数据注释卡片

摘要

我们提出了“Segment Anything Model 2”（SAM 2），这是一种基础模型，旨在解决图像和视频中的可提示视觉分割问题。我们构建了一个数据引擎，该引擎通过用户交互改进模型和数据，以收集迄今为止最大的视频分割数据集。我们的模型采用带有流式内存的简单变换器架构，适用于实时视频处理。使用我们的数据进行训练的SAM 2在广泛的任务中表现出色。在视频分割方面，我们观察到比先前方法更高的准确性，同时所需的交互次数减少了 3 3 3倍。在图像分割方面，我们的模型比“Segment Anything Model”（SAM）更准确，速度快了

相关文章：

SAM 2:分割图像和视频中的任何内容

文章目录 摘要1 引言2 相关工作3 任务：可提示视觉分割4 模型5 数据5.1 数据引擎5.2 SA-V数据集6 零样本实验6.1 视频任务6.1.1 提示视频分割6.1.2 半监督视频对象分割6.1.3 公平性评估6.2 图像任务7 与半监督VOS的最新技术的比较8 数据和模型消融8.1 数据消融8.2 模型架构消融…...

编程日记 2024/9/12 12:26:32

【免越狱】iOS任意版本号APP下载

下载地址 https://pan.quark.cn/s/570e928ee2c4 软件介绍 下载iOS旧版应用，简化繁琐的抓包流程。一键生成去更新IPA（手机安装后，去除App Store的更新检测）。 软件界面 使用方法 一、直接搜索方式 搜索APP，双击选…...

编程日记 2024/9/12 12:24:28

告别植物神经紊乱，这5种运动让你身心平衡，活力满满！‍♀️✨

Hey小伙伴们~👋 最近是不是感觉压力山大，晚上辗转反侧，白天又无精打采？😴😔 这可能是植物神经紊乱在悄悄作祟哦！别怕，今天就来给大家种草几个超有效的运动方式，帮你找回那…...

编程日记 2024/9/12 12:21:26

又一个iPhone时代开始

今年的苹果秋季发布会在昨晚召开了，今天早上我们也看到了很多相关的新闻。我猜你看完后的感觉可能是，这不过又是一次普普通通的参数升级。又是提升了百分之多少，又是增加了多少倍——非常简单的一些更新。比如说芯片升级了、相机的摄像头一会…...

编程日记 2024/9/12 12:19:24

在 CentOS 中永久关闭防火墙的步骤

在 CentOS 中永久关闭防火墙的步骤 在 CentOS 系统中，防火墙通常由 firewalld 服务管理。如果你希望在系统中永久关闭防火墙，可以按照以下步骤操作： 1. 停止防火墙服务 首先，你需要停止当前正在运行的防火墙服务。可以使用以下…...

编程日记 2024/9/12 12:18:23

【数据库】详解基本SQL语句用法

一、SELECTING DATA FROM TABLES【查询数据】 SELECT命令是表上所有查询的基础，因此给出它的完整描述以显示它的功能。在描述之后提供各种格式的示例。 1.1 整体描述 SELECT column1, column2, ... FROMtable1 [INNER | LEFT | RIGHT] JOIN table2 on conditions…...

编程日记 2024/9/12 12:17:22

R语言地理加权回归、主成份分析、判别分析等空间异质性数据分析

在自然和社会科学领域有大量与地理或空间有关的数据，这一类数据一般具有严重的空间异质性，而通常的统计学方法并不能处理空间异质性，因而对此类型的数据无能为力。以地理加权回归为基础的一系列方法：经典地理加权回归，…...

编程日记 2024/9/12 12:16:21

数学建模笔记—— 非线性规划

数学建模笔记—— 非线性规划 非线性规划1. 模型原理1.1 非线性规划的标准型1.2 非线性规划求解的Matlab函数 2. 典型例题3. matlab代码求解3.1 例1 一个简单示例3.2 例2 选址问题1. 第一问 线性规划2. 第二问 非线性规划 非线性规划 非线性规划是一种求解目标函数或约束条件中…...

编程日记 2024/9/12 12:13:18

JavaScript中的控制流语句：break、continue、return、throw

在JavaScript编程中，控制流语句是控制代码执行流程的重要工具。这些语句包括break、continue、return和throw，它们可以在循环、函数以及其他代码块中使用，以改变正常的执行顺序。下面我们将逐一探讨这些语句的用途和示例。 break break语句…...

编程日记 2024/9/12 12:12:16

移动通信为啥要用双极化天线？

❝本文简单介绍下移动通信为啥要用双极化天线及其简单概述。 移动通信为啥要用双极化天线？ - RFASK射频问问❝本文简单介绍下移动通信为啥要用双极化天线及其简单概述。什么是极化？电磁波的极化通常是用其电场矢量的空间指向来描述：在空间某…...

编程日记 2024/9/12 12:10:15

C语言从头学59——学习头文件math.h（二）

继续学习头文件<math.h>&#xff0c;编号接续前文。 六、三角函数 math.h中的三角函数包括&#xff1a; acos()&#xff1a;反余弦&#xff0c;参数范围-1至1&#xff0c;返回值double类型&#xff1a;0~PI asin()&#xff1a;反正弦&#xff0c;参…...

编程日记 2024/9/12 12:08:13

Leetcode 3283. Maximum Number of Moves to Kill All Pawns

Leetcode 3283. Maximum Number of Moves to Kill All Pawns 1. 解题思路2. 代码实现 题目链接&#xff1a;3283. Maximum Number of Moves to Kill All Pawns 1. 解题思路 这一题坦率地说没有想到什么好的思路&#xff0c;因此只能非常暴力地按照题意进行了一下构造。 显然…...

编程日记 2024/9/12 12:07:12

智能物流新“黑神话”：各位“天命人”，这份行业应用锦集请收下！

全球工业革新浪潮中&#xff0c;智能物流正成为制造业转型升级的核心驱动力之一。高柔性的智能物流解决方案可以帮助企业应对复杂的物流挑战&#xff0c;实现生产到仓储全过程的智能化、柔性化和高度集成&#xff0c;带来显著的经济效益。 作为行业领先的全场景柔性物流综合解…...

编程日记 2024/9/12 12:03:08

SpringSecurity原理解析（五）：HttpSecurity 类处理流程

1、SpringSecurity 在spring boot中与SSM项目中基于配置文件的区别 通过前边的笔记我们可以知道&#xff0c;在传统的SSM项目中 SpringSecurity的使用是基于配置文件 的&#xff0c;然后spring 容器初始化的时候将 SpringSecurity 中的各种标签解析成对应的Bean对象&#xff0c…...

编程日记 2024/9/12 12:02:06

C++系列-匿名对象

匿名对象 &#x1f4a2;什么是匿名对象&#x1f4a2;匿名对象的创建方式及作用域&#x1f4a2;匿名对象的对象类型&#x1f4a2;&#x1f4a2;匿名的基本数据类型对象&#x1f4a2;&#x1f4a2;匿名的自定义的类类型对象&#x1f4a2;&#x1f4a2;匿名的标准库的类对象 &…...

编程日记 2024/9/12 12:01:04

tofixed和math.round什么区别

1、floor 返回不大于的最大整数&#xff08;向下取整&#xff09; 2、round 则是4舍5入的计算&#xff0c;入的时候是到大于它的整数&#xff08;当-1.5时可见&#xff0c;四舍五入后得到的结果不是我们期待的&#xff0c;解决办法是先对他取绝对值&#xff0c;然后在用round方…...

编程日记 2024/9/12 11:56:59

OPENAIGC开发者大赛高校组金奖 | 基于混合大语言模型与多模态的全过程通用AI Agent

在第二届拯救者杯OPENAIGC开发者大赛中&#xff0c;涌现出一批技术突出、创意卓越的作品。为了让这些优秀项目被更多人看到&#xff0c;我们特意开设了优秀作品报道专栏&#xff0c;旨在展示其独特之处和开发者的精彩故事。 无论您是技术专家还是爱好者&#xff0c;希望能带给您…...

编程日记 2024/9/12 11:55:58

MySql批量迁移数据库

导出数据库 将指定数据库实例&#xff08;MYSQL_HOST、MYSQL_PORT、MYSQL_USER、MYSQL_PASSWORD&#xff09;中的所有数据库&#xff08;表结构、数据&#xff09;导出到指定目录&#xff08;BACKUP_DIR&#xff09;下的多个单独的SQL脚本&#xff0c;每个SQL脚本名称即为数据…...

编程日记 2024/9/12 11:53:56

一、selenium自动化简介selenium工具集

文章目录 一、简介二、组成部分三、selenium工具集3.1 Selenium IDE3.2 Selenium WebDriver3.3 Selenium Grid3.4 Appium 一、简介 官方网站 Selenium 是支持 web 浏览器自动化的一系列工具和库的综合项目。 它提供了扩展来模拟用户与浏览器的交互&#xff0c;用于扩展浏览器分…...

编程日记 2024/9/12 11:52:56

CCF推荐B类会议和期刊总结：（计算机网络领域）

CCF推荐B类会议和期刊总结&#xff08;计算机网络领域&#xff09; 在计算机网络领域&#xff0c;中国计算机学会&#xff08;CCF&#xff09;推荐的B类会议和期刊代表了该领域的较高水平。以下是对所有B类会议和期刊的总结&#xff0c;包括全称、出版社、dblp文献网址以及所属…...

编程日记 2024/9/12 11:51:55

NLP学习路线图（二十三）：长短期记忆网络（LSTM）

在自然语言处理（NLP）领域，我们时刻面临着处理序列数据的核心挑战。无论是理解句子的结构、分析文本的情感，还是实现语言的翻译，都需要模型能够捕捉词语之间依时序产生的复杂依赖关系。传统的神经网络结构在处理这种序列依赖时显得力不从心，而循环神经网络（RNN） 曾被视为…...

编程新知 2025/7/7 19:02:49

dify打造数据可视化图表

一、概述 在日常工作和学习中&#xff0c;我们经常需要和数据打交道。无论是分析报告、项目展示&#xff0c;还是简单的数据洞察&#xff0c;一个清晰直观的图表&#xff0c;往往能胜过千言万语。 一款能让数据可视化变得超级简单的 MCP Server&#xff0c;由蚂蚁集团 AntV 团队…...

编程新知 2025/7/7 5:12:18

有限自动机到正规文法转换器v1.0

1 项目简介 这是一个功能强大的有限自动机&#xff08;Finite Automaton, FA&#xff09;到正规文法&#xff08;Regular Grammar&#xff09;转换器&#xff0c;它配备了一个直观且完整的图形用户界面&#xff0c;使用户能够轻松地进行操作和观察。该程序基于编译原理中的经典…...

编程新知 2025/7/7 6:14:27

高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数

高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数 在软件开发中，单例模式（Singleton Pattern）是一种常见的设计模式，确保一个类仅有一个实例，并提供一个全局访问点。在多线程环境下，实现单例模式时需要注意线程安全问题，以防止多个线程同时创建实例，导致…...

编程新知 2025/6/21 15:17:11

【7色560页】职场可视化逻辑图高级数据分析PPT模版

7种色调职场工作汇报PPT&#xff0c;橙蓝、黑红、红蓝、蓝橙灰、浅蓝、浅绿、深蓝七种色调模版 【7色560页】职场可视化逻辑图高级数据分析PPT模版&#xff1a;职场可视化逻辑图分析PPT模版https://pan.quark.cn/s/78aeabbd92d1...

编程新知 2025/7/4 4:47:37

虚拟电厂发展三大趋势：市场化、技术主导、车网互联

市场化&#xff1a;从政策驱动到多元盈利 政策全面赋能 2025年4月&#xff0c;国家发改委、能源局发布《关于加快推进虚拟电厂发展的指导意见》&#xff0c;首次明确虚拟电厂为“独立市场主体”&#xff0c;提出硬性目标&#xff1a;2027年全国调节能力≥2000万千瓦&#xff0…...

编程新知 2025/7/6 18:27:44

【Linux】Linux 系统默认的目录及作用说明

博主介绍&#xff1a;✌全网粉丝23W&#xff0c;CSDN博客专家、Java领域优质创作者&#xff0c;掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域✌ 技术范围&#xff1a;SpringBoot、SpringCloud、Vue、SSM、HTML、Nodejs、Python、MySQL、PostgreSQL、大数据、物…...

编程新知 2025/7/6 18:36:52

Chromium 136 编译指南 Windows篇：depot_tools 配置与源码获取（二）

引言 工欲善其事&#xff0c;必先利其器。在完成了 Visual Studio 2022 和 Windows SDK 的安装后&#xff0c;我们即将接触到 Chromium 开发生态中最核心的工具——depot_tools。这个由 Google 精心打造的工具集&#xff0c;就像是连接开发者与 Chromium 庞大代码库的智能桥梁…...

编程新知 2025/7/6 22:13:17

从“安全密码”到测试体系：Gitee Test 赋能关键领域软件质量保障

关键领域软件测试的"安全密码"&#xff1a;Gitee Test如何破解行业痛点 在数字化浪潮席卷全球的今天&#xff0c;软件系统已成为国家关键领域的"神经中枢"。从国防军工到能源电力&#xff0c;从金融交易到交通管控&#xff0c;这些关乎国计民生的关键领域…...

编程新知 2025/7/6 14:21:23

系统掌握PyTorch：图解张量、Autograd、DataLoader、nn.Module与实战模型

本文较长&#xff0c;建议点赞收藏&#xff0c;以免遗失。更多AI大模型应用开发学习视频及资料&#xff0c;尽在聚客AI学院。 本文通过代码驱动的方式&#xff0c;系统讲解PyTorch核心概念和实战技巧&#xff0c;涵盖张量操作、自动微分、数据加载、模型构建和训练全流程&#…...

编程新知 2025/7/7 4:30:36