当前位置： 首页 > news >正文

SAM 2:分割图像和视频中的任何内容

news 2026/2/8 16:25:26

文章目录

  • 摘要
  • 1 引言
  • 2 相关工作
  • 3 任务：可提示视觉分割
  • 4 模型
  • 5 数据
    • 5.1 数据引擎
    • 5.2 SA-V数据集
  • 6 零样本实验
    • 6.1 视频任务
      • 6.1.1 提示视频分割
      • 6.1.2 半监督视频对象分割
      • 6.1.3 公平性评估
    • 6.2 图像任务
  • 7 与半监督VOS的最新技术的比较
  • 8 数据和模型消融
    • 8.1 数据消融
    • 8.2 模型架构消融
      • 8.2.1 容量消融
      • 8.2.2 相对位置编码
      • 8.2.3 记忆架构消融
  • 9 结论
  • 10 致谢
  • 附录
    • A PVS任务的细节
    • B 局限性
    • C SAM 2细节
      • C. 1 架构
      • C. 2 训练
        • C.2.1 预训练
        • C.2.2 全面训练
      • C. 3 速度基准测试
    • D 数据细节
      • D. 1 SA-V数据集细节
      • D.2 数据引擎细节
        • D.2.1 注释协议
        • D.2.2 数据引擎阶段比较
    • E 关于零样本转移实验的更多细节
    • E.1 零样本视频任务
        • E.1.1 视频数据集细节
        • E.1.2 交互式离线和在线评估细节
      • E.1.3 半监督VOS评估细节
        • E.1.4 SAM+XMem++和SAM+Cutie基线细节
      • E.2 DAVIS交互式基准测试
      • E.3 零样本图像任务
        • E.3.1 数据集细节
        • E.3.2 详细的零样本实验
    • F 在半监督VOS中与最新技术的比较的更多细节
    • G 模型、数据和注释卡片
      • G. 1 模型卡片
      • G. 2 SA-V数据集卡片
      • G.3 数据注释卡片

摘要

我们提出了“Segment Anything Model 2”（SAM 2），这是一种基础模型，旨在解决图像和视频中的可提示视觉分割问题。我们构建了一个数据引擎，该引擎通过用户交互改进模型和数据，以收集迄今为止最大的视频分割数据集。我们的模型采用带有流式内存的简单变换器架构，适用于实时视频处理。使用我们的数据进行训练的SAM 2在广泛的任务中表现出色。在视频分割方面，我们观察到比先前方法更高的准确性，同时所需的交互次数减少了 3 3 3倍。在图像分割方面，我们的模型比“Segment Anything Model”（SAM）更准确，速度快了

相关文章：

SAM 2:分割图像和视频中的任何内容

文章目录 摘要1 引言2 相关工作3 任务：可提示视觉分割4 模型5 数据5.1 数据引擎5.2 SA-V数据集6 零样本实验6.1 视频任务6.1.1 提示视频分割6.1.2 半监督视频对象分割6.1.3 公平性评估6.2 图像任务7 与半监督VOS的最新技术的比较8 数据和模型消融8.1 数据消融8.2 模型架构消融…...

编程日记 2024/9/12 12:26:32

【免越狱】iOS任意版本号APP下载

下载地址 https://pan.quark.cn/s/570e928ee2c4 软件介绍 下载iOS旧版应用，简化繁琐的抓包流程。一键生成去更新IPA（手机安装后，去除App Store的更新检测）。 软件界面 使用方法 一、直接搜索方式 搜索APP，双击选…...

编程日记 2024/9/12 12:24:28

告别植物神经紊乱，这5种运动让你身心平衡，活力满满！‍♀️✨

Hey小伙伴们~👋 最近是不是感觉压力山大，晚上辗转反侧，白天又无精打采？😴😔 这可能是植物神经紊乱在悄悄作祟哦！别怕，今天就来给大家种草几个超有效的运动方式，帮你找回那…...

编程日记 2024/9/12 12:21:26

又一个iPhone时代开始

今年的苹果秋季发布会在昨晚召开了，今天早上我们也看到了很多相关的新闻。我猜你看完后的感觉可能是，这不过又是一次普普通通的参数升级。又是提升了百分之多少，又是增加了多少倍——非常简单的一些更新。比如说芯片升级了、相机的摄像头一会…...

编程日记 2024/9/12 12:19:24

在 CentOS 中永久关闭防火墙的步骤

在 CentOS 中永久关闭防火墙的步骤 在 CentOS 系统中，防火墙通常由 firewalld 服务管理。如果你希望在系统中永久关闭防火墙，可以按照以下步骤操作： 1. 停止防火墙服务 首先，你需要停止当前正在运行的防火墙服务。可以使用以下…...

编程日记 2024/9/12 12:18:23

【数据库】详解基本SQL语句用法

一、SELECTING DATA FROM TABLES【查询数据】 SELECT命令是表上所有查询的基础，因此给出它的完整描述以显示它的功能。在描述之后提供各种格式的示例。 1.1 整体描述 SELECT column1, column2, ... FROMtable1 [INNER | LEFT | RIGHT] JOIN table2 on conditions…...

编程日记 2024/9/12 12:17:22

R语言地理加权回归、主成份分析、判别分析等空间异质性数据分析

在自然和社会科学领域有大量与地理或空间有关的数据，这一类数据一般具有严重的空间异质性，而通常的统计学方法并不能处理空间异质性，因而对此类型的数据无能为力。以地理加权回归为基础的一系列方法：经典地理加权回归，…...

编程日记 2024/9/12 12:16:21

数学建模笔记—— 非线性规划

数学建模笔记—— 非线性规划 非线性规划1. 模型原理1.1 非线性规划的标准型1.2 非线性规划求解的Matlab函数 2. 典型例题3. matlab代码求解3.1 例1 一个简单示例3.2 例2 选址问题1. 第一问 线性规划2. 第二问 非线性规划 非线性规划 非线性规划是一种求解目标函数或约束条件中…...

编程日记 2024/9/12 12:13:18

JavaScript中的控制流语句：break、continue、return、throw

在JavaScript编程中，控制流语句是控制代码执行流程的重要工具。这些语句包括break、continue、return和throw，它们可以在循环、函数以及其他代码块中使用，以改变正常的执行顺序。下面我们将逐一探讨这些语句的用途和示例。 break break语句…...

编程日记 2024/9/12 12:12:16

移动通信为啥要用双极化天线？

❝本文简单介绍下移动通信为啥要用双极化天线及其简单概述。 移动通信为啥要用双极化天线？ - RFASK射频问问❝本文简单介绍下移动通信为啥要用双极化天线及其简单概述。什么是极化？电磁波的极化通常是用其电场矢量的空间指向来描述：在空间某…...

编程日记 2024/9/12 12:10:15

C语言从头学59——学习头文件math.h（二）

继续学习头文件<math.h>&#xff0c;编号接续前文。 六、三角函数 math.h中的三角函数包括&#xff1a; acos()&#xff1a;反余弦&#xff0c;参数范围-1至1&#xff0c;返回值double类型&#xff1a;0~PI asin()&#xff1a;反正弦&#xff0c;参…...

编程日记 2024/9/12 12:08:13

Leetcode 3283. Maximum Number of Moves to Kill All Pawns

Leetcode 3283. Maximum Number of Moves to Kill All Pawns 1. 解题思路2. 代码实现 题目链接&#xff1a;3283. Maximum Number of Moves to Kill All Pawns 1. 解题思路 这一题坦率地说没有想到什么好的思路&#xff0c;因此只能非常暴力地按照题意进行了一下构造。 显然…...

编程日记 2024/9/12 12:07:12

智能物流新“黑神话”：各位“天命人”，这份行业应用锦集请收下！

全球工业革新浪潮中&#xff0c;智能物流正成为制造业转型升级的核心驱动力之一。高柔性的智能物流解决方案可以帮助企业应对复杂的物流挑战&#xff0c;实现生产到仓储全过程的智能化、柔性化和高度集成&#xff0c;带来显著的经济效益。 作为行业领先的全场景柔性物流综合解…...

编程日记 2024/9/12 12:03:08

SpringSecurity原理解析（五）：HttpSecurity 类处理流程

1、SpringSecurity 在spring boot中与SSM项目中基于配置文件的区别 通过前边的笔记我们可以知道&#xff0c;在传统的SSM项目中 SpringSecurity的使用是基于配置文件 的&#xff0c;然后spring 容器初始化的时候将 SpringSecurity 中的各种标签解析成对应的Bean对象&#xff0c…...

编程日记 2024/9/12 12:02:06

C++系列-匿名对象

匿名对象 &#x1f4a2;什么是匿名对象&#x1f4a2;匿名对象的创建方式及作用域&#x1f4a2;匿名对象的对象类型&#x1f4a2;&#x1f4a2;匿名的基本数据类型对象&#x1f4a2;&#x1f4a2;匿名的自定义的类类型对象&#x1f4a2;&#x1f4a2;匿名的标准库的类对象 &…...

编程日记 2024/9/12 12:01:04

tofixed和math.round什么区别

1、floor 返回不大于的最大整数&#xff08;向下取整&#xff09; 2、round 则是4舍5入的计算&#xff0c;入的时候是到大于它的整数&#xff08;当-1.5时可见&#xff0c;四舍五入后得到的结果不是我们期待的&#xff0c;解决办法是先对他取绝对值&#xff0c;然后在用round方…...

编程日记 2024/9/12 11:56:59

OPENAIGC开发者大赛高校组金奖 | 基于混合大语言模型与多模态的全过程通用AI Agent

在第二届拯救者杯OPENAIGC开发者大赛中&#xff0c;涌现出一批技术突出、创意卓越的作品。为了让这些优秀项目被更多人看到&#xff0c;我们特意开设了优秀作品报道专栏&#xff0c;旨在展示其独特之处和开发者的精彩故事。 无论您是技术专家还是爱好者&#xff0c;希望能带给您…...

编程日记 2024/9/12 11:55:58

MySql批量迁移数据库

导出数据库 将指定数据库实例&#xff08;MYSQL_HOST、MYSQL_PORT、MYSQL_USER、MYSQL_PASSWORD&#xff09;中的所有数据库&#xff08;表结构、数据&#xff09;导出到指定目录&#xff08;BACKUP_DIR&#xff09;下的多个单独的SQL脚本&#xff0c;每个SQL脚本名称即为数据…...

编程日记 2024/9/12 11:53:56

一、selenium自动化简介selenium工具集

文章目录 一、简介二、组成部分三、selenium工具集3.1 Selenium IDE3.2 Selenium WebDriver3.3 Selenium Grid3.4 Appium 一、简介 官方网站 Selenium 是支持 web 浏览器自动化的一系列工具和库的综合项目。 它提供了扩展来模拟用户与浏览器的交互&#xff0c;用于扩展浏览器分…...

编程日记 2024/9/12 11:52:56

CCF推荐B类会议和期刊总结：（计算机网络领域）

CCF推荐B类会议和期刊总结&#xff08;计算机网络领域&#xff09; 在计算机网络领域&#xff0c;中国计算机学会&#xff08;CCF&#xff09;推荐的B类会议和期刊代表了该领域的较高水平。以下是对所有B类会议和期刊的总结&#xff0c;包括全称、出版社、dblp文献网址以及所属…...

编程日记 2024/9/12 11:51:55

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…...

编程新知 2026/2/8 1:53:29

脑机新手指南（八）：OpenBCI_GUI：从环境搭建到数据可视化（下）

一、数据处理与分析实战 &#xff08;一&#xff09;实时滤波与参数调整 基础滤波操作 60Hz 工频滤波&#xff1a;勾选界面右侧 “60Hz” 复选框&#xff0c;可有效抑制电网干扰&#xff08;适用于北美地区&#xff0c;欧洲用户可调整为 50Hz&#xff09;。 平滑处理&…...

编程新知 2025/11/19 22:56:53

简易版抽奖活动的设计技术方案

1.前言 本技术方案旨在设计一套完整且可靠的抽奖活动逻辑，确保抽奖活动能够公平、公正、公开地进行，同时满足高并发访问、数据安全存储与高效处理等需求，为用户提供流畅的抽奖体验，助力业务顺利开展。本方案将涵盖抽奖活动的整体架构设计、核心流程逻辑、关键功能实现以及…...

编程新知 2026/2/7 17:41:40

YSYX学习记录（八）

C语言&#xff0c;练习0&#xff1a; 先创建一个文件夹&#xff0c;我用的是物理机&#xff1a; 安装build-essential 练习1&#xff1a; 我注释掉了 #include <stdio.h> 出现下面错误 在你的文本编辑器中打开ex1文件&#xff0c;随机修改或删除一部分&#xff0c;之后…...

编程新知 2026/1/24 14:31:01

Java-41 深入浅出 Spring - 声明式事务的支持 事务配置 XML模式 XML+注解模式

点一下关注吧&#xff01;&#xff01;&#xff01;非常感谢&#xff01;&#xff01;持续更新&#xff01;&#xff01;&#xff01; &#x1f680; AI篇持续更新中&#xff01;&#xff08;长期更新&#xff09; 目前2025年06月05日更新到&#xff1a; AI炼丹日志-28 - Aud…...

编程新知 2026/2/6 11:05:22

c#开发AI模型对话

AI模型 前面已经介绍了一般AI模型本地部署&#xff0c;直接调用现成的模型数据。这里主要讲述讲接口集成到我们自己的程序中使用方式。 微软提供了ML.NET来开发和使用AI模型&#xff0c;但是目前国内可能使用不多&#xff0c;至少实践例子很少看见。开发训练模型就不介绍了&am…...

编程新知 2026/2/1 8:59:45

Springboot社区养老保险系统小程序

一、前言 随着我国经济迅速发展&#xff0c;人们对手机的需求越来越大&#xff0c;各种手机软件也都在被广泛应用&#xff0c;但是对于手机进行数据信息管理&#xff0c;对于手机的各种软件也是备受用户的喜爱&#xff0c;社区养老保险系统小程序被用户普遍使用&#xff0c;为方…...

编程新知 2026/1/26 2:48:53

JavaScript 数据类型详解

JavaScript 数据类型详解 JavaScript 数据类型分为 原始类型&#xff08;Primitive&#xff09; 和 对象类型&#xff08;Object&#xff09; 两大类&#xff0c;共 8 种&#xff08;ES11&#xff09;&#xff1a; 一、原始类型&#xff08;7种&#xff09; 1. undefined 定…...

编程新知 2025/12/25 4:05:41

多模态图像修复系统：基于深度学习的图片修复实现

多模态图像修复系统：基于深度学习的图片修复实现 1. 系统概述 本系统使用多模态大模型（Stable Diffusion Inpainting）实现图像修复功能，结合文本描述和图片输入，对指定区域进行内容修复。系统包含完整的数据处理、模型训练、推理部署流程。 import torch import numpy …...

编程新知 2025/9/9 21:28:16

[ACTF2020 新生赛]Include 1(php://filter伪协议)

题目 做法 启动靶机&#xff0c;点进去 点进去 查看URL&#xff0c;有 ?fileflag.php说明存在文件包含&#xff0c;原理是php://filter 协议 当它与包含函数结合时&#xff0c;php://filter流会被当作php文件执行。 用php://filter加编码&#xff0c;能让PHP把文件内容…...

编程新知 2026/1/30 2:28:32