当前位置： 首页 > news >正文

SAM 2:分割图像和视频中的任何内容

news 2026/5/19 17:55:06

文章目录

  • 摘要
  • 1 引言
  • 2 相关工作
  • 3 任务：可提示视觉分割
  • 4 模型
  • 5 数据
    • 5.1 数据引擎
    • 5.2 SA-V数据集
  • 6 零样本实验
    • 6.1 视频任务
      • 6.1.1 提示视频分割
      • 6.1.2 半监督视频对象分割
      • 6.1.3 公平性评估
    • 6.2 图像任务
  • 7 与半监督VOS的最新技术的比较
  • 8 数据和模型消融
    • 8.1 数据消融
    • 8.2 模型架构消融
      • 8.2.1 容量消融
      • 8.2.2 相对位置编码
      • 8.2.3 记忆架构消融
  • 9 结论
  • 10 致谢
  • 附录
    • A PVS任务的细节
    • B 局限性
    • C SAM 2细节
      • C. 1 架构
      • C. 2 训练
        • C.2.1 预训练
        • C.2.2 全面训练
      • C. 3 速度基准测试
    • D 数据细节
      • D. 1 SA-V数据集细节
      • D.2 数据引擎细节
        • D.2.1 注释协议
        • D.2.2 数据引擎阶段比较
    • E 关于零样本转移实验的更多细节
    • E.1 零样本视频任务
        • E.1.1 视频数据集细节
        • E.1.2 交互式离线和在线评估细节
      • E.1.3 半监督VOS评估细节
        • E.1.4 SAM+XMem++和SAM+Cutie基线细节
      • E.2 DAVIS交互式基准测试
      • E.3 零样本图像任务
        • E.3.1 数据集细节
        • E.3.2 详细的零样本实验
    • F 在半监督VOS中与最新技术的比较的更多细节
    • G 模型、数据和注释卡片
      • G. 1 模型卡片
      • G. 2 SA-V数据集卡片
      • G.3 数据注释卡片

摘要

我们提出了“Segment Anything Model 2”（SAM 2），这是一种基础模型，旨在解决图像和视频中的可提示视觉分割问题。我们构建了一个数据引擎，该引擎通过用户交互改进模型和数据，以收集迄今为止最大的视频分割数据集。我们的模型采用带有流式内存的简单变换器架构，适用于实时视频处理。使用我们的数据进行训练的SAM 2在广泛的任务中表现出色。在视频分割方面，我们观察到比先前方法更高的准确性，同时所需的交互次数减少了 3 3 3倍。在图像分割方面，我们的模型比“Segment Anything Model”（SAM）更准确，速度快了

相关文章：

SAM 2:分割图像和视频中的任何内容

文章目录 摘要1 引言2 相关工作3 任务：可提示视觉分割4 模型5 数据5.1 数据引擎5.2 SA-V数据集6 零样本实验6.1 视频任务6.1.1 提示视频分割6.1.2 半监督视频对象分割6.1.3 公平性评估6.2 图像任务7 与半监督VOS的最新技术的比较8 数据和模型消融8.1 数据消融8.2 模型架构消融…...

编程日记 2024/9/12 12:26:32

【免越狱】iOS任意版本号APP下载

下载地址 https://pan.quark.cn/s/570e928ee2c4 软件介绍 下载iOS旧版应用，简化繁琐的抓包流程。一键生成去更新IPA（手机安装后，去除App Store的更新检测）。 软件界面 使用方法 一、直接搜索方式 搜索APP，双击选…...

编程日记 2024/9/12 12:24:28

告别植物神经紊乱，这5种运动让你身心平衡，活力满满！‍♀️✨

Hey小伙伴们~👋 最近是不是感觉压力山大，晚上辗转反侧，白天又无精打采？😴😔 这可能是植物神经紊乱在悄悄作祟哦！别怕，今天就来给大家种草几个超有效的运动方式，帮你找回那…...

编程日记 2024/9/12 12:21:26

又一个iPhone时代开始

今年的苹果秋季发布会在昨晚召开了，今天早上我们也看到了很多相关的新闻。我猜你看完后的感觉可能是，这不过又是一次普普通通的参数升级。又是提升了百分之多少，又是增加了多少倍——非常简单的一些更新。比如说芯片升级了、相机的摄像头一会…...

编程日记 2024/9/12 12:19:24

在 CentOS 中永久关闭防火墙的步骤

在 CentOS 中永久关闭防火墙的步骤 在 CentOS 系统中，防火墙通常由 firewalld 服务管理。如果你希望在系统中永久关闭防火墙，可以按照以下步骤操作： 1. 停止防火墙服务 首先，你需要停止当前正在运行的防火墙服务。可以使用以下…...

编程日记 2024/9/12 12:18:23

【数据库】详解基本SQL语句用法

一、SELECTING DATA FROM TABLES【查询数据】 SELECT命令是表上所有查询的基础，因此给出它的完整描述以显示它的功能。在描述之后提供各种格式的示例。 1.1 整体描述 SELECT column1, column2, ... FROMtable1 [INNER | LEFT | RIGHT] JOIN table2 on conditions…...

编程日记 2024/9/12 12:17:22

R语言地理加权回归、主成份分析、判别分析等空间异质性数据分析

在自然和社会科学领域有大量与地理或空间有关的数据，这一类数据一般具有严重的空间异质性，而通常的统计学方法并不能处理空间异质性，因而对此类型的数据无能为力。以地理加权回归为基础的一系列方法：经典地理加权回归，…...

编程日记 2024/9/12 12:16:21

数学建模笔记—— 非线性规划

数学建模笔记—— 非线性规划 非线性规划1. 模型原理1.1 非线性规划的标准型1.2 非线性规划求解的Matlab函数 2. 典型例题3. matlab代码求解3.1 例1 一个简单示例3.2 例2 选址问题1. 第一问 线性规划2. 第二问 非线性规划 非线性规划 非线性规划是一种求解目标函数或约束条件中…...

编程日记 2024/9/12 12:13:18

JavaScript中的控制流语句：break、continue、return、throw

在JavaScript编程中，控制流语句是控制代码执行流程的重要工具。这些语句包括break、continue、return和throw，它们可以在循环、函数以及其他代码块中使用，以改变正常的执行顺序。下面我们将逐一探讨这些语句的用途和示例。 break break语句…...

编程日记 2024/9/12 12:12:16

移动通信为啥要用双极化天线？

❝本文简单介绍下移动通信为啥要用双极化天线及其简单概述。 移动通信为啥要用双极化天线？ - RFASK射频问问❝本文简单介绍下移动通信为啥要用双极化天线及其简单概述。什么是极化？电磁波的极化通常是用其电场矢量的空间指向来描述：在空间某…...

编程日记 2024/9/12 12:10:15

C语言从头学59——学习头文件math.h（二）

继续学习头文件<math.h>&#xff0c;编号接续前文。 六、三角函数 math.h中的三角函数包括&#xff1a; acos()&#xff1a;反余弦&#xff0c;参数范围-1至1&#xff0c;返回值double类型&#xff1a;0~PI asin()&#xff1a;反正弦&#xff0c;参…...

编程日记 2024/9/12 12:08:13

Leetcode 3283. Maximum Number of Moves to Kill All Pawns

Leetcode 3283. Maximum Number of Moves to Kill All Pawns 1. 解题思路2. 代码实现 题目链接&#xff1a;3283. Maximum Number of Moves to Kill All Pawns 1. 解题思路 这一题坦率地说没有想到什么好的思路&#xff0c;因此只能非常暴力地按照题意进行了一下构造。 显然…...

编程日记 2024/9/12 12:07:12

智能物流新“黑神话”：各位“天命人”，这份行业应用锦集请收下！

全球工业革新浪潮中&#xff0c;智能物流正成为制造业转型升级的核心驱动力之一。高柔性的智能物流解决方案可以帮助企业应对复杂的物流挑战&#xff0c;实现生产到仓储全过程的智能化、柔性化和高度集成&#xff0c;带来显著的经济效益。 作为行业领先的全场景柔性物流综合解…...

编程日记 2024/9/12 12:03:08

SpringSecurity原理解析（五）：HttpSecurity 类处理流程

1、SpringSecurity 在spring boot中与SSM项目中基于配置文件的区别 通过前边的笔记我们可以知道&#xff0c;在传统的SSM项目中 SpringSecurity的使用是基于配置文件 的&#xff0c;然后spring 容器初始化的时候将 SpringSecurity 中的各种标签解析成对应的Bean对象&#xff0c…...

编程日记 2024/9/12 12:02:06

C++系列-匿名对象

匿名对象 &#x1f4a2;什么是匿名对象&#x1f4a2;匿名对象的创建方式及作用域&#x1f4a2;匿名对象的对象类型&#x1f4a2;&#x1f4a2;匿名的基本数据类型对象&#x1f4a2;&#x1f4a2;匿名的自定义的类类型对象&#x1f4a2;&#x1f4a2;匿名的标准库的类对象 &…...

编程日记 2024/9/12 12:01:04

tofixed和math.round什么区别

1、floor 返回不大于的最大整数&#xff08;向下取整&#xff09; 2、round 则是4舍5入的计算&#xff0c;入的时候是到大于它的整数&#xff08;当-1.5时可见&#xff0c;四舍五入后得到的结果不是我们期待的&#xff0c;解决办法是先对他取绝对值&#xff0c;然后在用round方…...

编程日记 2024/9/12 11:56:59

OPENAIGC开发者大赛高校组金奖 | 基于混合大语言模型与多模态的全过程通用AI Agent

在第二届拯救者杯OPENAIGC开发者大赛中&#xff0c;涌现出一批技术突出、创意卓越的作品。为了让这些优秀项目被更多人看到&#xff0c;我们特意开设了优秀作品报道专栏&#xff0c;旨在展示其独特之处和开发者的精彩故事。 无论您是技术专家还是爱好者&#xff0c;希望能带给您…...

编程日记 2024/9/12 11:55:58

MySql批量迁移数据库

导出数据库 将指定数据库实例&#xff08;MYSQL_HOST、MYSQL_PORT、MYSQL_USER、MYSQL_PASSWORD&#xff09;中的所有数据库&#xff08;表结构、数据&#xff09;导出到指定目录&#xff08;BACKUP_DIR&#xff09;下的多个单独的SQL脚本&#xff0c;每个SQL脚本名称即为数据…...

编程日记 2024/9/12 11:53:56

一、selenium自动化简介selenium工具集

文章目录 一、简介二、组成部分三、selenium工具集3.1 Selenium IDE3.2 Selenium WebDriver3.3 Selenium Grid3.4 Appium 一、简介 官方网站 Selenium 是支持 web 浏览器自动化的一系列工具和库的综合项目。 它提供了扩展来模拟用户与浏览器的交互&#xff0c;用于扩展浏览器分…...

编程日记 2024/9/12 11:52:56

CCF推荐B类会议和期刊总结：（计算机网络领域）

CCF推荐B类会议和期刊总结&#xff08;计算机网络领域&#xff09; 在计算机网络领域&#xff0c;中国计算机学会&#xff08;CCF&#xff09;推荐的B类会议和期刊代表了该领域的较高水平。以下是对所有B类会议和期刊的总结&#xff0c;包括全称、出版社、dblp文献网址以及所属…...

编程日记 2024/9/12 11:51:55

让经典重生：D2DX如何让《暗黑破坏神2》在现代电脑上流畅运行

让经典重生&#xff1a;D2DX如何让《暗黑破坏神2》在现代电脑上流畅运行 【免费下载链接】d2dx D2DX is a complete solution to make Diablo II run well on modern PCs, with high fps and better resolutions. 项目地址: https://gitcode.com/gh_mirrors/d2/d2dx 还记…...

编程新知 2026/5/19 17:43:44

拯救吃灰的MT7921网卡：保姆级教程，在Ubuntu 22.04上为联想拯救者系列驱动Wi-Fi

拯救吃灰的MT7921网卡&#xff1a;联想拯救者Ubuntu 22.04无线驱动全攻略 当联想拯救者Y9000P/R7000P等2021款笔记本遇上Ubuntu 22.04&#xff0c;那块被诟病已久的MT7921无线网卡往往成为最大的绊脚石。不同于Windows下的即插即用&#xff0c;Linux环境需要精准的内核版本与固…...

编程新知 2026/5/19 15:57:21

告别iTunes！在Ubuntu 22.04上使用libimobiledevice管理你的iPhone文件

告别iTunes&#xff01;在Ubuntu 22.04上使用libimobiledevice管理你的iPhone文件 当Linux用户第一次将iPhone连接到Ubuntu系统时&#xff0c;往往会遇到一个尴尬的现实——系统无法识别这个世界上最流行的移动设备。不同于Windows和macOS&#xff0c;Linux默认缺乏对iOS设备的…...

编程新知 2026/5/19 15:28:25

Video2X：你的AI视频画质修复专家，让老旧视频重获新生

Video2X&#xff1a;你的AI视频画质修复专家&#xff0c;让老旧视频重获新生 【免费下载链接】video2x A machine learning-based video super resolution and frame interpolation framework. Est. Hack the Valley II, 2018. 项目地址: https://gitcode.com/GitHub_Trendin…...

编程新知 2026/5/19 15:11:54

现代工业的命脉——稀土

你可能从未见过稀土&#xff0c;但它们藏在你每天离不开的手机、电脑、汽车甚至节能灯泡里。没有稀土&#xff0c;科技产品的性能会瞬间退回几十年前。有人把它们比作“工业维生素”——用量极少&#xff0c;作用却无可替代。稀土不是土&#xff0c;是一组金属元素先说清楚一个…...

编程新知 2026/5/19 14:05:31

3步完成Android Studio中文界面配置：终极汉化指南

3步完成Android Studio中文界面配置&#xff1a;终极汉化指南 【免费下载链接】AndroidStudioChineseLanguagePack AndroidStudio中文插件(官方修改版本&#xff09; 项目地址: https://gitcode.com/gh_mirrors/an/AndroidStudioChineseLanguagePack 还在为Android Stud…...

编程新知 2026/5/19 13:10:48

别再只用CyclicBarrier了！聊聊Java并发库里那个小众但好用的Exchanger

解锁Java并发编程中的隐藏利器&#xff1a;Exchanger深度实战指南 在Java并发编程的世界里&#xff0c;开发者们往往对CyclicBarrier、CountDownLatch这些同步工具如数家珍&#xff0c;却很少有人注意到并发库中那个低调但强大的Exchanger。这个专为线程间数据交换设计的同步点…...

编程新知 2026/5/19 11:57:16

传统 OA 系统为什么难以满足现代企业管理需求

传统 OA 系统为什么难以满足现代企业管理需求 OA 曾经是很多企业数字化的起点&#xff1a;通知公告、请假报销、文件流转、会议管理、用印审批&#xff0c;让办公室从纸质时代进入线上时代。但今天&#xff0c;企业对 OA 的期待已经变了。 现代企业不只需要“把审批搬到线上…...

编程新知 2026/5/19 9:25:17

微软：小模型替代大模型执行终端任务

&#x1f4d6;标题&#xff1a;Terminus-4B: Can a Smaller Model Replace Frontier LLMs at Agentic Execution Tasks? &#x1f310;来源&#xff1a;arXiv, 2605.03195v1 &#x1f6ce;️文章简介 &#x1f538;研究问题&#xff1a;在代码智能体的终端执行子任务中&#x…...

编程新知 2026/5/19 9:08:01

SQL注入技术详解：从联合查询到盲注实战

前言&#xff1a; 继续开始我们的SQL注入吧&#xff01;本文详细讲解SQL注入的各类技术&#xff0c;包括联合查询、报错注入、布尔盲注、时间盲注、UA注入、Referer注入等&#xff0c;涵盖漏洞判断、利用方法和实战步骤。内容基于MySQL 5.0以上环境&#xff0c;围绕information…...

编程新知 2026/5/19 8:59:27