2张图2秒钟3D重建！这款AI工具火爆GitHub，网友：忘掉Sora
只需2张图片，无需测量任何额外数据——
当当，一个完整的3D小熊就有了：
这个名为DUSt3R的新工具，火得一塌糊涂，才上线没多久就登上GitHub热榜第二。
▲image
有网友实测，拍两张照片，真的就重建出了他家的厨房，整个过程耗时不到2秒钟！
（除了3D图，深度图、置信度图和点云图它都能一并给出）
惊得这位朋友直呼：
大伙先忘掉sora吧，这才是我们真正看得见摸得着的东西。
▲image
实验显示，DUSt3R在单目/多视图深度估计以及相对位姿估计三个任务上，均取得SOTA。
作者团队（来自芬兰阿尔托大学+NAVER LABS人工智能研究所欧洲分所）的“宣语”也是气势满满：
我们就是要让天下没有难搞的3D视觉任务。
所以，它是如何做到？
“all-in-one”
对于多视图立体重建（MVS）任务来说，第一步就是估计相机参数，包括内外参。
这个操作很枯燥也很麻烦，但对于后续在三维空间中进行三角测量的像素不可或缺，而这又是几乎所有性能比较好的MVS算法都离不开的一环。
在本文研究中，作者团队引入的DUSt3R则完全采用了截然不同的方法。
它不需要任何相机校准或视点姿势的先验信息，就可完成任意图像的密集或无约束3D重建。
在此，团队将成对重建问题表述为点图回归，统一单目和双目重建情况。
在提供超过两张输入图像的情况下，通过一种简单而有效的全局对准策略，将所有成对的点图表示为一个共同的参考框架。
如下图所示，给定一组具有未知相机姿态和内在特征的照片，DUSt3R输出对应的一组点图，从中我们就可以直接恢复各种通常难以同时估计的几何量，如相机参数、像素对应关系、深度图，以及完全一致的3D重建效果。
▲（作者提示，DUSt3R也适用于单张输入图像）
具体网络架构方面，DUSt3R基于的是标准Transformer编码器和解码器，受到了CroCo（通过跨视图完成3D视觉任务的自我监督预训练的一个研究）的启发，并采用简单的回归损失训练完成。
如下图所示，场景的两个视图（I1，I2）首先用共享的ViT编码器以连体（Siamese）方式进行编码。
所得到的token表示（和）随后被传递到两个Transformer解码器，后者通过交叉注意力不断地交换信息。
▲image
最后，两个回归头输出两个对应的点图和相关的置信图。
重点是，这两个点图都要在第一张图像的同一坐标系中进行表示。
多项任务获SOTA
实验首先在7Scenes（7个室内场景）和Cambridge Landmarks（8个室外场景）数据集上评估DUSt3R在绝对姿态估计任务上性能，指标是平移误差和旋转误差（值越小越好）。
作者表示，与现有其他特征匹配和端到端方法相比，DUSt3R表现算可圈可点了。
▲image
因为它一从未接受过任何视觉定位训练，二是在训练过程中，也没有遇到过查询图像和数据库图像。
其次，是在10个随机帧上进行的多视图姿态回归任务。结果DUSt3R在两个数据集上都取得了最佳效果。
▲image
而单目深度估计任务上，DUSt3R也能很好地hold室内和室外场景，性能优于自监督基线，并与最先进的监督基线不相上下。
▲image
在多视图深度估计上，DUSt3R的表现也可谓亮眼。
▲image
以下是两组官方给出的3D重建效果，再给大伙感受一下，都是仅输入两张图像：
（一）
▲image
（二）
网友实测：两张图无重叠也行
有网友给了DUSt3R两张没有任何重叠内容的图像，结果它也在几秒内输出了准确的3D视图：
▲image
（图片是他的办公室，所以肯定没在训练中见过）
▲image
对此，有网友表示，这意味着该方法不是在那进行“客观测量”，而是表现得更像一个AI。
▲image
除此之外，还有人好奇当输入图像是两个不同的相机拍的时，方法是否仍然有效？
有网友还真试了，答案是yes!
传送门：
论文:
https://arxiv.org/abs/2312.14132
代码:
https://github.com/naver/dust3r
相关文章：
2张图2秒钟3D重建！这款AI工具火爆GitHub，网友：忘掉Sora
只需2张图片，无需测量任何额外数据—— 当当，一个完整的3D小熊就有了： 这个名为DUSt3R的新工具，火得一塌糊涂，才上线没多久就登上GitHub热榜第二。 ▲image 有网友实测，拍两张照片，真的就重建…...
C++高级面试题：请解释 C++ 中的指针和引用之间的区别。
请解释 C 中的指针和引用之间的区别。 在 C 中，指针（Pointers）和引用（References）都是用于处理内存地址的工具，但它们有一些重要的区别： 语法和用法： 指针使用 * 运算符来访问其所…...
Git 配置处理客户端无法正常访问到 github 原网站时，npm 下载依赖包失败的问题
Git 配置处理客户端无法正常访问到 github 原网站时，npm 下载依赖包失败的问题 使用 github 的镜像网站地址或类似的替代产品地址，代替到 npm 拉取依赖包的 git 地址本地Git配置 例如：执行一下命令，则是以https://kgithub.com 替…...
前端爬虫+可视化Demo
爬虫简介 可以把互联网比做成一张 “大网”，爬虫就是在这张大网上不断爬取信息的程序。 爬虫是请求网站并提取数据的自动化程序。 省流：Demo实现前置知识： JS 基础Node 基础 （1）爬虫基本工作流程： 向…...
keepAlive
router c.js const view (name) > () > import(/views/文件夹名/ name) export const c [ {path: /xxx,name: aaa,meta: {title: 哈哈哈,admin: true,keepAlive:true //加这个},component: view(xxx) }, ]adminMain.vue <keep-alive><router-view v-if"…...
蓝桥杯练习题——dp
五部曲（代码随想录） 1.确定 dp 数组以及下标含义 2.确定递推公式 3.确定 dp 数组初始化 4.确定遍历顺序 5.debug 入门题 1.斐波那契数 思路 1.f[i]：第 i 个数的值 2.f[i] f[i - 1] f[i - 2] 3.f[0] 0, f[1] 1 4.顺序遍历 5.记得特判 …...
kotlin基础语法
1.变量 var a:Int 2 //声明类型的可变变量 var b 3 //代码推测可变变量类型 val c 6 //代码推测不可变常量类型 var d:String?null //可为null的String类型的可变变量 latei…...
淘宝天猫商家爬虫工具 电商采集软件使用教程
介绍： 淘宝和天猫是中国最大的电商平台之一，商家在这里销售各种商品。在市场竞争激烈的环境下，了解竞争对手的商品信息和价格变化对于电商运营来说非常重要。本文将介绍如何使用Python编写一个简单的淘宝天猫商家爬虫工具，以获取商…...
建库建表时，最容易忽略的10个细节
大家使用 DolphinDB 创建数据库和表时，有时对于分区列、分区类型和排序列的选择并不十分清晰。如果不加注意，可能导致查询速度变慢、数据丢失或插入错误等问题。合理地设置分区列、排序列和分区类型，有助于加快查询速度，减少内存使…...
【基础知识】什么是 PPO（Proximal Policy Optimization，近端策略优化）
什么是 PPO（Proximal Policy Optimization，近端策略优化） PPO（Proximal Policy Optimization，近端策略优化）是一种强化学习算法，由John Schulman等人在2017年提出。PPO属于策略梯度方法&#x…...
程序员如何选择职业赛道？
程序员如何选择职业赛道？ 程序员的职业赛道就像是一座迷宫，充满了各种各样的岔路口。每个岔路口都代表着不同的方向，不同的技术领域，不同的职业发展道路。 前端开发 前端开发就像迷宫中的美丽花园，它是用户与网站或应…...
[LeetBook]【学习日记】寻找和为指定数字的连续数字
题目 文件组合 待传输文件被切分成多个部分，按照原排列顺序，每部分文件编号均为一个 正整数（至少含有两个文件）。传输要求为：连续文件编号总和为接收方指定数字 target 的所有文件。请返回所有符合该要求的文件传输组…...
阿里云中小企业扶持权益
为企业提供云资源和技术服务，助力企业开启智能时代创业新范式。阿里云推出中小企业扶持权益 上云必备，助力企业长期低成本用云 一、ECS-经济型e实例、ECS u1实例活动规则 活动时间 2023年10月31日0点0分0秒至2026年3月31日23点59分59秒 活动对象 同时满…...
2核4g服务器能支持多少人访问？并发数性能测评
2核4g服务器能支持多少人访问？支持80人同时访问，阿腾云使用阿里云2核4G5M带宽服务器，可以支撑80个左右并发用户。阿腾云以Web网站应用为例，如果视频图片媒体文件存储到对象存储OSS上，网站接入CDN，还可以支持…...
Anthropic官宣Claude3：建立大模型 推理、数学、编码和视觉等方面 新基准
文章目录 1. product2. Main2.1 核心能力2.2 打榜表现 3. My thoughtsReference Claude 3 在推理、数学、编码、多语言理解和视觉方面，全面超越GPT-4在内的所有大模型，重新树立大模型基准。 1. product https://claude.ai/ 国内暂不能使用，…...
STM32 TIM编码器接口
单片机学习！ 目录 文章目录 前言 一、编码器接口简介 1.1 编码器接口作用 1.2 编码器接口工作流程 1.3 编码器接口资源分布 1.4 编码器接口输入引脚 二、正交编码器 2.1 正交编码器功能 2.2 引脚作用 2.3 如何测量方向 2.4 正交信号优势 2.5 执行逻辑 三、编码器定时…...
Jupyter Notebook的安装和使用(windows环境)
一、jupyter notebook 安装 前提条件：安装python环境 安装python环境步骤： 1.下载官方python解释器 2.安装python 3.命令行窗口敲击命令pip install jupyter 4.安装jupyter之后，直接启动命令jupyter notebook,在默认浏览器中打开jupyte…...
Platformview在iOS与Android上的实现方式对比
Android中早期版本Platformview的实现基于Virtual Display。VirtualDisplay方案的原理是，先将Native View绘制到虚显，然后Flutter通过从虚显输出中获取纹理并将其与自己内部的widget树进行合成，最后作为Flutter在 Android 上更大的纹理输出的…...
使用lnmp环境部署laravel框架需要注意的点
1，上传项目文件后，需要chmod -R 777 storage授予文件权限，不然会报错file_put_contents(/): failed to open stream: Permission denied。 如果后面还是报错没有权限的话，就执行ps -ef |grep php查询php运行用户。然后执行chown …...
AI-RAN联盟在MWC24上正式启动
AI-RAN联盟在MWC24上正式启动。它的logo是这个样的： 2月26日，AI-RAN联盟（AI-RAN Alliance）在2024年世界移动通信大会（MWC 2024）上成立。创始成员包括亚马逊云科技、Arm、DeepSig、爱立信、微软、诺基亚、美…...
)
Java 语言特性(面试系列2)
一、SQL 基础 1. 复杂查询 （1）连接查询（JOIN） 内连接（INNER JOIN）：返回两表匹配的记录。 SELECT e.name, d.dept_name FROM employees e INNER JOIN departments d ON e.dept_id d.dept_id; 左…...
Linux链表操作全解析
Linux C语言链表深度解析与实战技巧 一、链表基础概念与内核链表优势1.1 为什么使用链表？1.2 Linux 内核链表与用户态链表的区别 二、内核链表结构与宏解析常用宏/函数 三、内核链表的优点四、用户态链表示例五、双向循环链表在内核中的实现优势5.1 插入效率5.2 安全…...
Golang dig框架与GraphQL的完美结合
将 Go 的 Dig 依赖注入框架与 GraphQL 结合使用，可以显著提升应用程序的可维护性、可测试性以及灵活性。 Dig 是一个强大的依赖注入容器，能够帮助开发者更好地管理复杂的依赖关系，而 GraphQL 则是一种用于 API 的查询语言，能够提…...
自然语言处理——Transformer
自然语言处理——Transformer 自注意力机制多头注意力机制Transformer 虽然循环神经网络可以对具有序列特性的数据非常有效，它能挖掘数据中的时序信息以及语义信息，但是它有一个很大的缺陷——很难并行化。 我们可以考虑用CNN来替代RNN，但是…...
SpringCloudGateway 自定义局部过滤器
场景： 将所有请求转化为同一路径请求（方便穿网配置）在请求头内标识原来路径，然后在将请求分发给不同服务 AllToOneGatewayFilterFactory import lombok.Getter; import lombok.Setter; import lombok.extern.slf4j.Slf4j; impor…...
Xen Server服务器释放磁盘空间
disk.sh #!/bin/bashcd /run/sr-mount/e54f0646-ae11-0457-b64f-eba4673b824c # 全部虚拟机物理磁盘文件存储 a$(ls -l | awk {print $NF} | cut -d. -f1) # 使用中的虚拟机物理磁盘文件 b$(xe vm-disk-list --multiple | grep uuid | awk {print $NF})printf "%s\n"…...
现有的 Redis 分布式锁库（如 Redisson）提供了哪些便利？
现有的 Redis 分布式锁库（如 Redisson）相比于开发者自己基于 Redis 命令（如 SETNX, EXPIRE, DEL）手动实现分布式锁，提供了巨大的便利性和健壮性。主要体现在以下几个方面： 原子性保证 (Atomicity)ÿ…...
JavaScript 数据类型详解
JavaScript 数据类型详解 JavaScript 数据类型分为 原始类型（Primitive） 和 对象类型（Object） 两大类，共 8 种（ES11）： 一、原始类型（7种） 1. undefined 定…...
scikit-learn机器学习
# 同时添加如下代码, 这样每次环境(kernel)启动的时候只要运行下方代码即可: # Also add the following code, # so that every time the environment (kernel) starts, # just run the following code: import sys sys.path.append(/home/aistudio/external-libraries)机…...
4. TypeScript 类型推断与类型组合
一、类型推断 (一) 什么是类型推断 TypeScript 的类型推断会根据变量、函数返回值、对象和数组的赋值和使用方式，自动确定它们的类型。 这一特性减少了显式类型注解的需要，在保持类型安全的同时简化了代码。通过分析上下文和初始值，TypeSc…...