当前位置: 首页 > news >正文

谷歌 DeepMind 联合斯坦福推出了主从式遥操作双臂机器人系统增强版ALOHA 2

谷歌 DeepMind 联合斯坦福推出了 ALOHA 的增强版本 ——ALOHA 2。与一代相比,ALOHA 2 具有更强的性能、人体工程学设计和稳健性,且成本还不到 20 万元人民币。并且,为了加速大规模双手操作的研究,ALOHA 2 相关的所有硬件设计全部开源了,并提供了详细的教程,以及具有系统识别功能的 ALOHA 2 MuJoCo 模型。谷歌 DeepMind 放出了相关论文《ALOHA 2: An Enhanced Low-Cost Hardware for Bimanual Teleoperation》。

论文地址:https://aloha-2.github.io/assets/aloha2.pdf

项目主页:https://aloha-2.github.io/

我们先来一睹升级后的 ALOHA 2 能做些什么,比如将不同的玩具放进三个不同的碗里。

玩杂耍,你扔我接。

图片

开可乐瓶并将可乐倒进别的杯子里、开酸奶盒。

图片

给熊猫玩偶戴上美瞳。

图片

更难以想象的是,它还能变身扒手,悄无声息拿走你的钱包,并给你放回去。

图片

简直绝了!ALOHA 2 显著提高了一代 ALOHA 的耐用性,从而能够在更复杂的任务上进行大规模数据收集。

相较于一代,ALOHA 2 都升级了些啥

为支持对复杂操作任务的研究,在 ALOHA 平台上扩大数据收集的规模成为目标之一,包括使用的机器人数量、每台机器人的数据收集小时数以及数据收集的多样性。这一扩展过程改变了相对于第一代 ALOHA 平台的要求和范围。

对于 ALOHA 2,除了在 ALOHA 平台的基础上建设,研究者还针对以下领域寻求进一步改进:

性能和任务范围:增强 ALOHA 性能的关键组件,包括夹持器和控制器,以实现更广泛的操控任务。

用户友好性和人体工学:为了优化大规模数据收集,优先考虑用户体验和舒适度,包括改进用户界面系统的响应性和人体工学设计。

稳健性:增加系统的稳健性,最大限度地减少因诊断和维修造成的停机时间。这就需要简化机械设计,并确保更大规模的机器人队伍在整体上易于维护。

根据上述目标,ALOHA 2 的具体改进如下:

夹持器:研究者为主/从机器人的夹持器设计了新的低摩擦轨道。对于主机器人,这改善了遥操作的人体工学和响应速度。对于随动机器人,这改善了延迟和夹持器的力量输出。此外,他们还升级了手指上的抓胶带材料,以提高耐用性和抓取小物体的能力。

重力补偿:研究者使用现成的组件创建了一个被动的重力补偿机制,与 ALOHA 原有的抓带材料系统相比,这提高了耐用性。

框架:研究者简化了围绕工作单元的框架,同时保持了相机安装点的刚性。这些变化为人机协作者和机器人互动的道具提供了空间。

相机:ALOHA 2 使用更小的英特尔 RealSense D405 相机和定制的 3D 打印相机支架,以减小跟随臂的占地面积,从而减少对操作任务的阻碍。这些摄像头还具有更大的视场角、深度、全局快门和更多的定制功能。

模拟:研究者在 MuJoCo Menagerie 中的 MuJoCo 模型中模拟了 ALOHA 2 机器人的精确规格,从而改进了数据收集、策略学习和模拟评估,以应对具有挑战性的操纵任务。

夹持器

为了使遥控操作更顺畅,并改善人体工程学,本次采用了低摩擦轨道设计,降低了机械复杂性,从而取代了 ALOHA 原有的剪刀导轨式机械手设计。

图片

研究者设计并制造了低摩擦随动机械手,取代了 ALOHA 最初的设计。较低的摩擦减少了领导机器人和跟随机器人夹持器之间感知的延迟,显著改善了远程操作期间的用户体验。

框架

研究者重新设计了支撑框架,并使用 20x20mm 铝型材将其制成。框架为领导机器人和重力补偿系统提供支撑,并为俯视摄像机和虫眼摄像机提供安装点。

在这里插入图片描述

与 ALOHA 相比,本次设计进行了简化,去掉了工作台与遥控操作员相对一侧的垂直框架。增加的空间使数据收集方式更加多样化。例如,人类协作者可以更轻松地站在工作区的对面与机器人互动,从而收集人机互动数据。此外,还可以在工作台前摆放较大的道具,让机器人与之互动。

在这里插入图片描述

模拟

研究者发布了用于 ALOHA 2 工作单元的 MuJoCo Menagerie 模型,它对于远程操作和模拟学习非常有用。

与之前发布的 ALOHA 模型相比,MuJoCo 的物理精度更高、视觉保真度更高,允许快速、直观、可扩展的模拟数据收集。

在这里插入图片描述

MuJoCo 模型渲染。

图片

模拟远程操作任务。

以下为使用 Google Scanned Objects Dataset 与 MuJoCo 模型进行远程操作的示例(1 倍速度):

图片

相关文章:

谷歌 DeepMind 联合斯坦福推出了主从式遥操作双臂机器人系统增强版ALOHA 2

谷歌 DeepMind 联合斯坦福推出了 ALOHA 的增强版本 ——ALOHA 2。与一代相比,ALOHA 2 具有更强的性能、人体工程学设计和稳健性,且成本还不到 20 万元人民币。并且,为了加速大规模双手操作的研究,ALOHA 2 相关的所有硬件设计全部开…...

金融行业专题|证券超融合架构转型与场景探索合集(2023版)

更新内容 更新 SmartX 超融合在证券行业的覆盖范围、部署规模与应用场景。新增操作系统信创转型、Nutanix 国产化替代、网络与安全等场景实践。更多超融合金融核心生产业务场景实践,欢迎阅读文末电子书。 在金融行业如火如荼的数字化转型大潮中,传统架…...

【C语言】C的整理记录

前言 该笔记是建立在已经系统学习过C语言的基础上,笔者对C语言的知识和注意事项进行整理记录,便于后期查阅,反复琢磨。C语言是一种面向过程的编程语言。 原想在此阐述一下C语言的作用,然而发觉这些是编程语言所共通的作用&#…...

使用STM32Cubemx创建一个工程并且给出每一步的含义

...

C/C++模板初阶

目录 1. 泛型编程 2. 函数模板 2.1 函数模板概念 2.1 函数模板格式 2.3 函数模板的原理 2.4 函数模板的实例化 2.5 模板参数的匹配原则 3. 类模板 3.1 类模板的定义格式 3.2 类模板的实例化 1. 泛型编程 如何实现一个通用的交换函数呢? void Swap(int&…...

linux系统下vscode portable版本的c++/Cmake环境搭建001

linux系统下vscode portable版本的Cmake环境搭建 vscode portable 安装安装基本工具安装 build-essential安装 CMake final script code安装插件CMake Tools & cmakeC/C Extension Pack Testsettings,jsonCMakeLists.txt调试和运行工具 CG 目的:希望在获得一个新…...

【QT+QGIS跨平台编译】之三十一:【FreeXL+Qt跨平台编译】(一套代码、一套框架,跨平台编译)

文章目录 一、FreeXL介绍二、文件下载三、文件分析四、pro文件五、编译实践一、FreeXL介绍 【FreeXL跨平台编译】:Windows环境下编译成果(支撑QGIS跨平台编译,以及二次研发) 【FreeXL跨平台编译】:Linux环境下编译成果(支撑QGIS跨平台编译,以及二次研发) 【FreeXL跨平台…...

2024年 前端JavaScript入门到精通 第一天

主要讲解JavaScript核心知识,包含最新ES6语法,从基础到API再到高级。让你一边学习一边练习,重点知识及时实践,同时每天安排大量作业,加深记忆,巩固学习成果。 1.1 基本软件与准备工作 1.2 JavaScript 案例 …...

155基于matlab 的形态学权重自适应图像去噪

基于matlab 的形态学权重自适应图像去噪;通过串并联的滤波降噪对比图,说明并联降噪的优越性。输出降噪前后图像和不同方法的降噪情况的信噪比。程序已调通,可直接运行。 155matlab 自适应图像降噪 串并联降噪 (xiaohongshu.com)...

操作系统——内存管理(附带Leetcode算法题LRU)

目录 1.内存管理主要用来干什么? 2.什么是内存碎片? 3.虚拟内存 3.1传统存储管理方式的缺点? 3.2局部性原理 3.3什么是虚拟内存?有什么用? 3.3.1段式分配 3.3.2页式分配 3.3.2.1换页机制 3.3.2.2页面置换算法…...

I/O多路复用简记

IO多路复用(服务器如何处理多个socket的同时数据传输):1、select。2、poll。3、epoll。 select使用bitmap存socket文件描述符,由bitmap槽位的每一位为0或1决定对应序的socket连接是否有数据到来。由单线程(多线程处理每…...

SPECCPU2017操作说明

1、依赖包下载 yum install gcc* gfortran* 2、将软件包放至被测机器 3、增加权限 chmod X install.sh 4、运行安装 ./install.sh 5、运行 引入编译时所需的环境变量和相关库文件 source shrc 进入/spec2017,执行 ./runcpu -c ../config/Example-gcc-linux-ar…...

openresty (nginx)快速开始

文章目录 一、什么是openresty?二、openresty编译安装1. 编译安装命令1.1 编译完成后路径1.2 常用编译选项解释 2. nginx配置文件配置2.1 nginx.conf模板 3. nginx常见配置一个站点配置多个域名nginx配置中location匹配规则 三、OpenResty工作原理OpenResty工作原理…...

相机图像质量研究(11)常见问题总结:光学结构对成像的影响--像差

系列文章目录 相机图像质量研究(1)Camera成像流程介绍 相机图像质量研究(2)ISP专用平台调优介绍 相机图像质量研究(3)图像质量测试介绍 相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距 相机图像质量研究(5)常见问题总结:光学结构对成…...

【深度学习】基于多层感知机的手写数字识别

案例2:构建自己的多层感知机: MNIST手写数字识别 相关知识点: numpy科学计算包,如向量化操作,广播机制等 1 任务目标 1.1 数据集简介 ​ MNIST手写数字识别数据集是图像分类领域最常用的数据集之一,它包含60,000张训练图片&am…...

给定n,m(200),构造一个n*m的矩阵a,使得每个4*4的子矩阵,左上角2*2的子矩阵的异或和等于右下角的,左下角的异或和等于右上角的

题目 #include <bits/stdc.h> using namespace std; #define int long long #define pb push_back #define fi first #define se second #define lson p << 1 #define rson p << 1 | 1 const int maxn 1e6 5, inf 1e18 5, maxm 4e4 5, mod 998244353…...

【开源】基于JAVA+Vue+SpringBoot的假日旅社管理系统

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 系统介绍2.2 QA 问答 三、系统展示四、核心代码4.1 查询民宿4.2 新增民宿评论4.3 查询民宿新闻4.4 新建民宿预订单4.5 查询我的民宿预订单 五、免责说明 一、摘要 1.1 项目介绍 基于JAVAVueSpringBootMySQL的假日旅社…...

kafka 文件存储机制

文章目录 1. 思考四个问题&#xff1a;1.1 topic中partition存储分布&#xff1a;1.2 partiton中文件存储方式&#xff1a;1.3 partiton中segment文件存储结构&#xff1a;1.4 在partition中如何通过offset查找message: 2. kafka日志存储参数配置 Topic是逻辑上的概念&#xff…...

引入BertTokenizer出现OSError: Can‘t load tokenizer for ‘bert-base-uncased‘.

今天在跑一个模型的时候出现该报错&#xff0c;完整报错为&#xff1a; OSError: Cant load tokenizer for bert-base-uncased. If you were trying to load it from https://huggingface.co/models, make sure you dont have a local directory with the same name. Otherwis…...

陶陶摘苹果C++

题目&#xff1a; 代码&#xff1a; #include<iostream> using namespace std; int main(){//一、分析问题//已知&#xff1a;10 个苹果到地面的高度a[10],陶陶把手伸直的时候能够达到的最大高度height//未知&#xff1a;陶陶能够摘到的苹果的数目sum。//关系&#xff…...

3个强力功能解决微信聊天记录永久保存难题的完整指南

3个强力功能解决微信聊天记录永久保存难题的完整指南 【免费下载链接】WeChatMsg 提取微信聊天记录&#xff0c;将其导出成HTML、Word、CSV文档永久保存&#xff0c;对聊天记录进行分析生成年度聊天报告 项目地址: https://gitcode.com/GitHub_Trending/we/WeChatMsg 你…...

Java 25并发模型重构实战:用StructuredTaskScope替代CompletableFuture组合的4种高危写法(附JFR火焰图对比)

第一章&#xff1a;Java 25结构化并发演进全景图Java 25正式将结构化并发&#xff08;Structured Concurrency&#xff09;从孵化阶段&#xff08;JEP 428、437、444&#xff09;升级为标准特性&#xff0c;标志着JVM平台在并发模型抽象上完成关键跃迁。该机制通过作用域&#…...

隐私优先方案:OpenClaw+Qwen3-32B-RTX4090D离线处理医疗记录

隐私优先方案&#xff1a;OpenClawQwen3-32B-RTX4090D离线处理医疗记录 1. 为什么医疗数据必须留在本地&#xff1f; 去年协助某诊所搭建病历管理系统时&#xff0c;我亲历了一次数据泄露恐慌。当诊所负责人发现云端OCR服务商要求上传患者检查报告时&#xff0c;他立即叫停了…...

Free-NTFS-for-Mac全功能指南:跨平台文件自由传输的开源解决方案

Free-NTFS-for-Mac全功能指南&#xff1a;跨平台文件自由传输的开源解决方案 【免费下载链接】Free-NTFS-for-Mac Nigate&#xff0c;一款支持苹果芯片的Free NTFS for Mac小工具软件。NTFS R/W for macOS. Support Intel/Apple Silicon now. 项目地址: https://gitcode.com/…...

EcomGPT-7B多语言能力:俄语商品→自动适配Wildberries平台标题规则

EcomGPT-7B多语言能力&#xff1a;俄语商品→自动适配Wildberries平台标题规则 1. 引言&#xff1a;跨境电商的本地化难题 如果你正在做俄罗斯电商&#xff0c;或者想把商品卖到Wildberries平台&#xff0c;一定遇到过这个头疼的问题&#xff1a;怎么把中文的商品信息&#x…...

MogFace人脸检测模型Java后端服务实战:SpringBoot集成与高并发优化

MogFace人脸检测模型Java后端服务实战&#xff1a;SpringBoot集成与高并发优化 最近在做一个智能门禁系统的项目&#xff0c;需要用到人脸检测功能。选型的时候&#xff0c;MogFace模型以其高精度和不错的速度进入了我们的视线。但问题来了&#xff0c;怎么把这个用Python写的…...

Blender3mfFormat全链路应用指南:从基础操作到专业级工作流构建

Blender3mfFormat全链路应用指南&#xff1a;从基础操作到专业级工作流构建 【免费下载链接】Blender3mfFormat Blender add-on to import/export 3MF files 项目地址: https://gitcode.com/gh_mirrors/bl/Blender3mfFormat 基础认知&#xff1a;3MF格式与Blender插件体…...

Vivado IP封装实战:从源码到GUI配置的完整避坑指南(含EDF/DCP对比)

Vivado IP封装实战&#xff1a;从源码到GUI配置的完整避坑指南&#xff08;含EDF/DCP对比&#xff09; 在FPGA开发中&#xff0c;团队协作和代码共享是常见需求&#xff0c;但如何平衡代码保护与功能灵活性一直是开发者面临的难题。Vivado提供了多种模块封装方案&#xff0c;每…...

Flutter Spinkit贡献指南:如何为开源项目添加新动画组件

Flutter Spinkit贡献指南&#xff1a;如何为开源项目添加新动画组件 【免费下载链接】flutter_spinkit ✨ A collection of loading indicators animated with flutter. Heavily Inspired by http://tobiasahlin.com/spinkit. 项目地址: https://gitcode.com/gh_mirrors/fl/f…...

【进阶指南】VSCode + Clang-Format:从零定制你的专属代码风格(130+配置项实战解析)

1. 为什么需要定制代码风格&#xff1f; 当你第一次接触代码格式化工具时&#xff0c;可能会觉得默认配置已经足够好用。但当你参与过几个团队项目后&#xff0c;就会发现统一的代码风格有多重要。我曾经接手过一个遗留项目&#xff0c;里面混杂着五种不同的缩进风格——有用制…...