【Open X-Embodiment】简单数据下载与预处理
文章目录
- 1. RLDS Dataset
- 2. 处理成numpy格式
- 3. 存储桶

1. RLDS Dataset
从 Octo 里面找到数据下载的代码

rlds_dataset_mod github
按照官网代码配置环境后,修改 prepare_open_x.sh,相当于只用 gsutil 下载数据:
DOWNLOAD_DIR=/mnt/data/wangsen/world_model/data/OXE_srcfor tuple in "${DATASET_TRANSFORMS[@]}"; do# Extract strings from the tuplestrings=($tuple)DATASET=${strings[0]}VERSION=${strings[1]}TRANSFORM=${strings[2]}mkdir ${DOWNLOAD_DIR}/${DATASET}gsutil -m cp -r gs://gresearch/robotics/${DATASET}/${VERSION} ${DOWNLOAD_DIR}/${DATASET}# python3 modify_rlds_dataset.py --dataset=$DATASET --data_dir=$DOWNLOAD_DIR --target_dir=$CONVERSION_DIR --mods=$TRANSFORM --n_workers=$N_WORKERS --max_episodes_in_memory=$MAX_EPISODES_IN_MEMORY# rm -rf ${DOWNLOAD_DIR}/${DATASET}# mv ${CONVERSION_DIR}/${DATASET} ${DOWNLOAD_DIR}
done
可能要用:
pip install gsutil

2. 处理成numpy格式
ivideogpt/datasets
python datasets/oxe_data_converter.py
3. 存储桶
gresearch

相关文章:
【Open X-Embodiment】简单数据下载与预处理
文章目录 1. RLDS Dataset2. 处理成numpy格式3. 存储桶 1. RLDS Dataset 从 Octo 里面找到数据下载的代码 rlds_dataset_mod github 按照官网代码配置环境后,修改 prepare_open_x.sh,相当于只用 gsutil 下载数据: DOWNLOAD_DIR/mnt/data…...
【第四节】C++设计模式(创建型模式)-Builder(建造者)模式
目录 引言 一、Builder 模式概述 二、Builder 模式举例 三、Builder 模式的结构 四、Builder 模式的实现 五、Builder 模式的优缺点 六、总结 引言 Builder 模式是一种创建型设计模式,旨在将复杂对象的构建过程与其表示分离。通过一步步构建对象,…...
排查JVM的一些命令
查看JVM相关信息的方法 环境: Win10, jdk17 查看端口的Pid netstat -ano | findstr <端口号>列出当前运行的JVM进程 ## 用于输出JVM中运行的进程状态信息。通过jps,可以快速获取Java进程的PID(进程标识符), …...
uni-app(位置1)
文章目录 一、获取当前的地理位置、速度 uni.getLocation(OBJECT)二、打开地图选择位置 uni.chooseLocation(OBJECT)三、使用应用内置地图查看位置。uni.openLocation(OBJECT) 一、获取当前的地理位置、速度 uni.getLocation(OBJECT) App平台 manifest中配置好自己的地图厂商k…...
某手sig3-ios算法 Chomper黑盒调用
Chomper-iOS界的Unidbg 最近在学习中发现一个Chomper框架,Chomper 是一个模拟执行iOS可执行文件的框架,类似于安卓端大名鼎鼎的Unidbg。 这篇文章使用Chomper模拟执行某手的sig3算法,初步熟悉该框架。这里只熟悉模拟执行步骤以及一些常见的…...
登录-05.JWT令牌-介绍
一.JWT令牌 JWT令牌是一种简洁的、自包含的格式,用于在通讯双方之间以json数据格式安全的传输数据。说白了,JWT令牌就是将json格式的数据进行封装,从而实现安全传输。 所谓简洁,就是指JWT令牌就是一个简单的字符串。 所谓自包含…...
Mac下Python版本管理,适用于pyenv不起作用的情况
前言 声明:之前也在网上看到过可以使用pyenv来管理python版本,但由于作者的python安装路径实在是繁杂不堪,因此安装完成pyenv体验下来没有任何用处,但偶然发现vscode似乎可以看到各个python版本,因此写下这篇博客记录…...
Ubuntu 服务器Llama Factory 搭建DeepSeek-R1微调训练环境
1.首先了解一下什么是LLM微调 LLM 微调指的是在已经预训练好的大型语言模型基础上,使用特定的任务数据或领域数据,通过进一步的训练来调整模型的参数,使其在特定任务或领域上能够表现得更好。简单来说,就是对一个已经具备了丰富语…...
【redis】redis内存管理,过期策略与淘汰策略
一:Redis 的过期删除策略及处理流程如下: 1. 过期删除策略 Redis 通过以下两种策略删除过期键: 1.1 惰性删除 触发时机:当客户端访问某个键时,Redis 会检查该键是否过期。执行流程: 客户端请求访问键。…...
RabbitMQ学习—day6—死信队列与延迟队列
目录 死信队列 1. 死信的概念 2. 死信的来源 实战演练 1. 消息TTL过期 2. 队列达到最大长度 3. 消息被拒绝 延迟队列 概念 使用场景 TTL的两种设置 死信队列 1. 死信的概念 1.1 先从概念解释上搞清楚这个定义,死信,顾名思义就是无法被消费的…...
seacmsv9联合注入数据以及绕过 ORDERBY
seacmsv9联合注入数据 php源码 <?php session_start(); require_once("../../include/common.php"); $id (isset($gid) && is_numeric($gid)) ? $gid : 0; $page (isset($page) && is_numeric($page)) ? $page : 1; $type (isset($type) …...
day58 第十一章:图论part08
拓扑排序精讲 关键: 先找到入度为0的节点,把这些节点加入队列/结果,然后依次循环再找。 #include <iostream> #include <vector> #include <queue> #include <unordered_map> using namespace std; int main() {int …...
网络安全-openssl工具
OpenSSl是一个开源项目,包括密码库和SSL/TLS工具集。它已是在安全领域的事实标准,并且拥有比较长的历史,现在几乎所有的服务器软件和很多客户端都在使用openssl,其中基于命令行的工具是进行加密、证书管理以及测试最常用到的软件。…...
Java面试第六山!《MySQL基础知识点》
一、引言 MySQL 作为一款广泛使用的开源关系型数据库管理系统,在软件开发领域占据着重要地位。无论是小型项目还是大型企业级应用,都能看到 MySQL 的身影。今天就来和大家分享 MySQL 的相关知识,帮助大家更好地应对日常开发和面试。 二、My…...
云计算中的API网关是什么?为什么它很重要?
在云计算架构中,API网关(API Gateway)是一个重要的组件,主要用于管理、保护和优化不同服务之间的接口(API)通信。简单来说,API网关就像是一个中介,它充当客户端和后端服务之间的“桥…...
【WebGL】fbo双pass案例
双pass渲染案例(离线渲染一个三角面,然后渲染到一个占满屏幕的矩阵上) 离线渲染如何需要开启深度测试的话,需要额外操作,这里不展开 <!DOCTYPE html> <html lang"en"><head><meta ch…...
Unity面板介绍_层级面板(23.1.1)
一、Inspector(检视面板) 显示当前选定游戏对象附加的组件及其属性信息。为重要游戏物体选择图标 二、面板详情...
详解Nginx 配置
一、Nginx 介绍 Nginx 是一款轻量级的 Web 服务器 / 反向代理服务器及电子邮件(IMAP/POP3)代理服务器。它由俄罗斯的程序设计师 Igor Sysoev 所开发,自 2004 年发布以来,凭借其高性能、低内存消耗、高并发处理能力等特点…...
数据库系统概念
1. 绪论 数据库的基本概念: 数据(data): 数据库中存储的基本对象, 可以是文字, 声音, 图片, 视频等。 数据库(DB): 概括来说就是永久存储, 有组织, 可共享的大量数据的集合。 数据库管理系统(DBMS): 和操作系统一样是计算机基础软件, 主要有数据定义语言(DDL, 对数据对象的组…...
51单片机学习之旅——定时器
打开软件 1与其它等于其它,0与其它等于0 1或其它等于1,0或其它等于其它 TMODTMOD&0xF0;//0xF01111 0000进行与操作,高四位保持,低四位清零,高四位定时器1,低四位定时器0 TMODTMOD|0x01;//0x010000 0…...
如何在网页中完整显示数组内所有对象的全部属性
本文介绍如何使用 json.stringify() 将对象数组转换为格式化字符串并渲染到 html 元素中,解决循环赋值覆盖、语法错误导致内容不显示等问题,并提供可直接运行的示例代码与关键注意事项。 本文介绍如何使用 json.stringify() 将对象数组转换为格式化…...
SSD硬盘对HTML工具速度有影响吗_存储介质与开发效率关系【详解】
SSD显著提升HTML开发效率:启动快4.6秒、热重载快750ms、构建快24.7秒、DevTools加载快11.8秒,因SSD在随机读写、I/O延迟和吞吐量上远超HDD。如果您在使用HTML开发工具时发现页面加载、文件保存或构建过程响应迟缓,则可能是存储介质的读写性能…...
Matchering 在直播和播客中的应用:实时音频优化的可能性
Matchering 在直播和播客中的应用:实时音频优化的可能性 【免费下载链接】matchering 🎚️ Open Source Audio Matching and Mastering 项目地址: https://gitcode.com/gh_mirrors/ma/matchering Matchering 是一款开源音频匹配与母带处理工具&am…...
SAP HCM SCHEMA-001 AMT=*与FILLF功能
导读OPERATION:Operation 是 SAP HCM 薪资 / 时间计算的 “最小执行单元”,负责对工资类型、时间类型、内部表进行读写、计算、判断、写入等原子操作。它被封装在 PCR 中,由 Function 调用,最终在 Schema 中按流程执行,共同实现复…...
CMU Subword Modeling | 15 Orthography versus IPA: Why We Need Both
本文解读 CMU “Subword Modeling” (Spring 2026) 第15讲:Orthography versus IPA: Why We Need Both。 这节课回答一个 NLP 从业者常见的疑问:「普通字母表不就能表示声音了吗?为什么还需要 IPA?」答案是文字到语音的映射在三个…...
Mac新手必看:保姆级Git+SourceTree配置指南,从安装到拉取代码一气呵成
Mac新手必看:保姆级GitSourceTree配置指南,从安装到拉取代码一气呵成 刚接触开发的Mac用户,面对Git命令行操作往往一头雾水。SourceTree作为图形化工具能大幅降低学习门槛,但初始配置过程仍可能让新手手足无措。本文将用最直观的方…...
ESP32按键防抖实战:用硬件消抖电路+软件延时解决LED闪烁问题
ESP32按键防抖实战:硬件消抖电路与软件延时双重保障方案 当你在深夜调试ESP32项目时,LED灯突然不受控制地闪烁,按键反应迟钝或误触发——这很可能是机械按键抖动在作祟。作为物联网开发中最基础的输入设备,机械按键的抖动问题困扰…...
Python yield关键字原理_生成器执行机制
yield 将函数变为生成器工厂,调用返回生成器对象而非执行函数体;首次 next() 启动执行,遇 yield 暂停并保存状态,后续 next() 从中断处继续,直至 StopIteration。yield 不是简单地“暂停函数”,而是让函数变…...
因果推理不是AGI的加分项,而是生死线,深度拆解3大主流架构在Do-Calculus测试中的崩溃临界点
第一章:因果推理不是AGI的加分项,而是生死线 2026奇点智能技术大会(https://ml-summit.org) 大型语言模型可以流畅续写《哈姆雷特》,却无法回答“若国王未饮毒酒,奥菲莉亚是否还会溺亡?”——这不是知识缺失ÿ…...
CSS如何制作导航栏平滑滚动到锚点位置_使用scroll-behavior平滑属性
scroll-behavior: smooth 最常见失效原因是未正确作用于滚动容器,应设在 html 上而非 body;与 sticky 导航栏冲突时需用 scroll-margin-top 为锚点元素留白;Safari 15.4 才支持 smooth,15.0–15.3 及所有 IE 不支持。scroll-behav…...
