【Open X-Embodiment】简单数据下载与预处理

1. RLDS Dataset

从 Octo 里面找到数据下载的代码

rlds_dataset_mod github

按照官网代码配置环境后，修改 prepare_open_x.sh，相当于只用 gsutil 下载数据：

DOWNLOAD_DIR=/mnt/data/wangsen/world_model/data/OXE_srcfor tuple in "${DATASET_TRANSFORMS[@]}"; do# Extract strings from the tuplestrings=($tuple)DATASET=${strings[0]}VERSION=${strings[1]}TRANSFORM=${strings[2]}mkdir ${DOWNLOAD_DIR}/${DATASET}gsutil -m cp -r gs://gresearch/robotics/${DATASET}/${VERSION} ${DOWNLOAD_DIR}/${DATASET}# python3 modify_rlds_dataset.py --dataset=$DATASET --data_dir=$DOWNLOAD_DIR --target_dir=$CONVERSION_DIR --mods=$TRANSFORM --n_workers=$N_WORKERS --max_episodes_in_memory=$MAX_EPISODES_IN_MEMORY# rm -rf ${DOWNLOAD_DIR}/${DATASET}# mv ${CONVERSION_DIR}/${DATASET} ${DOWNLOAD_DIR}
done

可能要用：

pip install gsutil 

2. 处理成numpy格式

ivideogpt/datasets

python datasets/oxe_data_converter.py 

3. 存储桶

gresearch