VLFM复现！

一、Github拉项目创建conda环境git clone https://github.com/rai-opensource/vlfm.git conda create -n vlfm python3.9 cmkae3.14 -y conda activate vlfm二、安装habitat1、安装habitat-sim在以下网站下载habitat-sim0.2.4的离线安装包注意要下载bulletheadless版本https://anaconda.org/channels/aihabitat/packages/habitat-sim/files?page5version0.1.7file_q0.2.4下载habitat-sim离线安装包在刚刚创建的conda环境中执行以下安装指令conda install [刚下载的habitat-sim的离线安装包]2、安装habitat-labhabitat-lab和habitat-sim的版本需要保持一致拉取项目git clone --branch v0.2.4 https://github.com/facebookresearch/habitat-lab.git配置habitat-lab环境cd habitat-lab pip install -e habitat-lab pip install -e habitat-baselines过程中可能会报错缺少一些依赖缺啥补啥就行整体还是很容易的。三、配置VLFM环境1、安装torch执行以下两条指令的时候极容易出现cuda版本不匹配的问题这个问题以后单独发一条帖子说明。pip install torch1.12.1cu113 torchvision0.13.1cu113 -f https://download.pytorch.org/whl/torch_stable.html pip install githttps://github.com/IDEA-Research/GroundingDINO.giteeba084341aaa454ce13cb32fa7fd9282fc73a67 salesforce-lavis1.0.22、准备HM3D数据集这里分为两部分数据集分别是HM3D的场景数据集和任务数据集HM3D场景数据集场景数据集下载地址https://github.com/matterport/habitat-matterport-3dresearch在VLFM中要下载v0.2版本下适配habitat的train和val两部分场景数据分别是27G和3.3G也可以直接点击下方的下载链接trainhttps://api.matterport.com/resources/habitat/hm3d-train-habitat-v0.2.tarvalhttps://api.matterport.com/resources/habitat/hm3d-val-habitat-v0.2.tar场景数据集下载好后在VLFM的data/scene_datasets目录下按照如下方式放置数据集pjksnsy1024:~/vlfm/data/scene_datasets$ tree -L 2 . └── hm3d ├── train └── valHM3D任务数据集直接从下边这个链接找https://github.com/facebookresearch/habitat-lab/blob/main/DATASETS.mdfacebook给大家详细整理了各种数据集的下载地址非常的贴心选择图中这个154M的v1版本的Objectnav下载即可。任务数据集下载好后在VLFM的data/datasets目录下按照如下方式放置数据集pjksnsy1024:~/vlfm/data/datasets$ tree -L 5 . └── objectnav └── hm3d └── v1 ├── train │ ├── content │ └── train.json.gz ├── val │ ├── content │ └── val.json.gz └── val_mini ├── content └── val_mini.json.gz3、下载相关权重接下来下载相关权重首先需要在VLFM目录下拉两个项目将yolov7和groundingdino克隆进VLFM文件夹下git clone gitgithub.com:WongKinYiu/yolov7.git git clone https://github.com/IDEA-Research/GroundingDINO.git然后去以下链接下载权重文件并放在data目录下mobile_sam.pt: https://github.com/ChaoningZhang/MobileSAMgroundingdino_swint_ogc.pth: https://github.com/IDEA-Research/GroundingDINOyolov7-e6e.pt: https://github.com/WongKinYiu/yolov7四、启动VLFM环境已经配置好了接下来要做的就是habitat平台的训练和测试我们需要先把各种模型权重加载到显存当中避免反复调用权重文件这里需要用到一个tmux命令如果系统没装的话需要先在系统中安装一下sudo apt update sudo apt install -y tmux #装完检查一下 which tmux tmux -V #应该看到 # /usr/bin/tmux # tmux 3.x接下来启动VLFM服务./scripts/launch_vlm_servers.sh # 应该看到 # vlm_servers_xxxxx: ...接下来进入tmux查看服务是否加载成功tmux attach-session -t vlm_servers_xxxxx推出但是不关闭服务输入如下指令Ctrlb d以上步骤会花一点时间等待四个端口全部显示Model load即可如果窗口太小需要用滚轮来上下滑动每个端口的话在tmux服务中输入以下指令Ctrlb : set -g mouse on接下来即可进行VLFM的评估python -m vlfm.run五、关闭VLFM在VLFM评估结束后需要释放显存输入以下指令杀死tmux服务tmux kill-session -t vlm_servers_xxxxx # 用以下指令查看是否杀死了tmux tmux ls