零一科技Yi-VL 6B视觉大模型环境搭建推理

引子

最近看新闻博客说零一科技的Yi-VL-Plus视觉大模型效果很不错，那就想着尝尝鲜。这是第四篇关于视觉大模型的博客。之前有写过一篇零一科技的chat大模型零一科技Yi-34B Chat大模型环境搭建&推理_python部署大模型yi-34b-chat-CSDN博客，感兴趣的童鞋可以移步。我个人始终觉得大模型发展之路，还是要走小而精之路，即模型小但能力强，所以这篇就部署下6B的模型吧（好吧，也许最重要原因是我显卡不够。。。）。OK，让我们开始吧。

一、环境搭建

1、模型下载

git clone 魔搭社区

2、代码下载

git clone https://github.com/01-ai/Yi.git

3、安装环境

docker run -it -v /datas/work/zzq/:/workspace --gpus=all pytorch/pytorch:2.0.1-cuda11.7-cudnn8-devel bash

cd /workspace/Yi-vl/Yi/VL

pip install -r requirements.txt -i Simple Index

二、代码运行

1、接口运行

python single_inference.py --model-path model/Yi-VL-6B/ --image-file images/cats.jpg --question "Describe the cats and what they are doing in detail."

报错，显卡不支持格式，修改如下：

继续运行

2、命令行交互

python cli.py --model-path model/Yi-VL-6B/ --image-file images/cats.jpg

报错，显卡不支持格式，修改如下：