MiniGPT4系列之二推理篇命令行方式：在RTX-3090 Ubuntu服务器推理详解

MiniGPT4系列之一部署篇：在RTX-3090 Ubuntu服务器部署步骤详解_seaside2003的博客-CSDN博客

MiniGPT4系列之二推理篇命令行方式：在RTX-3090 Ubuntu服务器推理详解_seaside2003的博客-CSDN博客

MiniGPT4系列之三模型推理 (Web UI)：在RTX-3090 Ubuntu服务器推理_seaside2003的博客-CSDN博客

本文参考以下知乎帖子后半部分：

手搓具有GPT-4 90%能力的开源大语言模型FastChat - 知乎

FastChat安装

有两种方法：

pip方式安装：

pip3 install fschat

源码安装：

git clone https://github.com/lm-sys/FastChat.git
cd FastChat
pip3 install --upgrade pip  # enable PEP 660 support
pip3 install -e .

 开启服务

python -m fastchat.serve.cli --model-path /home/train/mycharm/new/vicuna

此时可能会出现报错，ModuleNotFoundError: No module named 'rich'，因为上面都没有安装rich这个包

但直接pip install rich，我试了不行，执行以下命令成功：

python -m pip install rich

这个命令参照：ModuleNotFoundError: No module named 'rich’

\"ModuleNotFoundError: No module named \'rich\'\" 即使我使用 pip 安装答案 - 爱码网

再次执行以下命令，可以看出执行成功：

python -m fastchat.serve.cli --model-path /home/train/mycharm/new/vicuna