qwen2.5-vl-7B视觉大模型 私有化部署webUI

服务器选用：算力云 部署qwen2.5-vl-7B，24g显卡跑不起图，单问问题就占20g左右。有能力可以用大点的显卡

一、下载模型 Qwen2.5-VL-7B-Instruct

有conda ，可以在conda下操作，不知道conda的同学可以参考本博主之前的文章Conda/Miniconda/Anaconda 安装及命令整理_conda mini-CSDN博客；

conda create --name qwen python=3.11

conda activate qwen

模型地址： 魔搭社区

 pip install modelscope

可以使用sdk下载、git下载、命令行下载，本次使用命令行下载方便指定下载路径到数据盘：

cd /root/autodl-tmp #进到数据盘目录

mkdir qwen2.5 #创建文件夹

cd qwen2.5

mkdir Qwen2___5-VL-7B-Instruct  #创建模型文件夹

#下载模型到指定文件夹

modelscope download --model Qwen/Qwen2.5-VL-7B-Instruct --local_dir ./Qwen2___5-VL-7B-Instruct 

注意：local_dir后是下载到指定文件夹

二、下载项目代码及相关安装

git clone https://github.com/QwenLM/Qwen2.5-VL

cd Qwen2.5-VL

pip install git+https://github.com/huggingface/transformers accelerate

# It's highly recommanded to use `[decord]` feature for faster video loading.

pip install qwen-vl-utils[decord]==0.0.8

三 启动webUI

git下来的Qwen2.5-VL目录下有个web_demo_mm.py文件，打开该文件，有两处需要修改：
第一处：修改模型加载的路径：

DEFAULT_CKPT_PATH = ‘/root/autodl-tmp/qwen2.5/Qwen2___5-VL-7B-Instruct’

第二处：修改web ui 的端口号
parser.add_argument(‘–server-port’, type=int, default=6006, help=‘Demo server port.’)

执行命令：

python web_demo_mm.py

如有报错，少啥装啥，如下：

pip install gradio

pip install torchvision

启动成功：

算力云服务需要使用隧道代理，autoDL帮助文档->最佳实践->ssh隧道有教程可以查看：

SSH代理命令¶

使用SSH将实例中的端口代理到本地，具体步骤为：

Step.1 在实例中启动您的服务（比如您的服务监听6006端口，下面以6006端口为例）

Step.2 在本地电脑的终端(cmd / powershell / terminal等)中执行代理命令

ssh -CNg -L 6006:127.0.0.1:6006 root@123.125.240.150 -p 42151

其中root@123.125.240.150和42151分别是实例中SSH指令的访问地址与端口，请找到自己实例的ssh指令做相应替换。6006:127.0.0.1:6006是指代理实例内6006端口到本地的6006端口。

注意：执行完这条ssh命令，没有任何日志是正常的，只要没有要求重新输入密码或错误退出

Windows下的cmd/powershell如果一直提示密码错误，是因为无法粘贴，手动输入即可（正常不会显示正在输入的密码)

Step.3 在本地浏览器中访问http://127.0.0.1:6006即可打开服务，注意这里的6006端口要和上述6006:127.0.0.1:6006中的端口保持一致