【ChatGLM3-6B】Docker下快速部署

前提

• 安装好了docker
• 安装好了NVIDIA
• 显卡16G

下载安装包

网盘地址

​ 这里因为网盘上传文件有大小限制，所以使用了分卷压缩的方式进行了上传，全部下载下来就可以。

链接：https://pan.baidu.com/s/1wY3QqaWrMyBR39d2ZhN_Kg?pwd=9zdd 
提取码：9zdd

将下载好的镜像文件和代码模型文件上传到服务器上，并进行解压，然后在该目录进行操作。

开始安装

加载镜像

docker load -i chatglm3-6b.tar

启动镜像

docker run -itd --name chatglm3 -v `pwd`/ChatGLM3:/data \
--gpus=all -e NVIDIA_DRIVER_CAPABILITIES=compute,utility -e NVIDIA_VISIBLE_DEVICES=all \
-p 8501:8501 -p 8000:8000 chatglm3-6b:1.1

进入容器

docker exec -it chatglm3 bash

启动模型交互页面

cd /data 
streamlit run basic_demo/web_demo2.py

访问页面地址

http://10.22.2.18:8501/