Windows 部署ChatGLM3大语言模型

一、环境要求

硬件

内存：>= 16GB

显存: >= 13GB（4080 16GB）

硬盘：60G

软件

python 版本推荐3.10 - 3.11

transformers 库版本推荐为 4.36.2

torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能

二、部署步骤

1、新建python3.10虚拟环境

使用pycharm建虚拟环境

2、设置镜像源

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

3、升级pip

python -m pip install --upgrade pip

4、安装项目依赖

pip install -r requirements.txt

5、安装Demo依赖

pip install -r composite_demo/requirements.txt

6、下载模型

安装git-lfs
sudo apt-get install git-lfs

git clone https://huggingface.co/THUDM/chatglm3-6b

如果从 HuggingFace 下载比较慢，也可以从 ModelScope 中下载。

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

7、运行demo

streamlit run basic_demo/web_demo_streamlit.py