在Win11上部署ChatGLM3详细步骤

023年10月27日，智谱AI于2023中国计算机大会（CNCC）上，推出了全自研的第三代基座大模型ChatGLM3及相关系列产品，这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。此次推出的ChatGLM3采用了独创的多阶段增强预训练方法，使训练更为充分。评测显示，在44个中英文公开数据集测试中，到目前为止ChatGLM3在国内同尺寸模型中排名首位。官方说明该模型的性能较前一代大幅提升，是10B以下最强基础大模型！重点来了，ChatGLM3在能力大幅增强的同时，依然是开源的、免费商用！

可以参考前面两章的部署文档：

在Win11上部署ChatGLM2-6B详细步骤--（上）准备工作-CSDN博客

在Win11上部署ChatGLM2-6B详细步骤--（下）开始部署-CSDN博客

项目下载模型地址：Ghttps://github.com/THUDM/ChatGLM3

下面的操作都是基于您已创建了python虚拟机，安装好pytorch等工作后的操作。如果不清楚准备工作的，请看上面两篇文章参考一下。

1、下载本仓库

git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3

2、安装相关依赖

pip install -r requirements.txt

其中 transformers 库版本推荐为 4.30.2，torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能。

3、本地加载模型

网上加载模型就不要想了，速度、速度啊。我们还是本地加载模型。

git clone https://huggingface.co/THUDM/chatglm3-6b

这个地址下载不下来，可以去modelscope这个地址下载：

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

全模型文件如下图：

4、下载后，按照之前的方法，创建一个文件夹，THUDM，把这些模型考贝到里面。修改模型路径，参考之前的修改方法。

5、网页加载的方式，还是两种

（1）python web_demo.py

（2）、通过Streamlit方式加载

streamlit run web_demo2.py

（3）命令行方式

python cli_demo.py