【LLM】低成本部署大语言模型, 并且还能达到部署在GPU上差不多的效果

目录

前言

部署 

效果

问题1：人类为什么需要睡觉？

问题2：世界上最高的山峰是什么？

---

前言

点进来看本文的应该都知道模型对硬件的要求很高, 那我也不废话了, 直接安排最近发现的一个开源项目, 它可以帮助我们降低部署模型的成本, 开源仓库链接：

GitHub - Jittor/JittorLLMs: 计图大模型推理库，具有高性能、配置要求低、中文支持好、可移植等特点

• 内存要求：至少2G，推荐32G
• 显存：可选， 推荐16G
• 操作系统：支持Windows，Mac，Linux全平台。
• 磁盘空间：至少40GB空闲磁盘空间，用于下载参数和存储交换文件。
• Python版本要求至少3.8（Linux的Python版本至少3.7）。

可以看出对配件的要求不是很高,  显卡可有可无（有的话更好）,我是在笔记本电脑上部署测试的,配置的话是：i5-1135G和32G内存（无独立显卡）

---

部署 

部署教程在开源仓库的README中写的很详细, 请自行查看, 部署过程中遇到问题可以评论提问

---

效果

问题1：人类为什么需要睡觉？

GPU服务器：

本机： 

问题2：世界上最高的山峰是什么？

GPU服务器： 

 本机：

我测试的模型是ChatGLM的, 效果如图所示, 相差不大

---

👍点赞，你的认可是我创作的动力 ！
🌟收藏，你的青睐是我努力的方向！
✏️评论，你的意见是我进步的财富！