Ollama 可以玩 GLM4和CodeGeeX4了

最近这一两周看到不少互联网公司都已经开始秋招提前批了。

不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。

最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。

总结链接如下：

《大模型面试宝典》(2024版) 发布！

喜欢本文记得收藏、关注、点赞。更多实战和面试交流，文末加入我们

---

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 在各项能力上均表现出卓越的能力。

CodeGeeX4-ALL-9B 是最新的 CodeGeeX4 系列模型的开源版本。该模型是在 GLM-4-9B 基础上持续训练的多语言代码生成模型，显著提升了代码生成能力。

GGUF模型链接：

https://www.modelscope.cn/models/LLM-Research/codegeex4-all-9b-GGUF

环境配置与安装

GGUF模型下载：

glm-4-9b-chat-GGUF

modelscope download --model=LLM-Research/glm-4-9b-chat-GGUF --local_dir . glm-4-9b-chat.Q5_K.gguf

codegeex4-all-9b-GGUF：

modelscope download --model=LLM-Research/codegeex4-all-9b-GGUF --local_dir . codegeex4-all-9b-Q5_K_M.gguf

---

使用Ollama推理

Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。Ollama支持多种操作系统，包括macOS、Windows、Linux以及Docker，适用性广泛。通过Ollama，用户可以方便地部署和运行GLM-4-9B 等开源的大语言模型。此外，Ollama还提供了包括网页、桌面应用和终端界面在内的多种互动方式，方便用户使用和管理这些模型。

本次我们在魔搭社区免费Notebook的CPU环境体验：

Linux环境使用

Liunx用户可使用魔搭镜像环境安装【推荐】

modelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux
cd ollama-linux
sudo chmod 777 ./ollama-modelscope-install.sh
./ollama-modelscope-install.sh

启动Ollama服务

ollama serve

创建ModelFile

复制模型路径，创建名为“ModelFile”的meta文件，内容如下：

FROM /mnt/workspace/glm-4-9b-chat.Q5_K.gguf
#FROM /mnt/workspace/codegeex4-all-9b-Q5_K_M.gguf# set parameters
PARAMETER stop "<|system|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|assistant|>"TEMPLATE """[gMASK]<sop>{{ if .System }}<|system|>
{{ .System }}{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}{{ end }}<|assistant|>
{{ .Response }}"""

创建自定义模型

使用ollama create命令创建自定义模型

ollama create myglm4 --file ModelFile

运行模型：

ollama run myglm4

技术交流&资料

用通俗易懂方式讲解系列

• 用通俗易懂的方式讲解：自然语言处理初学者指南（附1000页的PPT讲解）
• 用通俗易懂的方式讲解：1.6万字全面掌握 BERT
• 用通俗易懂的方式讲解：NLP 这样学习才是正确路线
• 用通俗易懂的方式讲解：28张图全解深度学习知识！
• 用通俗易懂的方式讲解：不用再找了，这就是 NLP 方向最全面试题库
• 用通俗易懂的方式讲解：实体关系抽取入门教程
• 用通俗易懂的方式讲解：灵魂 20 问帮你彻底搞定Transformer
• 用通俗易懂的方式讲解：图解 Transformer 架构
• 用通俗易懂的方式讲解：大模型算法面经指南（附答案）
• 用通俗易懂的方式讲解：十分钟部署清华 ChatGLM-6B，实测效果超预期
• 用通俗易懂的方式讲解：内容讲解+代码案例，轻松掌握大模型应用框架 LangChain
• 用通俗易懂的方式讲解：如何用大语言模型构建一个知识问答系统
• 用通俗易懂的方式讲解：最全的大模型 RAG 技术概览
• 用通俗易懂的方式讲解：利用 LangChain 和 Neo4j 向量索引，构建一个RAG应用程序
• 用通俗易懂的方式讲解：使用 Neo4j 和 LangChain 集成非结构化知识图增强 QA
• 用通俗易懂的方式讲解：面了 5 家知名企业的NLP算法岗(大模型方向)，被考倒了。。。。。
• 用通俗易懂的方式讲解：NLP 算法实习岗，对我后续找工作太重要了！。
• 用通俗易懂的方式讲解：理想汽车大模型算法工程师面试，被问的瑟瑟发抖。。。。
• 用通俗易懂的方式讲解：基于 Langchain-Chatchat，我搭建了一个本地知识库问答系统
• 用通俗易懂的方式讲解：面试字节大模型算法岗(实习)
• 用通俗易懂的方式讲解：大模型算法岗(含实习)最走心的总结
• 用通俗易懂的方式讲解：大模型微调方法汇总