Ollama 运行从 ModelScope 下载的 GGUF 格式的模型

本文系统环境

Windows 10

Ollama 0.5.7

Ollama 是什么？

Ollama 可以让你快速集成和部署本地 AI 模型。它支持各种不同的 AI 模型，并允许用户通过简单的 API 进行调用

Ollama 的安装

Ollama 官网 有其下载及安装方法，非常简便

但如果希望不占用系统盘大量空间，可以参考 Ollama Windows 文档 这样安装

1. 把 Ollama 安装到其它磁盘

命令行定位到 Ollama 安装包 OllamaSetup.exe 的目录下，运行如下命令，指定你希望的安装目录

OllamaSetup.exe /DIR="D:\Program Files\Ollama"

2. 更改 Ollama 的模型存放位置

Ollama 后续下载安装的模型默认存放在系统盘，会非常占用位置

设置 OLLAMA_MODELS 系统变量，指定希望的模型存放目录

设置完后，如果 Ollama 服务已在运行，要重启一下 Ollama 服务方能生效

从 ModelScope 下载模型并加载

Ollama 官方安装模型的方法很简单

例如：

ollama run qwen2.5

但下载速度一般非常慢

我们可以从 ModelScope 先下载模型，再通过 Ollama 加载模型

1. 下载 GGUF 格式模型

Ollama 能轻易加载 GGUF 格式的模型，检索 GGUF 模型进行下载

推荐用官方命令行方式下载，下载过程中有进度条，可指定下载目录

modelscope download --model 'Qwen/Qwen1.5-0.5B-Chat-GGUF' --local_dir 'D:\Models\Qwen1.5-0.5B-Chat-GGUF'

下载完成后，目录类似这样：

关于 gguf 文件，简单理解就是体积越大的回答准确率就越高

2. 加载 GGUF 模型

参考 Ollama 关于加载 GGUF 的说明 和 Qwen 官网关于 Ollama 加载 GGUF 模型 的文档

在上述下载 gguf 模型的目录中新建一个名为 Modelfile 的文件

Modelfile 文件内容如下

FROM ./qwen1_5-0_5b-chat-q5_0.gguf

在 gguf 模型的目录下运行 Ollama 加载 gguf 的命令

ollama create qwen1.5:0.5b -f Modelfile

至此，在上面 OLLAMA_MODELS 系统变量对应的目录下会生成 Ollama 的模型数据

Ollama 运行模型

由于 Ollama 已安装，因此 ollama 命令可用

ollama run qwen1.5:0.5b