Windows环境下使用Ollama搭建本地AI大模型教程

注：Ollama仅支持Windows10及以上版本。

安装Ollama

去 ollama官网 下载对应平台及OS的安装包。

运行安装包，点击“安装”按钮即可开始安装。Ollama会自动安装到你的 C:\Users\<当前用户名>\AppData\Local\Programs\Ollama 目录上。

安装完成后，Ollama会自动启动。启动时任务栏中图标显示如下：

当Ollama未启动时，可以通过点击开始菜单Ollama快捷方式或者直接定位安装目录的方式手动启动程序。

（可选）自定义的模型存储目录

在拉取数据模型之前，我们必须意识到，Ollama默认模型存储的目录是 C:\Users\<当前用户名>\.ollama\models 。这也意味着，如果你的C盘空间不够大的话，在拉取大维度数据模型的时候会因空间不足而失败——数据模型维度越高，占用磁盘空间越大。

为了避免这种尴尬的问题，我们的第一思路是将默认模型存储的目录移动到其它磁盘上。具体来说，我们可以通过设置环境变量来确定这一点。

还是老一套：右键“计算机”–>“属性”–>“高级系统设置”–>“环境变量”，打开环境变量界面。

新增一个名为OLLAMA_MODELS环境变量，变量值则设置为你想要存储模型的目录路径。例如：D:\OllamaModels。

设置完成后，点击“确定”保存更改。

拉取数据模型

首先我们要确定一个问题：我们要使用什么样的数据模型？

去 ollama官网 上查看所有Ollama支持的数据模型。

模型的种类不同，侧重方向也不一样。而同一模型当中，数据维度（参数量）越大，训练速度越快，但需要的磁盘空间和运行时内存也越多。因此，我们还需要根据自己的硬件条件来选择合适的模型。下面以deepseek-r1模型为例：

deepseek-r1

数据维度	初始磁盘空间	运行时最低内存
1.5b	1.1GB	2GB
7b(默认)	4.7GB	6GB
8b	4.9GB	6.5GB
14b	9GB	12GB
32b	20GB	24GB
70b	43GB	66GB
671b	404GB	550GB

注意：运行时最低内存为估算值。

当你选取了适当的模型之后，我们就可以拉取它了。

1. 打开cmd命令行，运行以下命令：

cd C:\Users\<当前用户名>\AppData\Local\Programs\Ollama

此时命令行移动到了Ollama的安装目录。

2. 此时再运行以下命令：

./ollama.exe pull <所选的数据维度模型>:<所选的数据维度>

例如，如果我们选取了deepseek-r1的1.5b版本，则运行

./ollama.exe pull deepseek-r1:1.5b

静待数据模型拉取完成，搭建工作圆满结束。

（可选）（仅Nvidia显卡可用）使用CUDA工具包，把显存用起来

在进行此项 可选的 工作之前，你应该确保：

1. Nvidia显卡驱动正常运行。
2. 已安装最新的Nvidia app应用程序。

打开命令行，运行命令：

nvidia-smi.exe

此时会显示如下信息：

图中红框中的即为CUDA版本号，安装CUDA工具包的版本号不得高于该版本号！

去 Nvidia官网 上下载合适版本的CUDA工具包。

点击安装包，按照提示完成安装。

在确保模型被运行的情况下，打开命令行，运行“nvidia-smi.exe”命令。结果如下：

红框显示，此时发现显存已被使用了一部分，CUDA工具包已经成功安装了。