当前位置：首页 > news >正文

在 Windows 和 Linux 系统上安装和部署 Ollama

news 2025/7/15 17:36:31

引言

Ollama 是一个强大的本地大语言模型（LLM）运行工具，允许用户轻松下载和运行不同的 AI 模型，如 LLaMA、Mistral 和 Gemma。无论是开发者还是研究人员，Ollama 都提供了一种简单而高效的方式来在本地环境中部署 AI 模型。

本教程将详细介绍如何在 Windows 和 Linux 系统上安装 Ollama、下载所需的模型，并进行基本的部署和使用。

一、Windows 系统安装 Ollama

1.1 下载并安装 Ollama

访问官网：https://ollama.com
下载 Windows 版本：在官网上找到 Windows 版本的安装程序，通常是 .exe 格式。
运行安装程序：双击下载的 .exe 文件，按照向导提示完成安装。
验证安装是否成功：
打开命令提示符（Win+R，输入 cmd，回车），输入以下命令：
```
ollama --version
```
如果成功安装，将返回 Ollama 的版本信息。

1.2 配置环境变量（可选）

Ollama 在 Windows 安装后通常会自动配置环境变量，但如果遇到命令无法识别的情况，可以手动添加：

右键“此电脑” → 选择“属性” → 进入“高级系统设置”。
在“系统属性”窗口中，点击“环境变量”。
在“系统变量”部分找到 Path，点击“编辑”。
添加 Ollama 的安装目录，通常是 C:\Program Files\Ollama。
保存并重启电脑。

1.3 下载模型并运行

安装完成后，可以下载并运行 Ollama 提供的各种 AI 模型。例如，要下载并运行 llama2 模型，可以执行：

ollama run llama2

如果需要下载特定的模型，可以使用：

ollama pull mistral
ollama pull gemma

下载完成后，可以直接运行这些模型。

二、Linux 系统安装 Ollama

2.1 使用官方安装脚本

在 Linux 系统上，可以使用官方提供的安装脚本进行安装。打开终端并运行以下命令：

curl -fsSL https://ollama.com/install.sh | sh

这将自动下载并安装 Ollama。

2.2 手动安装（适用于 Debian/Ubuntu）

如果想手动安装，可以按照以下步骤进行：

更新系统包管理器
```
sudo apt update && sudo apt upgrade -y
```

下载 Ollama 安装包

wget https://ollama.com/download/ollama-linux-amd64.deb

安装 Ollama
```
sudo dpkg -i ollama-linux-amd64.deb
```
检查安装是否成功
```
ollama --version
```

2.3 运行 Ollama 并下载模型

安装完成后，可以开始使用 Ollama 运行模型。例如：

ollama run mistral

如果需要下载其他模型，可以执行：

ollama pull llama2
ollama pull gemma

三、使用 Ollama 运行和管理模型

3.1 运行本地模型

安装模型后，可以使用如下命令运行：

ollama run llama2

或者指定不同的模型，例如：

ollama run mistral

3.2 列出已安装的模型

要查看本地安装的所有模型，可以运行：

ollama list

3.3 删除不需要的模型

如果不再需要某个模型，可以执行：

ollama remove llama2

3.4 更新 Ollama

Windows 用户可以在官网下载安装最新版本，而 Linux 用户可以执行：

curl -fsSL https://ollama.com/install.sh | sh

四、在 Docker 中运行 Ollama

如果希望在 Docker 容器中运行 Ollama，可以使用官方的 Docker 镜像。

4.1 拉取 Ollama Docker 镜像

docker pull ollama/ollama

4.2 运行容器

docker run --rm -it ollama/ollama

4.3 在容器中运行模型

docker run --rm -it ollama/ollama ollama run llama2

五、常见问题及解决方案

5.1 Windows 上 Ollama 命令找不到

尝试重新安装 Ollama，并检查环境变量 Path 是否包含 C:\Program Files\Ollama。

5.2 Linux 安装 Ollama 时报错

如果安装时提示缺少依赖项，可以尝试：

sudo apt --fix-broken install

或者重新运行安装脚本。

5.3 下载模型速度慢

如果下载速度较慢，可以尝试使用代理，或者访问 https://ollama.com 下载离线模型。

结论

Ollama 提供了一种轻量级的方式在本地运行大语言模型，无需云端计算资源。无论是在 Windows 还是 Linux 上，安装 Ollama 都非常简单，并且支持多种流行的开源模型。希望本教程能帮助你顺利安装和部署 Ollama，并在本地运行自己的 AI 模型！

引言