一文讲透大模型部署工具ollama--结合本地化部署deepseek实战

Ollama 是一个开源的人工智能平台，专注于在本地高效运行大型语言模型（LLMs）。通过 Ollama，开发者可以在自己的机器上运行多种大规模语言模型，而不必依赖于云端服务。它支持对大模型的管理和本地化部署，并且提供了易于使用的客户端接口和 WebUI 部署，帮助开发者高效地与语言模型交互。

1. Ollama 的功能和作用

Ollama 提供了一系列功能，专门用于本地化大模型的管理、部署和交互。它的核心功能包括：

1.1 本地部署大语言模型

Ollama 允许用户在本地环境中运行大语言模型（例如 GPT 系列、LLama、BERT 等），这意味着数据可以保存在本地机器上，避免了云端处理的隐私和延迟问题。

1.2 高效模型管理

Ollama 提供了一种高效的方式来管理本地模型。用户可以方便地下载、切换、加载和卸载模型，并且可以在本地机器上进行模型调优。

1.3 支持多种大模型

Ollama 支持多种主流的开源大语言模型，包括 GPT-2, GPT-3、LLaMA、T5、BERT 等。它允许用户导入、运行和对这些模型进行本地交互。

1.4 Web UI 可视化界面

Ollama 提供了一个 WebUI，用户可以通过浏览器界面与语言模型进行交互。WebUI 提供了简洁易用的界面，支持文本输入和输出查看。

1.5 Python API 支持

Ollama 提供 Python API，允许开发者通过代码与模型交互，可以集成到自己的应用程序或服务中，进行更加灵活的操作。

2. Ollama 软件安装和参数设置

2.1 Ollama 安装步骤

Ollama 提供了多平台支持（如 Linux、macOS 和 Windows）。以下是通用的安装步骤：

macOS 示例

下载 Ollama 安装包 访问 Ollama 官网下载适用于你的操作系统的最新版本。

安装步骤 对于 macOS，你可以通过 Homebrew 安装：

brew install ollama

安装完成后验证 通过以下命令验证安装是否成功：

ollama --version

Linux 示例

安装依赖项

在 Linux 上，首先需要安装一些依赖项，例如 curl 和 tar：

sudo apt-get install curl tar

下载并解压 Ollama 安装包

使用 curl 下载并解压：

curl -LO https://ollama.com/download/ollama-linux.tar.gz

tar -xvzf ollama-linux.tar.gz

将 Ollama 添加到 PATH

sudo mv ollama /usr/local/bin/

验证安装

ollama --version

2.2 常用参数设置

Ollama 提供了一些常用的命令行参数，以下是几个常见的命令及其参数：

2.2.1 查看当前安装的模型

ollama list

该命令会列出本地已经安装的所有语言模型。

2.2.2 加载特定模型

如果想加载一个特定的模型，可以使用以下命令：

ollama run <model_name>

例如，加载 deepseek-r1 模型：

这里说明一下：只有671B是满血deepseek大模型，其它的都是阉割版。另外根据自身电脑配置选择规格参考如下（配置太低是跑不动高规格模型的）

模型	显存需求	内存需求	推荐显卡	性价比方案
7B	10-12GB	16GB	RTX 3060	二手2060S
14B	20-24GB	32GB	RTX 3090	双卡2080Ti
32B	40-48GB	64GB	RTX 4090	租赁云服务器

ollama run deepseek-r1:1.5b(受硬件影响，风云这里下载了一个最低版的入门级，测试一下功能)

如下界面，表示安装成功

2.2.3 获取模型帮助信息

ollama help <command>

例如，查看 run 命令的帮助：

ollama help run

3. Ollama 对大模型的管理

Ollama 允许用户高效管理本地的大模型。它提供了模型下载、切换、卸载、更新等功能，支持用户根据需要进行灵活的操作。

管理命令包括：

• ollama list：显示模型列表。
• ollama show：显示模型的信息
• ollama pull：拉取模型
• ollama push：推送模型
• ollama cp：拷贝一个模型
• ollama rm：删除一个模型
• ollama run：运行一个模型

3.1 下载和安装模型

用户可以通过 Ollama 的命令行工具来下载不同的大模型。以下载 LLaMA 模型为例：

ollama install llama

模型会被自动下载并解压到本地环境中。你可以通过 ollama list 来检查已经安装的模型。

3.2 切换模型

通过 Ollama，用户可以方便地切换不同的模型。例如，你可以切换从 GPT-3 到 LLaMA：

ollama switch llama

3.3 卸载模型

如果不再需要某个模型，用户可以通过以下命令来卸载：

ollama uninstall <model_name>

例如，卸载 LLaMA：

ollama uninstall llama

4. Ollama 导入大模型的具体方式和操作步骤

4.1 导入模型

Ollama 允许用户导入自定义的大语言模型。以下是导入模型的步骤：

准备好模型文件：首先，确保你已经有了一个经过训练的大语言模型的文件。

模型上传：如果你有本地的 .bin、.pth 等模型文件，可以通过 Ollama 命令行工具上传这些文件到本地。

例如，假设你已经下载了一个大模型文件 mymodel.pth，可以使用以下命令导入该模型：

ollama import --file /path/to/mymodel.pth

验证导入的模型：导入后，使用 ollama list 查看已安装的模型，确保它已经正确安装。

5. Web UI 部署 Ollama 可视化对话界面

Ollama 提供了 WebUI 部署功能，可以通过浏览器与语言模型进行交互。以下是 WebUI 的部署步骤：

5.1 安装 WebUI 依赖

首先，需要安装支持 WebUI 的依赖，如 Node.js 和 npm。你可以使用以下命令来安装这些依赖：

sudo apt-get install nodejs npm

5.2 启动 WebUI

风云选择了在Docker上安装一个Open-WebUI组件，让DeepSeek-R1可以通过浏览器界面交互，并赋予它联系上下文的能力。

具体来看，需要先下载Docker桌面端（如果不会的，可以再去百度，按照默认的引导完成安装即可），再次打开PowerShell界面复制并执行以下这条指令，风云帮大家省下去Github查找的时间了：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

该命令会启动一个 Web 服务器，默认情况下，WebUI 将会在 http://localhost:3000 上运行。

5.3 访问 WebUI

打开浏览器，访问以下地址：

http://localhost:3000

在这个界面上，你可以与模型进行交互，输入问题并得到模型的响应。

6. 用 Python 实现 Ollama 客户端 API 调用

Ollama 提供了 Python API，允许开发者在 Python 环境中与语言模型进行交互。以下是 Python 客户端的集成步骤：

6.1 安装 Ollama Python 库

使用 pip 安装 Ollama 的 Python 客户端：

pip install ollama

6.2 Python 调用示例

以下是一个基本的 Python 示例，展示如何通过 Ollama API 调用模型：

import ollama# 流式输出
def api_generate(text:str):print(f'提问：{text}')stream = ollama.generate(stream=True,model='deepseek-r1:1.5b',prompt=text,)print('-----------------------------------------')for chunk in stream:if not chunk['done']:print(chunk['response'], end='', flush=True)else:print('\n')print('-----------------------------------------')print(f'总耗时：{chunk['total_duration']}')print('-----------------------------------------')if __name__ == '__main__':# 流式输出api_generate(text='天空为什么是蓝色的？')# 非流式输出content = ollama.generate(model='deepseek-r1:1.5b', prompt='天空为什么是蓝色的？')print(content)

在这个示例中，我们加载了deepseek-r1:1.5b 模型，发送了一个简单的问题请求，并打印了模型的响应。

6.3 更多 API 调用

Ollama 的 Python API 提供了更多的功能，例如调整温度、控制生成的最大token数等：

response = model.chat('中国首都是哪里?', temperature=0.7, max_tokens=100)

print(response['text'])

Ollama 是一个强大的本地化大语言模型管理平台，能够让开发者方便地在本地机器上运行和管理各种大模型。通过简单的命令行工具、WebUI 界面和 Python API，用户可以高效地进行模型的管理、交互和集成。无论是对大模型的安装、更新、切换，还是与模型的互动，Ollama 都提供了直观且灵活的方式，帮助开发者充分发挥大语言模型的优势。