大语言模型极速部署：Ollama 、 One-API、OpenWebUi 完美搭建教程

大语言模型极速部署：Ollama 、 One-API、OpenWebUi 完美搭建教程

本文将介绍如何通过命令行工具部署 Ollama 和 One-API 以及 OpenWebUi，帮助你快速搭建私有化大模型。

1. Ollama 是一个容器化工具，简化了大语言模型的管理与运行，支持模型的下载、运行、更新和删除。
2. One-API 是一个开源 API 服务框架，通过 Docker 容器快速搭建 RESTful 接口，支持 SQLite 或 MySQL 数据库作为后端存储。
3. OpenWebUI 提供了一个基于 Web 的用户界面，帮助用户通过简洁的操作与 Ollama 进行交互，管理和展示模型的运行状态。

一、安装 Ollama

Ollama 是一个容器化的应用，方便部署和管理 AI 模型。以下是安装 Ollama 的步骤。

1. 使用安装脚本安装 Ollama

首先，执行以下命令来安装 Ollama：

curl -fsSL https://ollama.com/install.sh | sh

这会自动下载并执行安装脚本，安装完毕后，Ollama 应该已经成功安装到你的系统中。你可以通过以下命令验证安装是否成功：

ollama --version

如果你看到版本号输出，说明安装成功。

2. 常用命令

Ollama 提供了许多实用的命令，可以帮助你轻松管理 AI 模型和容器服务。

1. 查看 Ollama 版本

查看当前安装的 Ollama 版本：

ollama --version

2. 搜索模型

Ollama 提供了一个方便的搜索界面，可以让你快速查找并下载模型。访问以下链接来搜索模型：

Ollama 模型搜索地址

你可以根据关键词、类别或者模型类型搜索感兴趣的模型。

3. 列出已安装模型

查看当前 Ollama 上已经安装的所有模型：

ollama models list

4. 拉取（Pull）模型

要下载一个模型，你可以使用 ollama pull 命令。假设你已经找到并决定下载一个模型，例如 “gpt4”：

ollama pull gpt4

这会从 Ollama 的在线仓库下载 gpt4 模型，并将其存储到本地。

5. 运行模型

运行一个已下载的模型，你可以使用 ollama run 命令。例如，运行 gpt4 模型：

ollama run gpt4

这会启动 gpt4 模型并开始处理输入请求。

6. 删除已安装的模型

如果你不再需要某个模型，可以使用 ollama remove 命令删除它：

ollama remove gpt4

7. 更新模型

保持你的模型更新也是很重要的。使用以下命令来更新所有已安装的模型：

ollama update

3.Ollama 端口修改

如何自定义ollama的服务器地址和端口？ #1357

添加 OLLAMA_HOST=0.0.0.0:6006 系统环境变量，并重启 ollama。

二、部署 One-API

One-API 是一个开源项目，可以帮助你在容器中快速搭建 API 服务。你可以选择使用 SQLite 或 MySQL 作为后端数据库存储。

1. 使用 SQLite 部署 One-API

如果你选择使用 SQLite 数据库进行存储，可以通过 Docker 来快速部署 One-API。

执行以下命令：

docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /data/one-api:/data justsong/one-api:v0.6.11-alpha.7

• --name one-api：指定容器名称为 one-api。
• -d：让容器在后台运行。
• --restart always：容器退出后会自动重启。
• -p 3000:3000：映射容器的 3000 端口到宿主机的 3000 端口。
• -e TZ=Asia/Shanghai：设置容器时区为上海。
• -v /data/one-api:/data：将宿主机的 /data/one-api 目录挂载到容器内的 /data 目录，以便持久化数据。

如果你使用 SQLite，可以通过上述命令完成 One-API 的部署。

2. 使用 MySQL 部署 One-API

如果你希望使用 MySQL 数据库，你需要在上面的命令基础上增加数据库连接的环境变量。你可以通过如下命令进行部署：

docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /data/one-api:/data justsong/one-api

• -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi"：设置数据库连接字符串，root:123456 是数据库的用户名和密码，localhost:3306 是 MySQL 数据库的地址和端口，oneapi 是数据库名称。请根据实际情况修改这些参数。

3. 配置数据库

在使用 MySQL 时，你需要确保 MySQL 数据库已经安装并配置好。以下是 MySQL 数据库的创建和配置步骤：

1. 登录 MySQL：

   mysql -u root -p
   

2. 创建数据库：

   CREATE DATABASE oneapi;
   

3. 创建数据库用户并授权：

   CREATE USER 'root'@'%' IDENTIFIED BY '123456';
   GRANT ALL PRIVILEGES ON oneapi.* TO 'root'@'%';
   FLUSH PRIVILEGES;
   

4. 确保 MySQL 数据库正常运行，且可以通过 localhost:3306 进行访问。

4. 启动和验证服务

启动容器后，可以通过浏览器访问 http://localhost:3000 来验证 One-API 是否正常运行。如果看到 API 文档界面或者返回相关的数据，说明部署成功。

三、部署 OpenWebUI

OpenWebUi 是一个基于 Docker 容器的前端 WebUI，可以用于与 Ollama（一个机器学习平台）交互。它提供了一个简洁、易于使用的用户界面来管理和展示模型的运行状态。

1.运行 OpenWebUI 容器

打开终端，执行以下命令来拉取并启动 OpenWebUI 容器：

docker run -d -p 3001:8080 -e OLLAMA_BASE_URL=http://192.168.2.10:8080 -v /data/open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

参数说明：

• -d: 在后台运行容器。
• -p 3001:8080: 将主机的端口 3001 映射到容器的 8080 端口，这意味着你可以通过访问 http://localhost:3001 来使用 WebUI。
• -e OLLAMA_BASE_URL=http://192.168.2.10:8080: 设置 Ollama 服务的基础 URL。确保这个地址正确并且 Ollama 服务正在运行。
• -v /data/open-webui:/app/backend/data: 将主机的 /data/open-webui 路径挂载到容器内的 /app/backend/data 路径，用于持久化 OpenWebUI 的数据。
• --name open-webui: 为容器指定一个名字 open-webui。
• --restart always: 配置容器在系统重启后自动重启。

2. 访问 OpenWebUI

容器启动完成后，你可以通过访问 http://localhost:3001 来使用 OpenWebUI。如果你在不同的机器或服务器上运行，替换 localhost 为服务器的 IP 地址。

3. 常见问题排查

• 无法连接到 Ollama 服务：请检查 Ollama 是否正在运行，并确保 OLLAMA_BASE_URL 地址配置正确。
• 端口被占用：如果 3001 端口已被其他应用占用，可以更改容器的映射端口，例如使用 -p 3002:8080。

四、总结

通过 Docker 部署 Ollama 和 One-API以及OpenWebUi，可以帮助你快速搭建 AI 模型和 API 服务和Web交互。选择使用 SQLite 或 MySQL 数据库，具体根据你的需求来决定。如果有进一步的配置需求，可以参考相关文档。