大语言模型极速部署：Ollama 与 One-API 完美搭建教程

大语言模型极速部署：Ollama 与 One-API 完美搭建教程

本文将介绍如何通过命令行工具部署 Ollama 和 One-API，帮助你快速搭建私有化大模型。

一、安装 Ollama

Ollama 是一个容器化的应用，方便部署和管理 AI 模型。以下是安装 Ollama 的步骤。

1. 使用安装脚本安装 Ollama

首先，执行以下命令来安装 Ollama：

curl -fsSL https://ollama.com/install.sh | sh

这会自动下载并执行安装脚本，安装完毕后，Ollama 应该已经成功安装到你的系统中。你可以通过以下命令验证安装是否成功：

ollama --version

如果你看到版本号输出，说明安装成功。

2. 常用命令

Ollama 提供了许多实用的命令，可以帮助你轻松管理 AI 模型和容器服务。

1. 查看 Ollama 版本

查看当前安装的 Ollama 版本：

ollama --version

2. 搜索模型

Ollama 提供了一个方便的搜索界面，可以让你快速查找并下载模型。访问以下链接来搜索模型：

Ollama 模型搜索地址

你可以根据关键词、类别或者模型类型搜索感兴趣的模型。

3. 列出已安装模型

查看当前 Ollama 上已经安装的所有模型：

ollama models list

4. 拉取（Pull）模型

要下载一个模型，你可以使用 ollama pull 命令。假设你已经找到并决定下载一个模型，例如 “gpt4”：

ollama pull gpt4

这会从 Ollama 的在线仓库下载 gpt4 模型，并将其存储到本地。

5. 运行模型

运行一个已下载的模型，你可以使用 ollama run 命令。例如，运行 gpt4 模型：

ollama run gpt4

这会启动 gpt4 模型并开始处理输入请求。

6. 删除已安装的模型

如果你不再需要某个模型，可以使用 ollama remove 命令删除它：

ollama remove gpt4

7. 更新模型

保持你的模型更新也是很重要的。使用以下命令来更新所有已安装的模型：

ollama update

3.Ollama 端口修改

如何自定义ollama的服务器地址和端口？ #1357

添加 OLLAMA_HOST=0.0.0.0:6006 系统环境变量，并重启 ollama。

二、部署 One-API

One-API 是一个开源项目，可以帮助你在容器中快速搭建 API 服务。你可以选择使用 SQLite 或 MySQL 作为后端数据库存储。

1. 使用 SQLite 部署 One-API

如果你选择使用 SQLite 数据库进行存储，可以通过 Docker 来快速部署 One-API。

执行以下命令：

docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /data/one-api:/data justsong/one-api:v0.6.11-alpha.7

• --name one-api：指定容器名称为 one-api。
• -d：让容器在后台运行。
• --restart always：容器退出后会自动重启。
• -p 3000:3000：映射容器的 3000 端口到宿主机的 3000 端口。
• -e TZ=Asia/Shanghai：设置容器时区为上海。
• -v /data/one-api:/data：将宿主机的 /data/one-api 目录挂载到容器内的 /data 目录，以便持久化数据。

如果你使用 SQLite，可以通过上述命令完成 One-API 的部署。

2. 使用 MySQL 部署 One-API

如果你希望使用 MySQL 数据库，你需要在上面的命令基础上增加数据库连接的环境变量。你可以通过如下命令进行部署：

docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /data/one-api:/data justsong/one-api

• -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi"：设置数据库连接字符串，root:123456 是数据库的用户名和密码，localhost:3306 是 MySQL 数据库的地址和端口，oneapi 是数据库名称。请根据实际情况修改这些参数。

3. 配置数据库

在使用 MySQL 时，你需要确保 MySQL 数据库已经安装并配置好。以下是 MySQL 数据库的创建和配置步骤：

1. 登录 MySQL：

   mysql -u root -p
   

2. 创建数据库：

   CREATE DATABASE oneapi;
   

3. 创建数据库用户并授权：

   CREATE USER 'root'@'%' IDENTIFIED BY '123456';
   GRANT ALL PRIVILEGES ON oneapi.* TO 'root'@'%';
   FLUSH PRIVILEGES;
   

4. 确保 MySQL 数据库正常运行，且可以通过 localhost:3306 进行访问。

4. 启动和验证服务

启动容器后，可以通过浏览器访问 http://localhost:3000 来验证 One-API 是否正常运行。如果看到 API 文档界面或者返回相关的数据，说明部署成功。

三、总结

通过 Docker 部署 Ollama 和 One-API，可以帮助你快速搭建 AI 模型和 API 服务。选择使用 SQLite 或 MySQL 数据库，具体根据你的需求来决定。如果有进一步的配置需求，可以参考 One-API 项目的