大模型管理工具：Ollama

目录

一、Ollama 介绍

二、Linux 安装 Ollama

2.1 一键安装

2.2 手动安装

三、使用Ollama

3.1 配置模型下载路径

3.2 运行模型

3.3 常用命令

四、模型管理

4.1 官方模型库

4.2 导入自定义模型

五、REST API

六、Web UI

---

一、Ollama 介绍

        Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架，同时提供 REST API 管理和使用大模型。 

二、Linux 安装 Ollama

2.1 一键安装

#安装

curl -fsSL https://ollama.com/install.sh | sh

#更新：再次执行安装脚本即可更新

curl -fsSL https://ollama.com/install.sh | sh

2.2 手动安装

        1.下载Ollama二进制文件

curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama

        2.修改文件权限

chmod +x /usr/bin/ollama

        3.创建ollama用户

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

        4.创建系统服务文件

vi /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

        5.启用服务

systemctl daemon-reload
systemctl enable ollama

        6.启动Ollama

systemctl start ollama

        7.更新Ollama

#重新下载二进制文件即可

curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
chmod +x /usr/bin/ollama

        8.删除Ollama

        具体操作查看官方文档。

三、使用Ollama

3.1 配置模型下载路径

export OLLAMA_MODELS=/data/weisx/ollama

3.2 运行模型

#第一次执行会下载模型到本地

ollama run llama3

3.3 常用命令

        创建模型：

ollama create mymodel -f ./Modelfile

        删除模型：

ollama rm llama3

        复制模型：

ollama cp llama3 my-model

        查看模型：

ollama list

        运行模型：

ollama run llama3

四、模型管理

4.1 官方模型库

        可访问官网查看模型列表，以下是一些常用模型示例：

Model	Parameters	Size	Download
Llama 3	8B	4.7GB	ollama run llama3
Llama 3	70B	40GB	ollama run llama3:70b

4.2 导入自定义模型

        途径1：从GGUF导入

        1.下载GGUF文件

#Huggingface网站下载模型的GGUF

https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit

        2、创建Modelfile文件

vi Modelfile

#使用FROM指令导入本地模型

FROM ./Llama3-8B-Chinese-Chat-GGUF-8bit.gguf

#Modelfile文件中还可以添加系统提示词以及各项参数

        3. 创建模型

ollama create example -f Modelfile

        4.运行模型

ollama run example

        途径2：从PyTorch或Safetensors导入

        具体操作请参阅关于导入模型的指南。

五、REST API

https://github.com/ollama/ollama/blob/main/docs/api.md

六、Web UI

https://github.com/open-webui/open-webui