ai本地化 部署常用Ollama软件

现在用最简单的方式介绍一下 Ollama 的作用和用法：

Ollama 是什么？

Ollama 是一个让你能在自己电脑上免费运行大型语言模型（比如 Llama 3、Mistral 等）的工具。

相当于你本地电脑上有一个类似 ChatGPT 的 AI，但完全不用联网，所有数据都在自己电脑里处理，更安全、更私密。

它有什么用？

1. 离线使用 AI：不联网也能和 AI 对话、生成文本、写代码等。

2. 保护隐私：你的对话内容不会上传到服务器，适合处理敏感信息。

3. 开发者友好：方便测试、调试 AI 模型，或集成到自己的项目中。

怎么用？（3步搞定）

1. 安装 Ollama

• Mac/Linux：官网下载安装包，或终端直接运行：

curl -fsSL https://ollama.com/install.sh | sh

• Windows（测试版）：从官网下载安装包。Ollama主页：https://ollama.com/
  

windows 环境配置

• 关闭开机自启动（可选）：
  Ollama 默认会随 Windows 自动启动，可以在「文件资源管理器」的地址栏中访问以下路径，删除其中的Ollama.lnk快捷方式文件，阻止它自动启动。

%APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup

• 配置环境变量（必须）：
  Ollama 的默认模型存储路径如下：C:\Users%username%.ollama\models，无论 C 盘空间大小，需要安装多少模型，都建议换一个存放路径到其它盘，否则会影响电脑运行速度。

打开「系统环境变量」，新建一个系统变量OLLAMA_MODELS ，然后设置ollama模型的存储路径。

变量名：OLLAMA_MODELS

变量值（路径）：D:\Work\ollama\models

• 配置端口（可选）：
  Ollama API 的默认访问地址和侦听端口是http://localhost:11434，只能在装有 Ollama 的系统中直接调用。如果要在网络中提供服务，请修改 API 的侦听地址和端口（在系统环境变量里设置）：

变量名：OLLAMA_HOST

变量值（端口）：:8000

只填写端口号可以同时侦听（所有） IPv4 和 IPv6 的:8000 端口。(变量值的端口前号前有个冒号:)

注：要使用 IPv6，需要 Ollama 0.0.20 或更高版本。另外，可能需要在 Windows 防火墙中开放相应端口的远程访问。

• 允许浏览器跨域请求（可选）：
  Ollama 默认只允许来自127.0.0.1和0.0.0.0的跨域请求，如果你计划在其它前端面板中调用 Ollama API，比如Open WebUI，建议放开跨域限制：

变量名：OLLAMA_ORIGINS

变量值：*

2. 下载模型

在终端输入命令下载模型（比如下载最流行的 Llama 3）：

ollama run llama3  # 自动下载并运行

其他模型（如 mistral、phi3、gemma）同理，替换名字即可。
执行指令ollama run <模型名称>，首次执行会从模型库中下载模型，所需时间取决于你的网速和模型大小。模型库地址：https://ollama.org.cn/library

3. 开始对话

运行模型后，直接在终端输入问题，比如：

>>> 用一句话解释量子力学
>>> 写一个Python代码计算斐波那契数列

按 Ctrl+D 或输入 /bye 退出。

如果觉得直接在黑框里运行不优雅，可以将Ollama接入到成熟的UI系统中，比如Open WebUI，地址如下：
https://github.com/ollama/ollama?tab=readme-ov-file#community-integrations

常用命令

• ollama list：查看已下载的模型

• ollama run 模型名：运行指定模型

• ollama pull 模型名：只下载不运行

• ollama rm 模型名：删除模型

Usage:ollama [flags]ollama [command]Available Commands:serve       启动 Ollama 服务create      从 Modelfile 创建一个模型show        查看模型详细信息run         运行一个模型stop        停止正在运行的模型pull        从注册表拉取一个模型push        将一个模型推送到注册表list        列出所有可用的模型ps          列出当前正在运行的模型cp          复制一个模型rm          删除一个模型help        获取关于任何命令的帮助信息Flags:-h, --help      help for ollama-v, --version   Show version information

高级用法

• 网页端对话：安装后访问 http://localhost:11434 使用网页界面。

• API 调用：可以用代码通过接口调用本地模型（类似 OpenAI 的 API）。

• 自定义模型：修改模型参数后，用 ollama create 创建自己的版本。

调用 Ollama 接口

Ollama 提供了丰富的 API 接口，供外部调用访问。详细的 接口文档 可以在官方 GitHub 中找到。

接口名称	接口地址	请求方法	接口描述
Generate	/api/generate	POST	使用提供的模型为给定提示生成响应。
Chat	/api/chat	POST	使用提供的模型生成聊天中的下一条消息
Create	/api/create	POST	从 Modelfile 创建一个新的模型。
Tags	/api/tags	GET	列出本地可提供的型号。
Show	/api/show	POST	获取指定模型的详细信息。
Copy	/api/copy	POST	从现有模型创建副本。
Delete	/api/delete	DELETE	删除模型及其数据。
Pull	/api/pull	POST	从 Ollama 库中下载指定模型。
Push	/api/push	POST	将模型上传到模型库。
Embed	/api/embed	POST	使用指定模型生成嵌入。
ListRunning	/api/ps	POST	列出当前加载到内存中的模型。
Embeddings	/api/embeddings	POST	生成嵌入（与 Embed 类似，但可能适用场景不同）。
Version	/api/version	GET	获取 Ollama 服务的版本号。

适合谁用？

• 想本地体验 AI 的普通用户

• 开发者测试 AI 功能

• 学习 AI 技术的学生/研究者

• 需要处理敏感数据的企业

总结：Ollama = 本地版 ChatGPT + 简单操作 + 完全免费 + 隐私保护，适合对 AI 感兴趣的所有人！