Datawhale Ollama教程笔记5

Dify 接入 Ollama 部署的本地模型

Dify 支持接入 Ollama 部署的大型语言模型推理和 embedding 能力。

快速接入

1. 下载 Ollama

   访问 Ollama 安装与配置，查看 Ollama 本地部署教程。

2. 运行 Ollama 并与 Llama 聊天

   ollama run llama3.1Copy to clipboardErrorCopied

   启动成功后，ollama 在本地 11434 端口启动了一个 API 服务，可通过 http://localhost:11434 访问。

   其他模型可访问 Ollama Models 了解详情。

3. 在 Dify 中接入 Ollama

   在 设置 > 模型供应商 > Ollama 中填入：

   

    

   

    

   

   • 模型名称：llama3.1

   • 基础 URL ：http://<your-ollama-endpoint-domain>:11434

     此处需填写可访问到的 Ollama 服务地址。

     若 Dify 为 docker 部署，建议填写局域网 IP 地址，如：http://192.168.1.100:11434 或 docker 宿主机 IP 地址，如：http://172.17.0.1:11434。

     注：查找局域网 IP 地址命令：

     • 在 Linux/macOS 上，使用命令 ip addr show 或 ifconfig。
     • 在 Windows 上，使用 ipconfig 命令查找类似的地址。
     • 通常，这个地址会在 eth0 或 wlan0 接口下显示，取决于你是使用有线网络还是无线网络。

     若为本地源码部署，可填写 http://localhost:11434。

   • 模型类型：对话

   • 模型上下文长度：4096

     模型的最大上下文长度，若不清楚可填写默认值 4096。

   • 最大 token 上限：4096

     模型返回内容的最大 token 数量，若模型无特别说明，则可与模型上下文长度保持一致。

   • 是否支持 Vision：是

     当模型支持图片理解（多模态）勾选此项，如 llava。

   点击 "保存" 校验无误后即可在应用中使用该模型。

   Embedding 模型接入方式与 LLM 类似，只需将模型类型改为 Text Embedding 即可。

4. 使用 Ollama 模型

   

   进入需要配置的 App 提示词编排页面，选择 Ollama 供应商下的 llama3.1 模型，配置模型参数后即可使用。