Dify+Ollama+DeepSeek部署本地大模型+知识库搭建

前言

上一篇文章《Ollama+DeepSeek部署本地大模型》我们已经知道如何在本地搭建自己的大模型了，不过想要让大模型能够根据我们个人或者企业的数据情况做出精准的回答，我们还需要将自己的数据投喂给大模型才可以。本篇文章我们将会使用一个开源项目dify集成ollama+deepseek大模型，搭建自己本地知识库，让大模型能够回答出我们想要的结果。

1.DockerDesk和Ollama

首先参考我们上一篇文章安装好Ollama并下载好DeepSeek模型后，安装好DockerDesk，注意：不需要安装OpenWebUI了，文章地址：https://blog.csdn.net/u014494148/article/details/145484048

2.安装Dify

我们需要一个AI可视化程序Dify ， ：Dify是一个基于GPT的AI应用开发平台，支持多种大语言模型（LLM），旨在帮助用户快速创建和运营生成式AI原生应用。它具备以下特点：

• 多模型支持：兼容OpenAI、Claude、Hugging Face等主流模型，并支持本地私有化部署。

• 可视化编排：提供Prompt模板、工具链等可视化工具，简化应用开发流程。

• 丰富功能：支持文本生成、对话、知识库问答等，满足多样化需求。

• 灵活部署：支持云服务和本地部署，适应不同场景。

• 持续更新：团队持续优化，确保平台功能与时俱进。

Dify适合开发者、企业和个人用户，用于构建智能客服、内容生成、教育辅助等AI应用。diay代码地址：https://gitee.com/dify_ai/dify，把代码克隆下来

代码解压后，进入到 docker 目录后，将.env.example复制一份修改为：.env 该文件是dify的环境配置文件， 然后通过CMD在当前目录执行：docker compose up -d

dify通过docker compose自动安装需要的容器到Docker中，如下：能看到一个docker的容器就说明安装好了

3.Dify集成ollama

浏览器访问：localhost:signin , 设置好你的账号和密码进行登录
登录成功后，找到右上角头像图标 - 设置 - 找到模型供应商 - 找到ollama添加一个模型

如下图：选择好模型和模型的URL地址，其他的默认即可。点击保存。注意：地址要填 http://host.docker.internal:11434

• 模型名称必须填写通过ollama安装了的模型，如果没安装可以通过：ollama run deepseek-r1:7b 进行安装

然后找到添加的模型-再次添加，这次我们选Text Embedding ,点击保存

最终我们通过ollama添加了2个模型如下图

• LLM：用于生成和理解自然语言文本。

• Text Embedding：用于将文本转换为数值向量，便于计算语义相似度

4.新建知识库

准备好自己的知识库，比如我这里新建了一个：套餐.txt，其中随便准备了一些内容，以移动的套餐为例，如下：

然后找到：知识库 - 导入已有文本 ： 选择自己的知识库文件 ，然后点击下一步，其他的默认设置即可

在这里是对知识库做设置，比如如何分段，索引方式等，我这里全部默认，点击保持并处理

耐心等待处理完成，显示嵌入已完成。代表知识库导入成功

查看分段效果如下：

5.创建应用

接下来我们需要创建一个应用，也就是我们的AI机器人,点击工作室 - 创建空白应用 - 聊天助手 - 填写好AI的名字点击创建

在弹出界面中点击添加上下文，选中自己的知识库，也就是你创建的知识库点击添加

此时在右边的对话框中就可以输入，大模型会根据知识库进行查询。在最后的界面中能看到引用自刚才创建的知识库文件。右上角可以选择模型,点击发布 -可以把应用发布出去给其他人使用.使用效果如下

在访问API页面中提供了API接口地址，可以通过代码进行接入。

文章就写到这里吧，如果文章对你有帮助请给个好评