保姆级教程搭建企业级智能体+私有知识库，Dify+ollama，Linux版

介绍

目前，AI Agent智能体已经被许多公司广泛应用，同时智能体借助私有知识库的加成，使原来知识面并不特别充分的大模型更聪明。如今特别是在医疗，医药，政企等数据保密程度高的行业，部署自己的私有知识库更是不可或缺的。下面，就一起来动手搭建属于你的企业级别的私有知识库AI Agent。

特别说明

1：本教程区别于其他教程全篇复制相关服务的官方教程，导致中途有卡点
2：本教程在搭建过程中会解决卡点问题并给出解决方案
3：按照本教程一步步搭建，可以百分百保证运行起来
4：本教程是纯实践，不做无脑搬运。

方案说明

1：利用Dify构建模型中间层
2：配置三方LLM模型
3：私有知识库使用ollama服务加nomic-embed-text模型，进行知识库文档的向量数据转化
疑问：
问：既然都自己搭建ollama了，为什么不自己搭建LLM模型，还要使用三方的api呢？其他教程都是自己搭建LLM
答：
①：硬件成本高
②：你所能找到的开源模型，除了deepseek，其他的模型使用起来跟个大傻子差不多
③：就算你要搭建deepseek模型，除了满血版的，其实也是个大傻子
④：企业级应用，起码上百人使用，就得要求token吞吐量不能太低，并发访问也不能太低，这些自己搭建部署，需要解决一大堆问题
⑤：现在三方token已经很便宜了
⑥：其他教程是教你搭建LLM了，我其他教程也有呀，deepseek-32b的，使用过就知道了，跟个大傻子差不多。其他教程教的，都是什么1.5b,7b,32b,70b,这些用于学习还行，不适合进行企业级应用或者商用
⑥：你要是非要自己折腾部署LLM，就当我上面没说哈，可以参考我另一篇教程助你折腾 ====手把手教你部署DeepSeek-32b

环境物料准备

要求	说明
ubuntu 系统服务器（服务器A）	有公网IP，4核8G配置
ubuntu 系统服务器，有GPU显卡，且已装好cuda环境（服务器B）	（具体可参考我另一篇介绍Linux下安装conda的详细教程）
Dify的源码	github地址
ollama	官网地址

注：如果手上有带显卡的服务器，也可以直接在一台服务器上安装，由于我这里业务层和算力层是分开的服务器，这里用2台作为演示

教程开始

一：搭建部署Dify应用

1：链接自己的服务器A，进入服务器，切换到root（如果是非root用户的话）

2：更新apt包

	apt update

3：清理有可能安装的旧版本docker以及相关的包

	sudo apt-get autoremove docker docker-ce docker-engine docker.io containerd runc

4：添加docker官方GPG密钥

	curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

5：添加Docker软件源

	sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

6：安装docker，docker-compose

	apt install docker.io docker-compose

7：启动docker

	systemctl start docker 

8：安装git，并克隆Dify项目

	apt install gitgit clone https://github.com/langgenius/dify.git

中途可能会遇到克隆错误的2个问题，
①：提示克隆的过大，可以修改git的整体buffer配置
②：提示网络环境不支持 HTTP/2，可以修改为http1.1

	git config --global http.postBuffer 524288000git config --global http.version HTTP/1.1

9：克隆完毕，进入dify文件夹下的docker文件夹下，并把全局配置文件复制一下

	cd  dify/dockercp .env.example .env

10：开始构建docker容器，这时需要看下你安装的docker-compose是什么版本的，运行如下命令查看

	docker-compose version

如果是1.xx版本的，需要运行

	docker-compose up -d

如果是2.xx版本的，需要运行

	docker compose up -d

注：这里我们是以apt直接进行安装的，理论上是1.xx版本的，如果你安装的是最新的docker，估计就是2.xx的版本了

11：由于我们是1.xx的版本，所以直接运行

	docker-compose up -d

此时遇到了如下错误

此错误，可以进行修改docker的镜像地址进行解决，方案如下：

	①： vim /etc/docker/daemon.json填入以下json内容：{"registry-mirrors": ["https://docker.registry.cyou","https://docker-cf.registry.cyou","https://dockercf.jsdelivr.fyi","https://docker.jsdelivr.fyi","https://dockertest.jsdelivr.fyi","https://mirror.aliyuncs.com","https://dockerproxy.com","https://mirror.baidubce.com","https://docker.m.daocloud.io","https://docker.nju.edu.cn","https://docker.mirrors.sjtug.sjtu.edu.cn","https://docker.mirrors.ustc.edu.cn","https://mirror.iscas.ac.cn","https://docker.rainbond.cc"]}②：然后重启docker服务：systemctl daemon-reloadsystemctl restart docker③：重新运行 docker-compose up -d 进行构建容器

12：随后，docker会自动根据编译文件.yaml自动拉取相关服务，成功后的画面如下所示，启动了10个服务：

或者通过命令查看每个服务的运行状态，由下图所示，有个nginx服务，并从容器中透了80端口，所以，可以直接通过访问你的ip地址进行访问链接

	docker-compose ps

二：搭建ollama服务

1：租用GPU型服务器，我这里还是以AutoDL为例（这个平台便宜，且还有点余额，省事儿了。这里有现成的N卡环境，可以免去不会安装cuda环境的烦恼，如果有其他平台的GPU租用也是一样的）
这里我租用的是西北企业区，尽量不要北京地区的，北京地区的外网访问需要挂ssh，比较麻烦
镜像这里选择如下图所示

2：进入到新开的GPU服务器里，运行初始化

	apt updateconda init

然后关闭当前窗口，重新进入或者单开一个窗口，进入到服务器里，此时进入到conda 环境里的默认 base 环境，下面为ollama单独新建一个conda 环境，用来运行环境隔离，比较干净

	conda create -n ollama  python=3.10

等待安装完毕，并进入ollama环境，如图所示

3：下载并安装ollama Linux版本下载地址

复制命令在你的GPU服务器里进行下载安装，等待一会儿，进度条走完就完事儿了，默认安装在/usr/local下，所以可以使用全局命令 ollama进行相关操作

如果出现下图所示，说明没有自动检测到GPU卡，可以通过安装两个插件解决

	sudo apt install pciutilssudo apt install lshw

4：启动ollama服务（这里我以简单方式启动，也可以直接加入到系统服务里并配置自动重启）

	nohup ollama serve & 

5：运行并下载embedding模型，如下图所示

	ollama pull nomic-embed-text

也可通过命令查看ollama的模型列表

	ollama list

6：到此，ollama服务，embedding模型算是已经搭建部署完毕，但是为了让dify能访问到，还需要做一些其他配置。
由于AutoDL对外只支持6006端口开放，ollama的api接口呢又是绑定在了 11434端口，所以，在这里就要做一层访问转发。
这里访问转发以nginx web服务为例

①：安装nginx

		apt install nginx

②：编辑nginx默认配置文件

		vim /etc/nginx/sites-available/default	

server块修改成如下内容：

server {listen 6006 default_server;listen [::]:6006 default_server;root /var/www/html;index index.html index.htm index.nginx-debian.html;server_name _;location / {proxy_pass http://127.0.0.1:11434;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;proxy_set_header X-Forwarded-Proto $scheme;proxy_http_version 1.1;proxy_set_header Upgrade $http_upgrade;proxy_set_header Connection "upgrade";proxy_read_timeout 86440s;proxy_send_timeout 86440s;}}

然后校验配置文件并加载nginx 的配置进行重启

		nginx -tnginx -s reload

7：由上可知，由于ollama是运行在本地 127.0.0.1:11434上，默认只允许本地访问，所以，还要设置ollama 允许远程访问，不然，我们的Dify 服务是链接不上。可以设置允许全部，也可以定向设置只允许某个域名或IP

		vim ~/.bashrc 

在文件末尾添加下面两行

		export OLLAMA_HOST=0.0.0.0export OLLAMA_ORIGINS=*

重新加载 ~/.bashrc

		source ~/.bashrc 

然后再重启ollama服务
此时访问AutoDL的对外地址，可以看到ollama运行的标志。AutoDL的外网访问URL在这里看：


此时访问这个URL，可以看到 ollama is running 字样，这时候整个配置算是没问题了

8：到此，ollama服务，embedding模型，所有的服务配置已经完事儿

三：利用Dify创建你的第一个智能体

1：访问Dify服务并注册账号

1：地址：你的IP地址
首次进入会让你注册账号

2：注册完毕后，登录进入主页面，点击右上角的插件，进入插件页面，首先安装所需的模型插件

2. 下载模型插件（这里以Ollama和DeepSeek为例）

1：进入插件广场，找到【模型】选项，下面列出的都是支持的模型厂商。此次我们需要安装ollama，LLM用DeepSeeK，点击模型，进行安装。如果在线模式安装不上，也可以在模型详情页里下载下来，再点击右上角【插件】进行从本地安装包安装。

3. 配置模型

1：点击个人中心选项，找到【设置】，再点击【模型供应商】

1. 配置Ollama模型

由于我们是用ollama的embedding模型功能，所以配置时选择Text-Embedding选项。这里会让填写基础URL地址，由于我们是从AutoDL部署的embedding模型，所以需要再AutoDL上找到相关访问URL地址填写到配置里。



随后点击保存，如果保存时有报错，说明你的ollama访问地址还是不通，可以再查看上面有关ollama配置的教程重来一遍

2. 配置DeepSeek模型

首先你需要登录 DeepSeeK开放平台，并注册账号创建应用key，然后复制出key值

进入dify模型配置里，配置deepseek的模型

4. 创建智能体

例如：

OK，到这里一个基本的智能体就完成了，你可以点击右上角的进行发布，也可以进行嵌入你的应用里，嵌入方式如下：

5. 创建私有知识库

这里有三种方式，这里以简单的文档类为例，其余的两个需要各自注册相关平台的账号进行关联

然后，进入数据分块与清洗界面，这里我们是以embedding模型为基础，使用混合检索模式

保存处理后，进入下一步，开始数据的嵌入操作，这里进程走完后就可以使用了

进程走完后，也可以单独点击你的知识库，查看内容分块后的结果，或者进行召回测试，数据标注，添加新的分块等操作

在你创建的个人助手agent里的编排页面，点击知识库，进行关联操作，就可以关联你的知识库内容了

至此，整个所有的流程彻底走完了。

结语

纯手动一步步搭建操作，按照流程来，极小几率会出错，如果有出错或者不明白的地方，欢迎提问，共同学习。