当前位置：首页 > news >正文

社区版Dify 轻松实现文生图，Dify+LLM+ComfyUI

news 2025/6/25 22:47:33

社区版Dify 轻松实文生图，Dify+LLM+ComfyUI

- Dify 安装可参考这里
- ComfyUI 其实比 WebUI更简单更实用
- Dify+ComfyUI
- Dify+LLM
- - 1. Qwen 通义千问大模型系列
  - 2. OpenAI大模型系列
  - 3. 本地Ollama搭建
- Dify+LLM+ComfyUI

在这里插入图片描述

Dify 安装可参考这里

这是一个在Dify上实现文生图的教程，如果你还没有安装社区版Dify，可以参考我这一篇：Dify安装时会遇到的网络问题，已成功安装
并且欢迎关注我的社区版 Dify 开发专栏

ComfyUI 其实比 WebUI更简单更实用

SD 是当今非常流行的文生图主流模型了，在其中，最常用的两个UI是WebUI 和ComfyUI 安装也非常简单，

Windows 用户可以找秋叶大神的安装包，在上面有完整的管理，自己找一下，设置下0.0.0.0访问和端口。
Linux，直接到 ComfyUI github官网的地址按照指示安装环境即可。
PS: 可以创建一个conda 环境的，因此要快速安装，自行先配好国内conda 清华源镜像就快很多了，如果你有安装过torch 环境，甚至可以直接克隆 conda 环境后再安装，请参考：

conda create -n  env_name  --clone  exist_env_name 
conda activate  your_env
cd your path-to-comfyui
pip install -r requirements.txt

简单吗？ComfyUI 就安装好了，如何启动？
一般来说，直接：

python main.py

然后输入你的网络地址，就可以本地 127.0.0.1 或者 localhost 调用了，但是，现在是要给到Dify 去调用，ComfyUI 要把网给出去，设置一下0.0.0.0就行。

sudo python main.py --listen 0.0.0.0

在这里插入图片描述

Dify+ComfyUI

新手请先熟悉三个东西，即可上手！
在这里插入图片描述
这里是介绍 Dify+LLM+ComfyUI, 我尽量说完整点，详细需要自己去找一下。第一个是custom_nodes，这是一个ComfyUI 工作流中的节点调用，如果你需要安装新的节点（实现更加高阶的功能），是在这个文件夹里面存储的。
第二个是models，里面存放的就是你的各种模型文件，新手先熟悉，checkpoints, loras ，很简单，直接下载文件丢到里面存就行。
在这里插入图片描述

第三个，comfyui-manager
这是最重要的一个，之所以我在最后说，是因为这个东西跟前两个都有关！！请参考 ComfyUI Manger 管理工具安装
这个工具可以直接安装custom_nodes 和模型文件！！！
在这里插入图片描述
好了 ComfyUI 介绍完毕，下面介绍Dify 如何调用LLM 。

Dify+LLM

1. Qwen 通义千问大模型系列

去阿里云申请一个API 接口，然后在设置上配置API 就好。这种教程很多，这里不再多说。
在这里插入图片描述

2. OpenAI大模型系列

去搞一个API 接口，然后在设置上配置 API 就好。这种教程很多，这里不再多说。
在这里插入图片描述

3. 本地Ollama搭建

我觉得本地的大模型比较实在，因为在本地运行，开源免费，Ollama可直接提供很多大模型给你选择。你需要按照以下步骤来处理：

按照Ollama官方的指示，装好ollama
然后去Ollama library 官网下载你想拉下的大模型，或者你去找一些GGUF大模型文件，Ollama加载GGUF文件到本地，方法看这里。
只需要执行这个就可看到你pull 下来的模型文件。

ollama list

同理你的ollama 是提供给Dify 来调用的，因此ollama 也要设置为公网访问即0.0.0.0。
ollama 配置0.0.0.0详细教程！

sudo vi /etc/systemd/system/ollama.service

在里面加上，也可换端口：

Environment="OLLAMA_HOST=0.0.0.0:11434"
:wq

我的详细的 ollama.service 文件时这样的，有个地方需要你确认就是，里面的User,和Group怎么写！

[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/local/bin/ollama serve
User=用户名（注意如果是ollama 需要 改！！！）
Group=用户分组
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0:11224"
[Install]
WantedBy=default.target

上面的用户名不知道的话请先启动ollama 服务，

ollama serve

然后，

ls -l ~/.ollama/models

会出现 , 将下面的user 和group 加入到ollama.service文件

drwxr-xr-x 2 User Group 4096 12月 25 17:56 blobs
drwxr-xr-x 3 User Group 4096 12月 25 16:07 manifests

为什么要这样做？因为你安装ollama的时候帮你注册了一个名叫ollama的用户（User），你需要确认你的 service 文件上配置的是 ls -l ~/.ollama/models 的用户！,而不是ollama
否则，会出现你调不出 api的情况。
好了下一步就是，在网页上打开:

http://your_ip_addr:11434/api/tags

出现了你 ollama list 的模型，同步了就是正确的配置好了！

Dify+LLM+ComfyUI

新建一个chatflow 空白工作流。

LLM 导入，去设置那里填上你的模型文件，和API地址就行。
LLM 节点上面写上一些大模型的需求，将它改为英文的promp即可

ComfyUI 的节点，只需要右键新建节点，然后搜工具 ComfyUI

第一次调用会教你输入API，你需要输入前面的ComfyUI 的地址即可！

http://your_ip_addr:8188

然后这样调用里面的SD模型：
在这里插入图片描述
让大伙感受下，A800 的SDXL 20 次迭代只需2S ！
好了，发布到应用上：

至此，就完成了Dify上的文生图中文输入教程。工作流之间的连接需要自行去学习下，加油。
上面的LLM给你提供了很大的创造的可能，可以自行搭建有趣的应用！