当前位置: 首页 > article >正文

dify + ollama + deepseek-r1+ stable-diffusion 构建绘画智能体

故事背景

stable-diffusion 集成进 dify 后,我们搭建一个小智能体,验证下文生图功能

业务流程

用户输入文本
LLM根据用户诉求,
生成文生图英文prompt
根据文生图prompt调用
stable-diffusion 生成图片
输出图片和英文prompt

节点图

在这里插入图片描述

节点说明

LLM

LLM 节点采用 deepseek-r1 模型,提示词为:根据用户输入的文本,理解并转换成文生图提示词,且提示词必须是英文,输出​内容不带思考过程,以文本输出
在这里插入图片描述

代码执行

由于大模型生成的文本中,还存在思考过程,这里由于是demo,直接字符串截取,获取英文prompt

验证效果

在这里插入图片描述
LLM节点输出的数据为

{"text": "<details style=\"color:gray;background-color: #f8f8f8;padding: 8px;border-radius: 4px;\" open> <summary> Thinking... </summary>\n好的,我现在需要处理用户的查询。用户提供了一段中文文本:“《红楼梦》中的林黛玉”,然后要求我将其转换为用于文生图的提示词,并且这个提示词必须是英文,同时不带任何思考过程,直接输出结果。\n\n首先,我要理解用户的需求。他们希望将中文描述转换成英文的提示词,用于生成图像。这可能是因为他们正在使用一个支持英文提示词的绘图工具或API,比如DALL·E、MidJourney或者Stable Diffusion等。这些工具通常需要明确且详细的英文提示词来生成高质量的图像。\n\n接下来,我分析用户提供的文本:“《红楼梦》中的林黛玉”。这句话提到了两个关键元素:一是作品名称《红楼梦》,二是人物林黛玉。因此,提示词需要包含这两个信息点,并且可能还需要一些额外的描述来帮助生成更准确的画面。\n\n考虑到绘图模型通常对细节和氛围比较敏感,我应该在提示词中添加一些环境或风格的描述。例如,“古典中国文学作品”可以传达出《红楼梦》的文化背景;“忧郁而优雅”则能描绘林黛玉的性格特点;再加上“传统服饰”来具体化人物的形象。\n\n然后,我会把这些元素组合成一个连贯的英文句子。确保用词准确且自然流畅,避免过于生硬或直译。例如,“A melancholic and elegant character from the classic Chinese literary work 'Dream of the Red Chamber'”能够很好地表达林黛玉的角色特质和作品背景;“dressed in traditional Chinese attire”则进一步细化了人物的外貌特征。\n\n最后,检查整个提示词是否完整,是否有遗漏的关键信息。确保没有语法错误,并且每个部分都清晰传达给绘图模型,以便生成符合预期的画面。\n</details>\n\nA melancholic and elegant character from the classic Chinese literary work \"Dream of the Red Chamber\", dressed in traditional Chinese attire","usage": {"prompt_tokens": 45,"prompt_unit_price": "0","prompt_price_unit": "0","prompt_price": "0E-7","completion_tokens": 402,"completion_unit_price": "0","completion_price_unit": "0","completion_price": "0E-7","total_tokens": 447,"total_price": "0E-7","currency": "USD","latency": 42.33978042751551},"finish_reason": "stop"
}

相关文章:

dify + ollama + deepseek-r1+ stable-diffusion 构建绘画智能体

故事背景 stable-diffusion 集成进 dify 后&#xff0c;我们搭建一个小智能体&#xff0c;验证下文生图功能 业务流程 #mermaid-svg-6nSwwp69eMizP6bt {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-6nSwwp69eMiz…...

pytorch3d学习(二)——安装与纹理显示demo测试

文章目录 零、安装一、渲染0. 导入模块1. 加载网格和纹理文件零、安装 参考了这篇文章:Pytorch3D Linux环境下安装(踩坑)记录 经历了红框子里面的步骤,然后测试一下官方给的代码,尝试一些 3D 算子,例如计算两个网格之间的倒角损失: from pytorch3d.utils import ico_s…...

C语言基础之【指针】(下)

C语言基础之【指针】&#xff08;下&#xff09; 指针和字符串字符指针字符指针做函数参数const修饰的指针变量指针数组做为main函数的形参项目开发常用字符串应用模型while和do-while模型两头堵模型字符串反转模型 字符串处理函数strchr()strrchr()strstr()strtok()strcpy()st…...

Redis--Hash类型

目录 一、引言 二、介绍 三、操作 1.HSET,HGET,HEXISTS,HDEL 2.HKEYS&#xff0c;HVALS 3.HGETALL&#xff0c;HMGET&#xff0c;HSAN 4.HLEN,HSETNX,HINCRBY,HINCRBYFLOAT 四、编码方式 1.ziplist&#xff08;压缩列表&#xff09; 2.hashtable&#xff08;哈希表&am…...

迷你世界脚本道具接口:Item

道具接口&#xff1a;Item 彼得兔 更新时间: 2023-04-26 10:26:18 继承自 Actor 具体函数名及描述如下: 序号 函数名 函数描述 1 getItemName(...) 获取道具名称 2 getItemId(...) 获取actor对应的道具ID&#xff0c;如球类等 3 getDropItemNum(...) …...

C++中的.h文件一般是干什么的?

在C中&#xff0c;.h 文件通常是 头文件&#xff08;Header File&#xff09;&#xff0c;它们的主要作用是声明类、函数、常量、宏以及其他在多个源文件&#xff08;.cpp文件&#xff09;之间共享的元素。头文件提供了一个接口&#xff0c;使得不同的源文件能够访问这些共享的…...

大型语言模型训练的三个阶段:Pre-Train、Instruction Fine-tuning、RLHF (PPO / DPO / GRPO)

前言 如果你对这篇文章可感兴趣&#xff0c;可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」&#xff0c;查看完整博客分类与对应链接。 当前的大型语言模型训练大致可以分为如下三个阶段&#xff1a; Pre-train&#xff1a;根据大量可获得的文本资料&#…...

共享模型之管程(悲观锁)

共享模型之管程&#xff08;悲观锁&#xff09; 文章目录 共享模型之管程&#xff08;悲观锁&#xff09;一、常见线程安全的类二、对象头三、Monitor&#xff08;监视器 / 管程&#xff09;四、偏向锁偏向锁的实现原理撤销偏向锁 五、轻量级锁轻量级锁的释放 六、重量级锁七、…...

零基础C语言学习日志22(自定义类型:联合和枚举)

目录 联合体 联合体类型的声明 联合体的特点 相同成员联合体和结构体的对比 联合体大小的计算 例子 枚举类型 枚举类型的声明 枚举类型的优点 枚举类型的使用 联合体 联合体类型的声明 像结构体一样&#xff0c;联合体也是由一个或者多个成员构成&#xff0c;这些成…...

ROS2 Rviz 实战:给 panda 机械臂场景塞个圆柱体

视频讲解 ROS2 Rviz 实战&#xff1a;给 panda 机械臂场景塞个圆柱体 创建add_cylinder的package ros2 pkg create add_cylinder --build-type ament_cmake --dependencies rclcpp control_msgs moveit_ros_planning_interface 在src中添加add_cylinder.cpp&#xff0c;如下 #…...

DeepSeek+知识库+鸿蒙,助力鸿蒙高效开发

不知道你们发现没有&#xff0c;就是鸿蒙开发官网&#xff0c;文档也太多太多了&#xff0c;对于新手来说确实头疼&#xff0c;开发者大多是极客&#xff0c;程序的目的是让世界更高效&#xff01;看文档&#xff0c;挺头疼的&#xff0c;毕竟都是理科生。 遇到问题不要慌&…...

从零开始在Windows使用VMware虚拟机安装黑群晖7.2系统并实现远程访问

文章目录 前言1.软件准备2. 安装VMware17虚拟机3.安装黑群晖4. 安装群晖搜索助手5. 配置黑群晖系统6. 安装内网穿透6.1 下载cpolar套件6.2 配置群辉虚拟机6.3 配置公网地址6.4 配置固定公网地址 总结 前言 本文主要介绍如何从零开始在Windows系统电脑使用VMware17虚拟机安装黑…...

爬虫逆向:脱壳工具 frida-dexdump 的使用详解

更多内容请见: 爬虫和逆向教程-专栏介绍和目录 文章目录 1. 工具简介1.1 frida-dexdump介绍1.2 frida-dexdump支持场景1.3 frida-dexdump优点1.4 frida-dexdump工具使用方法2. 环境准备3. 安装 frida-dexdump4. 使用步骤4.1 步骤一:连接 Android 设备4.1 步骤二:安装目标应用…...

SQL Server查询计划操作符(7.3)——查询计划相关操作符(9)

7.3. 查询计划相关操作符 78)Repartition Streams:该操作符消费多个输入流并产生多个输出流。期间,记录内容与格式保持不变。如果查询优化器使用一个位图过滤(bitmap filter),则输出流中的数据行数将会减少。一个输入流的每行记录被放入一个输出流。如果该操作符保留顺序…...

【LeetCode101】对称二叉树

题目描述 给你一个二叉树的根节点 root &#xff0c; 检查它是否轴对称。 思路与算法 对称&#xff1a;左右子树互为镜像 这很显然暗示了一种递归方法 确定base case&#xff08;s&#xff09; 如果 left 和 right 都是 None &#xff0c;那么它们是镜像的&#xff08;对称&…...

K8s 1.27.1 实战系列(四)验证集群及应用部署测试

一、验证集群可用性 1、检查节点 kubectl get nodes ------------------------------------------------------ NAME STATUS ROLES AGE VERSION k8s-master Ready control-plane 3h48m v1.27.1 k8s-node1 Ready <none> …...

api测试工具(postman、apifox、apipost)

一、apifox 整体不错&#xff0c;免费版性能好&#xff0c;但内网&#xff08;离线状态&#xff09;初次使用需要登陆&#xff0c;无法通过。&#xff08;即内网不可用&#xff09; 二、postman 当测试项目多的时候可能会卡死&#xff0c;卡输入修改、丢失请求、登陆账号等问题…...

【STM32】STM32系列产品以及新手入门的STM32F103

&#x1f4e2; STM32F103xC/D/E 系列是一款高性能、低功耗的 32 位 MCU&#xff0c;适用于工业、汽车、消费电子等领域&#xff1b;基于 ARM Cortex-M3&#xff0c;主频最高 72MHz&#xff0c;支持 512KB Flash、64KB SRAM&#xff0c;适合复杂嵌入式应用&#xff0c;提供丰富的…...

pycharm找不到conda可执行文件

conda 24.9.2 在pycharm的右下角就可以切换python解释器了...

自注意力机制的演进-从Transformer架构到DeepSeek-R1模型的深度语义理解革新

2025年&#xff0c;我国发布了开创性且高性价比的大语言模型-DeepSeek-R1&#xff0c;推动了AI领域的重大变革。本章节回顾了LLM的发展历程&#xff0c;其起点可追溯至2017年Transformer架构的提出&#xff0c;该架构通过自注意力机制(Self-Attention)彻底革新了自然语言处理技…...

Redis 脚本:高效数据管理的利器

Redis 脚本:高效数据管理的利器 引言 Redis,作为一款高性能的键值存储数据库,以其丰富的数据结构和操作命令,在互联网应用中扮演着重要的角色。Redis 脚本作为一种强大的工具,能够帮助开发者高效地管理和处理数据。本文将深入探讨 Redis 脚本的应用场景、编写技巧以及在…...

C++学习(十)(标准,C++11 和 C++14,C++17,C++20)

C 标准 C 标准是一组定义语言功能、语法和语义的规则和准则。国际标准化组织 &#xff08;ISO&#xff09; 负责维护和更新 C 标准。这些标准的主要目的是确保跨多个平台和编译器的一致性、效率和可维护性。 以下是迄今为止发布的不同 C 标准的简要摘要&#xff1a; C98/C03&…...

动态内存管理的了解及使用

目录 1.什么是动态内存&#xff1f; 2.为什么要使用动态内存分配空间&#xff1f; 3.动态内存开辟函数malloc&#xff0c;calloc&#xff0c;realloc 3.1 malloc 3.2 calloc 3.3 realloc 3.4 头文件包含 4.动态内存释放函数free 5.动态内存的基本常见错误 5.1 对NULL…...

大模型推理显存优化:从KV Cache压缩到量化策略实战

引言&#xff1a;显存瓶颈的困境 随着ChatGPT等大语言模型的广泛应用&#xff0c;模型推理过程中的显存占用问题日益凸显。以典型的Llama2-13B模型为例&#xff0c;单次推理就需要占用超过6GB显存&#xff0c;严重制约了服务吞吐量和硬件利用率。本文将深入探讨大模型推理中的…...

pom.xml配置(mybatisplus增删改查实现;PageInfo分页实现;JSONObject实现)

一、mybatisplus增删改查实现 pom.xml <!-- mybatis-plus --><dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version>3.5.2</version></dependency>在mapper文件里…...

File文件和目录

一、文件和目录相关概念 计算机文件&#xff08;File&#xff09;:以计算机硬盘为载体存储在计算机上的信息集合,可以是文本&#xff08;.txt&#xff09;、图片(.jpg、.png、.jpeg)、视频(.mp4)、程序(.exe)等&#xff0c;文件一般有拓展名&#xff0c;表示文件的类型。 文件…...

【运维笔记】Navicat中删除mongo 某个时间之前的数据

【运维笔记】Navicat中删除mongo 某个时间之前的数据 一、场景与需求1.1、场景1.2、需求 二、解决方案三、实战3.1、【Navicat】使用sql语句 &#xff08;推荐&#xff09;Step 1&#xff1a;使用查询窗口 - 查询Step 2&#xff1a;确认第一步的数据是否是需要删除的数据Step 3…...

BUUCTF逆向刷题笔记(1-12)

easyre、内涵的软件、xor、不一样的flag&#xff1a; buuctf reverse部分题解&#xff08;实时更新&#xff09;_reverse 题解-CSDN博客 请见小库里的blog。 reverse1 查壳发现没有&#xff0c;而且是64位 粗略改一下部分函数名&#xff0c;看看主要逻辑。 第一个for循环暂…...

如何改变怂怂懦弱的气质(2)

你是否曾经因为害怕失败而逃避选择&#xff1f;是否因为不敢拒绝别人而让自己陷入困境&#xff1f;是否因为过于友善而被人轻视&#xff1f;如果你也曾为这些问题困扰&#xff0c;那么今天的博客就是为你准备的。我们将从行动、拒绝、自我认知、实力提升等多个角度&#xff0c;…...

【DeepSeek】5分钟快速实现本地化部署教程

一、快捷部署 &#xff08;1&#xff09;下载ds大模型安装助手&#xff0c;下载后直接点击快速安装即可。 https://file-cdn-deepseek.fanqiesoft.cn/deepseek/deepseek_28348_st.exe &#xff08;2&#xff09;打开软件&#xff0c;点击立即激活 &#xff08;3&#xff09;选…...