DataWhale10月动手实践——Bot应用开发task04学习笔记

一、图像流

1. 什么是图像流？

图像流是一种直观的图像处理流程工具，用户可以灵活组合各类图像处理模块。该系统将不同的图像处理工具模块化，并通过可视化界面，将这些模块以拖拽方式组合，构建完整的处理流程。用户可以根据具体需求选择不同的处理模块，例如裁剪、亮度调整、滤镜添加等，并自由调整模块的顺序和参数，形成灵活的图像处理“流水线”，以实现最佳效果。

2. 图像流的组成

图像流是由多个工具节点组合而成的一整套流程。工具节点是组成图像流的基本单元。

3. 图像流的能力范围

COZE平台提供的图像流主要功能分为一下四类：

1. 智能生成
   • 图像生成：通过文字描述/参考图生成图片。
   • 图像参考：为图像生成添加参考图，并设定参考条件。
2. 风格模版
   • 风格滤镜：为你的照片创建风格化的滤镜，支持毛毡、粘土、积木、美漫、玉石、搞笑涂鸦风格。
   • 宠物风格化：为原图调整风格，适用于宠物场景。
3. 智能编辑
   • 提示词推理：推理图像中可能包含的提示词。
   • 提示词优化：智能优化提示词图像。
   • 智能换脸：为图片替换参考图的人脸。
   • 背景替换：为图片替换背景图。
   • 光影融合：让画面融合。
   • 智能扩图：为图像扩充相应范围的内容。
   • 画质提升：提升图像清晰度。
   • 美颜：自动识别人脸，并智能变美
4. 基础编辑
   • 画板：自定义画板排版，支持引用添加文本和图片。
   • 裁剪：自定义裁剪。
   • 调整：调整图片的亮度、对比度、饱和度。
   • 添加文字：为图片添加文字。
   • 叠图：为图片添加图片。
   • 旋转：旋转图片。
   • 缩放：缩放图片。

4. 图像流的应用方向

1. AI生图：内置了生图模型，无需自建服务器，就可以用AI生图；
2. 商品广告图案批量修改：无需PS，可快速实现广告图案的换脸、换衣服、换场景、换文案的多种修改操作，；
3. 海报制作：高可控性画布，与AI生图搭配，可以制作精美的海报；
4. 小红书等自媒体图文操作：可嵌入工作流中，进行图文生成，制作绘本、商业软文；
5. 证件、写真、节日大头像照片：个人旅拍、节日头像等照片生成；

二、单词卡片生成Bot的实践

教程中看到，单词卡片由一下四元素组成：

• 单词：字符形式，可以让用户输入单词，确定要解释的单词是什么
• 单词解释：字符形式，可以让用户输入，也可以直接让大模型生成，目的是给单词添加解释
• 图片：图片形式，和单词关联的图片，有智能生图组件生成
• 背景：背景图

1. 创建图像流

创建一个生成单词卡片的工作流，可以将它拆结为一个处理用户的工作流和一个生成单词卡片的图像流的结合体。

首先可以点击左侧的资源库，再点击创建图像流。

图像流也是由开始，结束节点和其余节点组成的。

首先我们定义开始节点，设置两个参数，word和word_content，分别代表输入的单词和单词的解读。

我们在插入一个提示词优化组件，对上一步的word_content进行修改。

接着来到了我们的生图环节，我们插入一个图像生成组建，将上一插件的输出data作为输入引入，选择模型，设定图像的比例。

紧接着我们需要将生成的图片与用户输入的word和word_img进行组合，可以使用画板插件来实现。将三个元素分别设置好来源，并点击下面的画板编辑，在画板中对三种元素进行组合。

在结束节点中输出画板组件的output参数。

试着运行一下上面的图像流，我们这里以moon为例。

2. 创建工作流

我们可以使用工作流来对用户输入的word进行处理，从而为用户省去输入word_content这一描述信息的步骤。

首先我们按照如下图所示，设置开始节点。

在这一步骤中，最关键的就是我们要使用大模型组件来代替之前的输入描述语句。我们可以插入一个大模型组件。我们设置input参数为上一组件中输入的word参数，并设置适当的用户提示词(Prompt)，来让大模型生成必要的解释性信息。

紧接着，我们插入一个刚才写好的图像流的节点，该节点接受开始节点传入的input以及大模型节点的output参数。输出生成的图片。

我们将整个工作流连接起来，并测试，看看最终的效果。

我们还是以moon为例，看看这次的输出结果。