当前位置： 首页 > news >正文

Datawhale X 魔搭 AI夏令营（2024第四期）AIGC方向 学习笔记

news 2026/6/1 19:17:12

粗谈

这一期是使用可图+lora微调进行文生图任务的比赛

文生图也算是跨模态了，输入Prompt文本，输出图片。Prompt很重要，分为prompts和negative prompts。可以指导结果图片的生成。

lora可以参考我上期夏令营的文章:Datawhale AI 夏令营（2024第三期）AI+逻辑推理方向 模型微调学习笔记。在文生图的这个使用场景下，使用LoRA调整模型参数以实现对特定主题、风格或任务的精细化控制。

Confy UI是一个可视化工具，允许模型训练者以一个流程图的形式，进行数据预处理、模型微调、图像生成。很方便，不过目前我还没有搭建起来。
在这里插入图片描述
参考图控制是一种根据某种参考图指导模型生成图片样式的方式。如下图。是基于扩散模型，对初始随机噪点扩散到完整图片的方式。
在这里插入图片描述

baseline

稍微看了下代码，流程还是下载模型和数据集、数据预处理、lora微调、图片生成。代码里通过torch.manual_seed(seed)方便我们复现此次图片生成。

下面是我调出来的图片。剧情是用moonshot生成的，大概就是一个邮递员的梦游历险记，意外获得地图->历尽艰辛->获得巫师认可，被赐予贵重的项链->原来只是个梦，但桌上确实有那个项链。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

TODO

  • 使用更适合自己想法的训练集，微调模型能力
  • 学习prompt是怎么指导模型生成的
  • 看能不能搭下Confy UI

相关文章：

Datawhale X 魔搭 AI夏令营（2024第四期）AIGC方向 学习笔记

粗谈 这一期是使用可图lora微调进行文生图任务的比赛 文生图也算是跨模态了，输入Prompt文本，输出图片。Prompt很重要，分为prompts和negative prompts。可以指导结果图片的生成。 lora可以参考我上期夏令营的文章:Datawhale AI 夏令营&…...

编程日记 2024/8/12 15:18:00

VScode前端环境搭建

前言 VScode是企业中最常用的前端开发工具，本文描述如何利用VScode搭建前端开发环境 一、安装VScode 下载Vscode 点击前往下载页面 安装 安装时一直点击下一步即可 二、环境配置 1）更改语言 点击拓展搜索Chinese后下载第一个，下载完后…...

编程日记 2024/8/12 15:16:59

Python自动化测试之selenium - 元素定位

元素定位 元素定位就是通过元素的信息或者元素层级结构来定位元素。当定位到了重复的属性，默认会定位到第一个标签。 id定位 - find_element_by_id 同一个html页面中id值是唯一的。 模拟在百度输入框中输入想要查找的内容 python 代码解读 复制代码 from sel…...

编程日记 2024/8/12 15:15:57

深入探索 npm cache clean --force：清理 npm 缓存的艺术

npm 是 JavaScript 编程语言的包管理器，它是 Node.js 运行环境的默认包管理器。npm 提供了一个丰富的生态系统，包括数以百万计的可重用代码包。然而，随着时间的推移，npm 的缓存可能会变得庞大，影响性能或导致一些奇怪的…...

编程日记 2024/8/12 15:12:52

如何看待“低代码”开发平台的兴起？

如何看待“低代码”开发平台的兴起？ 近年来，“低代码”开发平台如雨后春笋般涌现，承诺让非专业人士也能快速构建应用程序。这种新兴技术正在挑战传统软件开发模式，引发了IT行业的广泛讨论。低代码平台是提高效率的利器&#xff0…...

编程日记 2024/8/12 15:11:51

自动控制——过阻尼、欠阻尼、临界阻尼及无阻尼

自动控制——过阻尼、欠阻尼、临界阻尼及无阻尼 引言 在自动控制系统和振动分析中，系统的阻尼特性对于系统的动态响应至关重要。阻尼决定了系统在受到扰动或输入信号后，如何恢复到稳定状态。本文将详细介绍过阻尼（overdamped）、…...

编程日记 2024/8/12 15:10:49

从AlphaGo到AlphaPong：AI乒乓球机器人将如何改变乒乓球竞技？

在人工智能领域，谷歌DeepMind的AlphaGo曾以其超凡的围棋能力震惊了世界。而如今，DeepMind又将其技术延伸到了乒乓球领域，推出了乒乓球机器人，被网友戏称为“AlphaPong”。这一机器人使用ABB的IRB1100机械手臂，能够与普…...

编程日记 2024/8/12 15:07:46

荒原之梦：考研期间可以玩游戏吗？

有不少同学，特别是男同学，在考研之前，会有玩游戏的习惯，那么，对于考研的同学来说，就会产生这样一个疑问。在考研备考期间，我还可以玩游戏吗？ 其实关于这个问题的答案是因人而异的&am…...

编程日记 2024/8/12 15:06:45

Hive SQL ——窗口函数源码阅读

前言 使用Starrocks引擎中的窗口函数 row_number() over( )对10亿的数据集进行去重操作，BE内存溢出问题频发（忘记当时指定的BE内存上限是多少了.....），此时才意识到，开窗操作，如果使用 不当，反而…...

编程日记 2024/8/12 15:05:43

用python的Manim 创建大括号

Brace 是 Manim 中用于创建大括号（curly braces）的一个对象类。它有几个子类，自定义了不同的功能。下面是每个类的简要解释： 1. ArcBrace 功能: 创建一个环绕弧线的括号。适用于需要围绕弧形线条的场景。用法: 通常用于图形中有…...

编程日记 2024/8/12 15:04:42

白骑士的Matlab教学附加篇 5.2 代码规范与最佳实践

系列目录​​​​​​​ 上一篇：白骑士的Matlab教学附加篇 5.1 MATLAB开发工具 在 MATLAB 编程中，遵循良好的代码规范和最佳实践有助于提高代码的可读性、可维护性和可重用性。无论是变量命名、注释风格，还是代码格式化，合理的规…...

编程日记 2024/8/12 15:03:41

Javaweb--SpringBoot

1.SpringBoot入门 简化Spring开发的一个框架，Spring Boot 旨在帮助开发者快速搭建 Spring 框架。 整个Spring的一个合集，可以简化配置 2.微服务 （1）微服务就是一种架构风格 （2）微服务就是把一个项目拆…...

编程日记 2024/8/12 15:02:40

【数据结构】算法的时间复杂度与空间复杂度

计算机考研408-数据结构笔记本之——第一章 绪论 1.2 算法和算法评价 1.2.2 算法效率的度量 算法效率的度量是通过时间复杂度和空间复杂度来描述的。 1.空间复杂度 算法的空间复杂度S(n)定义为该算法所需的存储空间，它是问题规模n的函数，记为 S(n) …...

编程日记 2024/8/12 15:00:37

PyCharm环境python开发上位机

目录 前言： 一、pycharm新建工程 1、打开 pycharm软件，新建工程 二、配置UI界面 1、新建UI界面 1）创建 Main Window 2）拖动控件到 MainWindow 中 3）设置信号与槽 4）ctrlS 保存ui文件 2、将ui文件转…...

编程日记 2024/8/12 14:59:36

ROS 2 参数使用

ROS 2 参数使用 介绍 ROS 2 (Robot Operating System 2) 是一个为机器人开发提供支持的开源框架。它继承了 ROS 1 的优点，并且在架构上做了许多改进以支持分布式系统、实时性、安全性等要求。ROS 2 中的参数是用于配置节点行为的关键部分，允许我们动态…...

编程日记 2024/8/12 14:58:34

QT的Model-View实现大批量数据展示

一、完整源代码 1.项目结构 2.各文件代码展示 define.h #pragma once #include <QVector>//学生信息 typedef struct _STUDENT {QString name; //姓名int score1; //语文成绩int score2; //数学成绩int score3; //外语成绩_STUDENT(){name ""…...

编程日记 2024/8/12 14:57:33

2024年8月7日（mysql主从 ）

回顾 主服务器 [rootmaster_mysql ~]# yum -y install rsync [rootmaster_mysql ~]# tar -xf mysql-8.0.33-linux-glibc2.12-x86_64.tar [rootmaster_mysql ~]# tar -xf mysql-8.0.33-linux-glibc2.12-x86_64.tar.xz [rootmaster_mysql ~]# cp -r mysql-8.0.33-linux-glibc2.…...

编程日记 2024/8/12 14:56:32

接口/自动化测试 面试集合

1. apache和nginx的区别? Nginx相对Apache的优点: 轻量级&#xff0c;同样起web服务&#xff0c;比apache占用更少的内存及资源; 抗并发&#xff0c;nginx处理请求是异步非阻塞的&#xff0c;支持更多的并发连接&#xff0c;而apache则是阻塞型的&#xff0c;在高 并发下ngi…...

编程日记 2024/8/12 14:55:31

菜鸡勇闯第136场双周赛

菜鸡鼓足了勇气报名了力扣双周赛&#xff08;后来复盘才知道双周赛更难一点&#xff0c;我真是头铁。。&#xff09; 没想到还拿了个竞赛名次哈哈哈哈哈还在前50%&#xff0c;小力它真的&#xff0c;我哭死 为什么我本科被高数老师忽悠&#xff0c;去打了两年数模o(≧口≦)o 每…...

编程日记 2024/8/12 14:54:29

趋动科技陈飞：从小模型到大模型，AI时代下的数据中心建设

自AI大模型横空出世&#xff0c;不断推动着AI从学术界到产业界向大众破圈&#xff0c;新的时代正在来临。11月15-16日&#xff0c;由CDCC主办的“2023第11届数据中心标准大会”在北京国家会议中心盛大开幕。 本届大会的主题围绕“AI时代 重塑未来”&#xff0c;聚焦数据中心领…...

编程日记 2024/8/12 14:53:28

LLM API安全攻防实战：从提示词注入到自动化测试方案

1. 项目概述&#xff1a;被忽视的LLM API安全前线最近在帮几个团队做上线前的安全审计&#xff0c;发现一个挺有意思的现象&#xff1a;大家对于传统API的鉴权、限流、SQL注入这些常规检查已经形成了肌肉记忆&#xff0c;但一旦涉及到LLM&#xff08;大语言模型&#xff09;的A…...

编程新知 2026/5/26 4:58:26

酒店门锁V10SDK接口说明-幽冥大陆(一百23)—东方仙盟

相关文件系统环境C# :NET.20,NET3.5,NET4,NET4.5,NET 5.0C:VS2005,VS2012,VS2015操作系统&#xff1a;未来之窗VOSWEB:CHROME43核心代码完整代码using System; using System.Collections.Generic; using System.Text; using System.Collections.Specialized;using System.Windo…...

编程新知 2026/5/26 3:13:58

智慧树自动刷课助手：3步告别手动操作的学习效率工具

智慧树自动刷课助手&#xff1a;3步告别手动操作的学习效率工具 【免费下载链接】zhihuishu 智慧树刷课插件&#xff0c;自动播放下一集、1.5倍速度、无声 项目地址: https://gitcode.com/gh_mirrors/zh/zhihuishu 还在为智慧树平台的重复刷课操作而烦恼吗&#xff1f;智…...

编程新知 2026/5/26 0:50:41

智能体所有权与版权：AI Agent Harness Engineering 创造的作品归谁所有？

1. 标题选项 《AI Agent创作版权迷局破解：从Harness工程原理到所有权划分的完整指南》 《智能体作品归谁？AI Agent Harness Engineering场景下的版权规则深度拆解》 《告别权属纠纷：一文搞懂AI Agent生成内容的所有权、版权与收益分配规则》 《Harness工程视角下的AI创作权：…...

编程新知 2026/5/26 0:18:08

AI学习 - 大模型基础入门

AI学习 - 大模型基础入门 从零开始&#xff1a;Ollama 安装 → 本地模型运行 → Python 代码接入 → 理解核心概念 摘要 本文记录了在 Windows 上使用 Ollama 部署本地大模型、并通过 Python 代码接入调用的完整过程。内容涵盖&#xff1a;Ollama 安装与模型拉取、大模型基础概…...

编程新知 2026/5/25 23:29:27

榨干Codex！OpenAI工程师亲授Codex真正用法

你可能把 Codex 当编程助手用&#xff0c;改改代码&#xff0c;跑跑测试。但它的能力远不止于此。OpenAI 的客户支持工程师 Jason&#xff08;jxnlco&#xff09;告诉你&#xff0c;Codex 其实是一套完整的电脑工作系统&#xff0c;从语音输入到自动化&#xff0c;从浏览器操控…...

编程新知 2026/5/25 21:13:33

氘可来昔替尼常见副作用为鼻咽炎头痛及腹泻，如何应对？

任何口服药物的临床价值&#xff0c;都必须在疗效与安全性的天平上找到精准的平衡点。氘可来昔替尼以PASI 75应答率的全面胜出证明了自己在银屑病治疗中的卓越地位&#xff0c;而其不良反应谱同样经过了严苛的临床验证。鼻咽炎、头痛和腹泻构成了这款药物最需关注的三大安全信号…...

编程新知 2026/5/25 20:57:14

DeepSeek模型微调全链路解析：从数据准备、LoRA配置到推理部署的7大关键步骤

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;DeepSeek模型微调全链路概览 DeepSeek系列大语言模型&#xff08;如DeepSeek-V2、DeepSeek-Coder&#xff09;凭借其开源特性、高性能推理能力与丰富的领域适配性&#xff0c;已成为工业界与学术界微调…...

编程新知 2026/5/25 19:57:31

告别漫长等待：UE5.2.1 Windows打包效率优化与插件问题排查指南

告别漫长等待&#xff1a;UE5.2.1 Windows打包效率优化与插件问题排查指南第一次点击"打包项目"按钮时&#xff0c;进度条仿佛被冻结的场景&#xff0c;每个UE5开发者都经历过。尤其当项目规模达到数十GB时&#xff0c;等待时间可能超过一小时——这背后隐藏着引擎底…...

编程新知 2026/5/25 19:11:15

使用libusb-win32驱动复活老旧USB硬件：以Elektor Magic Eye为例

1. 项目概述&#xff1a;让老硬件在新时代焕发新生手头有一台十多年前的《Elektor》杂志上刊登的“Magic Eye EM84”复古VFD显示屏项目&#xff0c;想把它接到Windows 10电脑上当个酷炫的CPU占用率显示器&#xff0c;却发现官方提供的“AVR309”USB驱动在新系统上彻底罢工了。这…...

编程新知 2026/5/27 7:30:55