表征对齐在训练DiT模型中的重要性
Diffusion Models专栏文章汇总：入门与实战
前言：训练过DiT模型的读者们肯定有所体会，相比于UNet模型训练难度大了很多，模型不仅很难收敛，而且非常容易训崩，其中一个很重要的原因是没有进行表征对齐！这篇博客详细介绍表征对齐在训练DiT模型中的重要性。
目录
训练过程的问题
训练DiT模型为什么慢？
仅仅依赖"渲染"损失是不够的
多层DiT之间表征能力的区别
表征对齐的具体方法
相关资料
训练过程的问题
扩散模型虽然强大，但训练起来却是个噩梦。训练一个DiT/SiT模型需要700万次迭代，要跑好几周才能达到论文里报告的FID分数。
这简直是在考验研究者的耐心和计算资源！
训练DiT模型为什么慢？
-
扩散transformer 确实能学到不错的表征，而且生成效果越好，表征质量也越高。
-
但是，这些表征还是比不上像DINOv2、JEPA或MAE这些自监督学习方法得到的表征。
-
当我们测量扩散模型特征和DINOv2特征的对齐程度时，发现扩散模型在训练过程中确实在慢慢进步，但这个过程实在是太慢了。
仅仅依赖"渲染"损失是不够的
如果你只关注重建漂亮的像素，就无法过滤掉输入中的无关细节——而这恰恰是学习强大表征的关键。
看来，即使你的目标是生成好看的图像，你也需要先学习一个强大的表征，然后才能处理那些让图像看起来漂亮的细节。
多层DiT之间表征能力的区别
仅通过对齐前几个DiT块可以实现足够的表示对齐。反过来，这允许DiT的后续层专注于基于对齐表示捕获高频细节，进一步提高生成性能。
如下图，学习能力有一个峰值，在20层之后显著下降。
表征对齐的具体方法
REPA 通过最大化预训练表示 y∗ 和隐藏状态 ht 之间的补丁相似性来实现对齐：
最终的loss如下：
相关资料
- Paper: https://arxiv.org/abs/2410.06940
- Project page: https://sihyun.me/REPA/
- Code: https://github.com/sihyun-yu/REPA
相关文章：
表征对齐在训练DiT模型中的重要性
Diffusion Models专栏文章汇总：入门与实战 前言：训练过DiT模型的读者们肯定有所体会，相比于UNet模型训练难度大了很多，模型不仅很难收敛，而且非常容易训崩，其中一个很重要的原因是没有进行表征对齐…...
Qt中CMakeLists.txt解释大全
Qt从Qt5.15版本开始正式推荐使用CMake进行项目管理。 在Qt 5.15之前，虽然可以使用CMake进行构建，但Qt官方更推荐使用qmake。 然而，从Qt5.15开始，Qt官方正式推荐使用CMake作为主要的构建系统，并在Qt 6中进一步加强了…...
【在 PyTorch 中使用 tqdm 显示训练进度条，并解决常见错误TypeError: ‘module‘ object is not callable】
在 PyTorch 中使用 tqdm 显示训练进度条，并解决常见错误TypeError: module object is not callable 在进行深度学习模型训练时，尤其是在处理大规模数据时，实时了解训练过程中的进展是非常重要的。为了实现这一点，我们可以使用 tq…...
数据结构-堆的实现和应用
目录 1.堆的概念 2.堆的构建 3.堆的实现 4.堆的功能实现 4.1堆的初始化 4.2堆的销毁 4.3堆的插入 4.3.1向上调整 4.4堆的删除 4.4.1向下调整法 编辑4.5取堆顶 5. 向上调整法和向下调整法比较 6.堆的应用 6.1TOP-K问题 6.2TOP-K思路 6.2.1用前n个数据来建堆 6.…...
数据分析的尽头是web APP？
数据分析的尽头是web APP？ 在做了一些数据分析的项目，也制作了一些数据分析相关的web APP之后，总结自己的一些想法和大家分享。 1.web APP是呈现数据分析结果的另外一种形式。 数据分析常见的结果是数据分析报告，可以是PPT或者…...
YOLO系列论文综述（从YOLOv1到YOLOv11）【第3篇：YOLOv1——YOLO的开山之作】
YOLOv1 1 摘要2 YOLO: You Only Look Once2.1 如何工作2.2 网络架构2.3 训练2.4 优缺点 YOLO系列博文： 【第1篇：概述物体检测算法发展史、YOLO应用领域、评价指标和NMS】【第2篇：YOLO系列论文、代码和主要优缺点汇总】 ——————————…...
容器和它的隔离机制
什么是容器和它的隔离机制？ 容器 是一种轻量化的虚拟化技术，它允许多个应用程序共享同一个操作系统（OS）内核，同时为每个应用程序提供自己的运行环境。容器通过利用 Linux 的内核功能（如 Namespaces 和 Cgr…...
【数据结构与算法】排序算法总结：冒泡 / 快排 / 直接插入 / 希尔 / 简单选择 / 堆排序 / 归并排序
1 排序 1.1 冒泡 内排序的交换排序类别 1.1.1 普通实现 public class BubbleSort {/*** 基本的 冒泡排序*/public static void bubbleSort(int[] srcArray) {int i,j; // 用于存放数组下标int temp 0; // 用于交换数值时临时存放值for(i0;i<srcArray.length-1;i){// j …...
Windows Serv 2019 虚拟机 安装Oracle19c，图文详情（超详细）
1、下载安装文件 Oracle官网下载直链：https://www.oracle.com/database/technologies/oracle-database-software-downloads.html#db_ee 夸克网盘下载：https://pan.quark.cn/s/1460a663ee83 2、新建 Windows Server 2019 虚拟机 （超详细&a…...
数字孪生开发之 Three.js 插件资源库（2）
在当今数字化快速发展的时代，数字孪生技术正逐渐成为各个领域的关键技术之一。它通过创建物理实体的虚拟副本，实现对实体的实时监测、模拟和优化，为企业和组织带来了诸多好处，如提高生产效率、降低成本、改进产品质量等。然而&…...
小米C++ 面试题及参考答案下（120道面试题覆盖各种类型八股文）
指针和引用的区别？怎么实现的？ 指针和引用有以下一些主要区别。 从概念上来说，指针是一个变量，它存储的是另一个变量的地址。可以通过指针来间接访问所指向的变量。例如，我们定义一个整型指针int *p;，它可以指向一个整型变量的内存地址。而引用是一个别名，它必须在定义的…...
OpenOCD之J-Link下载
NOTE：此篇文章由笔者的 VSCode编辑GCC for ARM交叉编译工具链Makefile构建OpenOCD调试（基于STM32的标准库）派生而来。 1.下载USB Dirver Tool.exe，选择J-Link dirver，替换成WinUSB驱动。（⭐USB Dirver Tool…...
华为云云连接+squid进行正向代理上网冲浪
1 概述 Squid是一个高性能的代理缓存服务器，主要用于缓冲Internet数据。它支持多种协议，包括FTP、gopher、HTTPS和HTTP。Squid通过一个单独的、非模块化的、I/O驱动的进程来处理所有的客户端请求，这使得它在处理请求时具有较高的效率。…...
情绪识别项目
文章目录 1、mp4s文件转mp3文件2、Audition下载3、Audition安装4、Audition使用： 1、mp4s文件转mp3文件 在线转：Convert audio to MP3（https://audio.online-convert.com/convert-to-mp3） 2、Audition下载 Audition CC2019/64位…...
【RISC-V CPU debug 专栏 2.2 -- Hart DM States】
文章目录 Hart DM StatesHart 的 DM 状态1. 不存在（Non-existent）2. 不可用（Unavailable）3. 运行（Running）4. 暂停（Halted）状态转换与复位行为状态指示信号Hart DM States 在 RISC-V 调试架构中，每个可以被选择的硬件线程（hart）处于以下四种调试模块（DM）状态之一…...
从零样本到少样本学习：一文读懂 Zero-shot、One-shot 和 Few-shot 的核心原理与应用！
爆款标题： 《从零样本到少样本学习：一文读懂 Zero-shot、One-shot 和 Few-shot 的核心原理与应用！》 正文： 在自然语言处理（NLP）领域，Zero-shot、One-shot 和 Few-shot 学习已经成为衡量大语言…...
【LC】3101. 交替子数组计数
题目描述： 给你一个二进制数组nums 。如果一个子数组中 不存在 两个 相邻 元素的值 相同 的情况，我们称这样的子数组为 交替子数组 。返回数组 nums 中交替子数组的数量。 示例 1： 输入： nums [0,1,1,1] 输出： 5 …...
如何构建SAAS项目
在后台使用JDBC方式动态创建用户输入的数据库信息（库名、地址、用户名、密码） 执行预先写好的sql文件（如mybatis的scriptRunner)执行建表语句及插入基础数据（管理员用户、普通用户）...
树莓派搭建NextCloud：给数据一个安全的家
前言 NAS有很多方案，常见的有 Nextcloud、Seafile、iStoreOS、Synology、ownCloud 和 OpenMediaVault ，以下是他们的特点： 1. Nextcloud 优势： 功能全面：支持文件同步、共享、在线文档编辑、视频会议、日历、联系人…...
深入解读 MongoDB 查询耗时：Execution 和 Fetching 阶段详解
在使用 MongoDB 时，查询性能的分析与优化是开发者关注的重点。MongoDB 的查询过程通常分为两个主要阶段：Execution（执行阶段）和Fetching（拉取阶段）。每个阶段的耗时代表不同的性能瓶颈，优化思路…...
深入浅出Asp.Net Core MVC应用开发系列-AspNetCore中的日志记录
ASP.NET Core 是一个跨平台的开源框架，用于在 Windows、macOS 或 Linux 上生成基于云的新式 Web 应用。 ASP.NET Core 中的日志记录 .NET 通过 ILogger API 支持高性能结构化日志记录，以帮助监视应用程序行为和诊断问题。 可以通过配置不同的记录提供程…...
基于大模型的 UI 自动化系统
基于大模型的 UI 自动化系统 下面是一个完整的 Python 系统，利用大模型实现智能 UI 自动化，结合计算机视觉和自然语言处理技术，实现"看屏操作"的能力。 系统架构设计 #mermaid-svg-2gn2GRvh5WCP2ktF {font-family:"trebuchet ms",verdana,arial,sans-…...
SkyWalking 10.2.0 SWCK 配置过程
SkyWalking 10.2.0 & SWCK 配置过程 skywalking oap-server & ui 使用Docker安装在K8S集群以外，K8S集群中的微服务使用initContainer按命名空间将skywalking-java-agent注入到业务容器中。 SWCK有整套的解决方案，全安装在K8S群集中。 具体可参…...
【Oracle APEX开发小技巧12】
有如下需求： 有一个问题反馈页面，要实现在apex页面展示能直观看到反馈时间超过7天未处理的数据，方便管理员及时处理反馈。 我的方法：直接将逻辑写在SQL中，这样可以直接在页面展示 完整代码： SELECTSF.FE…...
华为OD机试-食堂供餐-二分法
import java.util.Arrays; import java.util.Scanner;public class DemoTest3 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseint a in.nextIn…...
Java 加密常用的各种算法及其选择
在数字化时代，数据安全至关重要，Java 作为广泛应用的编程语言，提供了丰富的加密算法来保障数据的保密性、完整性和真实性。了解这些常用加密算法及其适用场景，有助于开发者在不同的业务需求中做出正确的选择。 一、对称加密算法…...
WEB3全栈开发——面试专业技能点P2智能合约开发（Solidity）
一、Solidity合约开发 下面是 Solidity 合约开发 的概念、代码示例及讲解，适合用作学习或写简历项目背景说明。 🧠 一、概念简介：Solidity 合约开发 Solidity 是一种专门为 以太坊（Ethereum）平台编写智能合约的高级编…...
【Java_EE】Spring MVC
目录 Spring Web MVC 编辑注解 RestController RequestMapping RequestParam RequestParam RequestBody PathVariable RequestPart 参数传递 注意事项 编辑参数重命名 RequestParam 编辑编辑传递集合 RequestParam 传递JSON数据 编辑RequestBody …...
ios苹果系统，js 滑动屏幕、锚定无效
现象：window.addEventListener监听touch无效，划不动屏幕，但是代码逻辑都有执行到。 scrollIntoView也无效。 原因：这是因为 iOS 的触摸事件处理机制和 touch-action: none 的设置有关。ios有太多得交互动作，从而会影响…...
基于 TAPD 进行项目管理
起因 自己写了个小工具，仓库用的Github。之前在用markdown进行需求管理，现在随着功能的增加，感觉有点难以管理了，所以用TAPD这个工具进行需求、Bug管理。 操作流程 注册 TAPD，需要提供一个企业名新建一个项目&#…...