表征对齐在训练DiT模型中的重要性
Diffusion Models专栏文章汇总：入门与实战
前言：训练过DiT模型的读者们肯定有所体会，相比于UNet模型训练难度大了很多，模型不仅很难收敛，而且非常容易训崩，其中一个很重要的原因是没有进行表征对齐！这篇博客详细介绍表征对齐在训练DiT模型中的重要性。
目录
训练过程的问题
训练DiT模型为什么慢？
仅仅依赖"渲染"损失是不够的
多层DiT之间表征能力的区别
表征对齐的具体方法
相关资料
训练过程的问题
扩散模型虽然强大，但训练起来却是个噩梦。训练一个DiT/SiT模型需要700万次迭代，要跑好几周才能达到论文里报告的FID分数。
这简直是在考验研究者的耐心和计算资源！
训练DiT模型为什么慢？
-
扩散transformer 确实能学到不错的表征，而且生成效果越好，表征质量也越高。
-
但是，这些表征还是比不上像DINOv2、JEPA或MAE这些自监督学习方法得到的表征。
-
当我们测量扩散模型特征和DINOv2特征的对齐程度时，发现扩散模型在训练过程中确实在慢慢进步，但这个过程实在是太慢了。
仅仅依赖"渲染"损失是不够的
如果你只关注重建漂亮的像素，就无法过滤掉输入中的无关细节——而这恰恰是学习强大表征的关键。
看来，即使你的目标是生成好看的图像，你也需要先学习一个强大的表征，然后才能处理那些让图像看起来漂亮的细节。
多层DiT之间表征能力的区别
仅通过对齐前几个DiT块可以实现足够的表示对齐。反过来，这允许DiT的后续层专注于基于对齐表示捕获高频细节，进一步提高生成性能。
如下图，学习能力有一个峰值，在20层之后显著下降。
表征对齐的具体方法
REPA 通过最大化预训练表示 y∗ 和隐藏状态 ht 之间的补丁相似性来实现对齐：
最终的loss如下：
相关资料
- Paper: https://arxiv.org/abs/2410.06940
- Project page: https://sihyun.me/REPA/
- Code: https://github.com/sihyun-yu/REPA
相关文章：
表征对齐在训练DiT模型中的重要性
Diffusion Models专栏文章汇总：入门与实战 前言：训练过DiT模型的读者们肯定有所体会，相比于UNet模型训练难度大了很多，模型不仅很难收敛，而且非常容易训崩，其中一个很重要的原因是没有进行表征对齐…...
Qt中CMakeLists.txt解释大全
Qt从Qt5.15版本开始正式推荐使用CMake进行项目管理。 在Qt 5.15之前，虽然可以使用CMake进行构建，但Qt官方更推荐使用qmake。 然而，从Qt5.15开始，Qt官方正式推荐使用CMake作为主要的构建系统，并在Qt 6中进一步加强了…...
【在 PyTorch 中使用 tqdm 显示训练进度条，并解决常见错误TypeError: ‘module‘ object is not callable】
在 PyTorch 中使用 tqdm 显示训练进度条，并解决常见错误TypeError: module object is not callable 在进行深度学习模型训练时，尤其是在处理大规模数据时，实时了解训练过程中的进展是非常重要的。为了实现这一点，我们可以使用 tq…...
数据结构-堆的实现和应用
目录 1.堆的概念 2.堆的构建 3.堆的实现 4.堆的功能实现 4.1堆的初始化 4.2堆的销毁 4.3堆的插入 4.3.1向上调整 4.4堆的删除 4.4.1向下调整法 编辑4.5取堆顶 5. 向上调整法和向下调整法比较 6.堆的应用 6.1TOP-K问题 6.2TOP-K思路 6.2.1用前n个数据来建堆 6.…...
数据分析的尽头是web APP？
数据分析的尽头是web APP？ 在做了一些数据分析的项目，也制作了一些数据分析相关的web APP之后，总结自己的一些想法和大家分享。 1.web APP是呈现数据分析结果的另外一种形式。 数据分析常见的结果是数据分析报告，可以是PPT或者…...
YOLO系列论文综述（从YOLOv1到YOLOv11）【第3篇：YOLOv1——YOLO的开山之作】
YOLOv1 1 摘要2 YOLO: You Only Look Once2.1 如何工作2.2 网络架构2.3 训练2.4 优缺点 YOLO系列博文： 【第1篇：概述物体检测算法发展史、YOLO应用领域、评价指标和NMS】【第2篇：YOLO系列论文、代码和主要优缺点汇总】 ——————————…...
容器和它的隔离机制
什么是容器和它的隔离机制？ 容器 是一种轻量化的虚拟化技术，它允许多个应用程序共享同一个操作系统（OS）内核，同时为每个应用程序提供自己的运行环境。容器通过利用 Linux 的内核功能（如 Namespaces 和 Cgr…...
【数据结构与算法】排序算法总结：冒泡 / 快排 / 直接插入 / 希尔 / 简单选择 / 堆排序 / 归并排序
1 排序 1.1 冒泡 内排序的交换排序类别 1.1.1 普通实现 public class BubbleSort {/*** 基本的 冒泡排序*/public static void bubbleSort(int[] srcArray) {int i,j; // 用于存放数组下标int temp 0; // 用于交换数值时临时存放值for(i0;i<srcArray.length-1;i){// j …...
Windows Serv 2019 虚拟机 安装Oracle19c，图文详情（超详细）
1、下载安装文件 Oracle官网下载直链：https://www.oracle.com/database/technologies/oracle-database-software-downloads.html#db_ee 夸克网盘下载：https://pan.quark.cn/s/1460a663ee83 2、新建 Windows Server 2019 虚拟机 （超详细&a…...
数字孪生开发之 Three.js 插件资源库（2）
在当今数字化快速发展的时代，数字孪生技术正逐渐成为各个领域的关键技术之一。它通过创建物理实体的虚拟副本，实现对实体的实时监测、模拟和优化，为企业和组织带来了诸多好处，如提高生产效率、降低成本、改进产品质量等。然而&…...
小米C++ 面试题及参考答案下（120道面试题覆盖各种类型八股文）
指针和引用的区别？怎么实现的？ 指针和引用有以下一些主要区别。 从概念上来说，指针是一个变量，它存储的是另一个变量的地址。可以通过指针来间接访问所指向的变量。例如，我们定义一个整型指针int *p;，它可以指向一个整型变量的内存地址。而引用是一个别名，它必须在定义的…...
OpenOCD之J-Link下载
NOTE：此篇文章由笔者的 VSCode编辑GCC for ARM交叉编译工具链Makefile构建OpenOCD调试（基于STM32的标准库）派生而来。 1.下载USB Dirver Tool.exe，选择J-Link dirver，替换成WinUSB驱动。（⭐USB Dirver Tool…...
华为云云连接+squid进行正向代理上网冲浪
1 概述 Squid是一个高性能的代理缓存服务器，主要用于缓冲Internet数据。它支持多种协议，包括FTP、gopher、HTTPS和HTTP。Squid通过一个单独的、非模块化的、I/O驱动的进程来处理所有的客户端请求，这使得它在处理请求时具有较高的效率。…...
情绪识别项目
文章目录 1、mp4s文件转mp3文件2、Audition下载3、Audition安装4、Audition使用： 1、mp4s文件转mp3文件 在线转：Convert audio to MP3（https://audio.online-convert.com/convert-to-mp3） 2、Audition下载 Audition CC2019/64位…...
【RISC-V CPU debug 专栏 2.2 -- Hart DM States】
文章目录 Hart DM StatesHart 的 DM 状态1. 不存在（Non-existent）2. 不可用（Unavailable）3. 运行（Running）4. 暂停（Halted）状态转换与复位行为状态指示信号Hart DM States 在 RISC-V 调试架构中，每个可以被选择的硬件线程（hart）处于以下四种调试模块（DM）状态之一…...
从零样本到少样本学习：一文读懂 Zero-shot、One-shot 和 Few-shot 的核心原理与应用！
爆款标题： 《从零样本到少样本学习：一文读懂 Zero-shot、One-shot 和 Few-shot 的核心原理与应用！》 正文： 在自然语言处理（NLP）领域，Zero-shot、One-shot 和 Few-shot 学习已经成为衡量大语言…...
【LC】3101. 交替子数组计数
题目描述： 给你一个二进制数组nums 。如果一个子数组中 不存在 两个 相邻 元素的值 相同 的情况，我们称这样的子数组为 交替子数组 。返回数组 nums 中交替子数组的数量。 示例 1： 输入： nums [0,1,1,1] 输出： 5 …...
如何构建SAAS项目
在后台使用JDBC方式动态创建用户输入的数据库信息（库名、地址、用户名、密码） 执行预先写好的sql文件（如mybatis的scriptRunner)执行建表语句及插入基础数据（管理员用户、普通用户）...
树莓派搭建NextCloud：给数据一个安全的家
前言 NAS有很多方案，常见的有 Nextcloud、Seafile、iStoreOS、Synology、ownCloud 和 OpenMediaVault ，以下是他们的特点： 1. Nextcloud 优势： 功能全面：支持文件同步、共享、在线文档编辑、视频会议、日历、联系人…...
深入解读 MongoDB 查询耗时：Execution 和 Fetching 阶段详解
在使用 MongoDB 时，查询性能的分析与优化是开发者关注的重点。MongoDB 的查询过程通常分为两个主要阶段：Execution（执行阶段）和Fetching（拉取阶段）。每个阶段的耗时代表不同的性能瓶颈，优化思路…...
OpenLayers 可视化之热力图
注：当前使用的是 ol 5.3.0 版本，天地图使用的key请到天地图官网申请，并替换为自己的key 热力图（Heatmap）又叫热点图，是一种通过特殊高亮显示事物密度分布、变化趋势的数据可视化技术。采用颜色的深浅来显示…...
P3 QT项目----记事本（3.8）
3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...
【Go】3、Go语言进阶与依赖管理
前言 本系列文章参考自稀土掘金上的 【字节内部课】公开课，做自我学习总结整理。 Go语言并发编程 Go语言原生支持并发编程，它的核心机制是 Goroutine 协程、Channel 通道，并基于CSP（Communicating Sequential Processes࿰…...
多种风格导航菜单 HTML 实现（附源码）
下面我将为您展示 6 种不同风格的导航菜单实现，每种都包含完整 HTML、CSS 和 JavaScript 代码。 1. 简约水平导航栏 <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta name"viewport&qu…...
在WSL2的Ubuntu镜像中安装Docker
Docker官网链接: https://docs.docker.com/engine/install/ubuntu/ 1、运行以下命令卸载所有冲突的软件包： for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done2、设置Docker…...
【Oracle】分区表
个人主页：Guiat 归属专栏：Oracle 文章目录 1. 分区表基础概述1.1 分区表的概念与优势1.2 分区类型概览1.3 分区表的工作原理 2. 范围分区 (RANGE Partitioning)2.1 基础范围分区2.1.1 按日期范围分区2.1.2 按数值范围分区 2.2 间隔分区 (INTERVAL Partit…...
Java多线程实现之Thread类深度解析
Java多线程实现之Thread类深度解析 一、多线程基础概念1.1 什么是线程1.2 多线程的优势1.3 Java多线程模型 二、Thread类的基本结构与构造函数2.1 Thread类的继承关系2.2 构造函数 三、创建和启动线程3.1 继承Thread类创建线程3.2 实现Runnable接口创建线程 四、Thread类的核心…...
人工智能（大型语言模型 LLMs）对不同学科的影响以及由此产生的新学习方式
今天是关于AI如何在教学中增强学生的学习体验，我把重要信息标红了。人文学科的价值被低估了 ⬇️ 转型与必要性 人工智能正在深刻地改变教育，这并非炒作，而是已经发生的巨大变革。教育机构和教育者不能忽视它，试图简单地禁止学生使…...
为什么要创建 Vue 实例
核心原因：Vue 需要一个「控制中心」来驱动整个应用 你可以把 Vue 实例想象成你应用的**「大脑」或「引擎」。它负责协调模板、数据、逻辑和行为，将它们变成一个活的、可交互的应用**。没有这个实例，你的代码只是一堆静态的 HTML、JavaScript 变量和函数，无法「活」起来。 …...
C语言中提供的第三方库之哈希表实现
一. 简介 前面一篇文章简单学习了C语言中第三方库（uthash库）提供对哈希表的操作，文章如下： C语言中提供的第三方库uthash常用接口-CSDN博客 本文简单学习一下第三方库 uthash库对哈希表的操作。 二. uthash库哈希表操作示例 u…...