表征对齐在训练DiT模型中的重要性
Diffusion Models专栏文章汇总：入门与实战
前言：训练过DiT模型的读者们肯定有所体会，相比于UNet模型训练难度大了很多，模型不仅很难收敛，而且非常容易训崩，其中一个很重要的原因是没有进行表征对齐！这篇博客详细介绍表征对齐在训练DiT模型中的重要性。
目录
训练过程的问题
训练DiT模型为什么慢？
仅仅依赖"渲染"损失是不够的
多层DiT之间表征能力的区别
表征对齐的具体方法
相关资料
训练过程的问题
扩散模型虽然强大，但训练起来却是个噩梦。训练一个DiT/SiT模型需要700万次迭代，要跑好几周才能达到论文里报告的FID分数。
这简直是在考验研究者的耐心和计算资源！
训练DiT模型为什么慢？
-
扩散transformer 确实能学到不错的表征，而且生成效果越好，表征质量也越高。
-
但是，这些表征还是比不上像DINOv2、JEPA或MAE这些自监督学习方法得到的表征。
-
当我们测量扩散模型特征和DINOv2特征的对齐程度时，发现扩散模型在训练过程中确实在慢慢进步，但这个过程实在是太慢了。
仅仅依赖"渲染"损失是不够的
如果你只关注重建漂亮的像素，就无法过滤掉输入中的无关细节——而这恰恰是学习强大表征的关键。
看来，即使你的目标是生成好看的图像，你也需要先学习一个强大的表征，然后才能处理那些让图像看起来漂亮的细节。
多层DiT之间表征能力的区别
仅通过对齐前几个DiT块可以实现足够的表示对齐。反过来，这允许DiT的后续层专注于基于对齐表示捕获高频细节，进一步提高生成性能。
如下图，学习能力有一个峰值，在20层之后显著下降。
表征对齐的具体方法
REPA 通过最大化预训练表示 y∗ 和隐藏状态 ht 之间的补丁相似性来实现对齐：
最终的loss如下：
相关资料
- Paper: https://arxiv.org/abs/2410.06940
- Project page: https://sihyun.me/REPA/
- Code: https://github.com/sihyun-yu/REPA
相关文章：
表征对齐在训练DiT模型中的重要性
Diffusion Models专栏文章汇总：入门与实战 前言：训练过DiT模型的读者们肯定有所体会，相比于UNet模型训练难度大了很多，模型不仅很难收敛，而且非常容易训崩，其中一个很重要的原因是没有进行表征对齐…...
Qt中CMakeLists.txt解释大全
Qt从Qt5.15版本开始正式推荐使用CMake进行项目管理。 在Qt 5.15之前，虽然可以使用CMake进行构建，但Qt官方更推荐使用qmake。 然而，从Qt5.15开始，Qt官方正式推荐使用CMake作为主要的构建系统，并在Qt 6中进一步加强了…...
【在 PyTorch 中使用 tqdm 显示训练进度条，并解决常见错误TypeError: ‘module‘ object is not callable】
在 PyTorch 中使用 tqdm 显示训练进度条，并解决常见错误TypeError: module object is not callable 在进行深度学习模型训练时，尤其是在处理大规模数据时，实时了解训练过程中的进展是非常重要的。为了实现这一点，我们可以使用 tq…...
数据结构-堆的实现和应用
目录 1.堆的概念 2.堆的构建 3.堆的实现 4.堆的功能实现 4.1堆的初始化 4.2堆的销毁 4.3堆的插入 4.3.1向上调整 4.4堆的删除 4.4.1向下调整法 编辑4.5取堆顶 5. 向上调整法和向下调整法比较 6.堆的应用 6.1TOP-K问题 6.2TOP-K思路 6.2.1用前n个数据来建堆 6.…...
数据分析的尽头是web APP？
数据分析的尽头是web APP？ 在做了一些数据分析的项目，也制作了一些数据分析相关的web APP之后，总结自己的一些想法和大家分享。 1.web APP是呈现数据分析结果的另外一种形式。 数据分析常见的结果是数据分析报告，可以是PPT或者…...
YOLO系列论文综述（从YOLOv1到YOLOv11）【第3篇：YOLOv1——YOLO的开山之作】
YOLOv1 1 摘要2 YOLO: You Only Look Once2.1 如何工作2.2 网络架构2.3 训练2.4 优缺点 YOLO系列博文： 【第1篇：概述物体检测算法发展史、YOLO应用领域、评价指标和NMS】【第2篇：YOLO系列论文、代码和主要优缺点汇总】 ——————————…...
容器和它的隔离机制
什么是容器和它的隔离机制？ 容器 是一种轻量化的虚拟化技术，它允许多个应用程序共享同一个操作系统（OS）内核，同时为每个应用程序提供自己的运行环境。容器通过利用 Linux 的内核功能（如 Namespaces 和 Cgr…...
【数据结构与算法】排序算法总结：冒泡 / 快排 / 直接插入 / 希尔 / 简单选择 / 堆排序 / 归并排序
1 排序 1.1 冒泡 内排序的交换排序类别 1.1.1 普通实现 public class BubbleSort {/*** 基本的 冒泡排序*/public static void bubbleSort(int[] srcArray) {int i,j; // 用于存放数组下标int temp 0; // 用于交换数值时临时存放值for(i0;i<srcArray.length-1;i){// j …...
Windows Serv 2019 虚拟机 安装Oracle19c，图文详情（超详细）
1、下载安装文件 Oracle官网下载直链：https://www.oracle.com/database/technologies/oracle-database-software-downloads.html#db_ee 夸克网盘下载：https://pan.quark.cn/s/1460a663ee83 2、新建 Windows Server 2019 虚拟机 （超详细&a…...
数字孪生开发之 Three.js 插件资源库（2）
在当今数字化快速发展的时代，数字孪生技术正逐渐成为各个领域的关键技术之一。它通过创建物理实体的虚拟副本，实现对实体的实时监测、模拟和优化，为企业和组织带来了诸多好处，如提高生产效率、降低成本、改进产品质量等。然而&…...
小米C++ 面试题及参考答案下（120道面试题覆盖各种类型八股文）
指针和引用的区别？怎么实现的？ 指针和引用有以下一些主要区别。 从概念上来说，指针是一个变量，它存储的是另一个变量的地址。可以通过指针来间接访问所指向的变量。例如，我们定义一个整型指针int *p;，它可以指向一个整型变量的内存地址。而引用是一个别名，它必须在定义的…...
OpenOCD之J-Link下载
NOTE：此篇文章由笔者的 VSCode编辑GCC for ARM交叉编译工具链Makefile构建OpenOCD调试（基于STM32的标准库）派生而来。 1.下载USB Dirver Tool.exe，选择J-Link dirver，替换成WinUSB驱动。（⭐USB Dirver Tool…...
华为云云连接+squid进行正向代理上网冲浪
1 概述 Squid是一个高性能的代理缓存服务器，主要用于缓冲Internet数据。它支持多种协议，包括FTP、gopher、HTTPS和HTTP。Squid通过一个单独的、非模块化的、I/O驱动的进程来处理所有的客户端请求，这使得它在处理请求时具有较高的效率。…...
情绪识别项目
文章目录 1、mp4s文件转mp3文件2、Audition下载3、Audition安装4、Audition使用： 1、mp4s文件转mp3文件 在线转：Convert audio to MP3（https://audio.online-convert.com/convert-to-mp3） 2、Audition下载 Audition CC2019/64位…...
【RISC-V CPU debug 专栏 2.2 -- Hart DM States】
文章目录 Hart DM StatesHart 的 DM 状态1. 不存在（Non-existent）2. 不可用（Unavailable）3. 运行（Running）4. 暂停（Halted）状态转换与复位行为状态指示信号Hart DM States 在 RISC-V 调试架构中，每个可以被选择的硬件线程（hart）处于以下四种调试模块（DM）状态之一…...
从零样本到少样本学习：一文读懂 Zero-shot、One-shot 和 Few-shot 的核心原理与应用！
爆款标题： 《从零样本到少样本学习：一文读懂 Zero-shot、One-shot 和 Few-shot 的核心原理与应用！》 正文： 在自然语言处理（NLP）领域，Zero-shot、One-shot 和 Few-shot 学习已经成为衡量大语言…...
【LC】3101. 交替子数组计数
题目描述： 给你一个二进制数组nums 。如果一个子数组中 不存在 两个 相邻 元素的值 相同 的情况，我们称这样的子数组为 交替子数组 。返回数组 nums 中交替子数组的数量。 示例 1： 输入： nums [0,1,1,1] 输出： 5 …...
如何构建SAAS项目
在后台使用JDBC方式动态创建用户输入的数据库信息（库名、地址、用户名、密码） 执行预先写好的sql文件（如mybatis的scriptRunner)执行建表语句及插入基础数据（管理员用户、普通用户）...
树莓派搭建NextCloud：给数据一个安全的家
前言 NAS有很多方案，常见的有 Nextcloud、Seafile、iStoreOS、Synology、ownCloud 和 OpenMediaVault ，以下是他们的特点： 1. Nextcloud 优势： 功能全面：支持文件同步、共享、在线文档编辑、视频会议、日历、联系人…...
深入解读 MongoDB 查询耗时：Execution 和 Fetching 阶段详解
在使用 MongoDB 时，查询性能的分析与优化是开发者关注的重点。MongoDB 的查询过程通常分为两个主要阶段：Execution（执行阶段）和Fetching（拉取阶段）。每个阶段的耗时代表不同的性能瓶颈，优化思路…...
(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)
题目：3442. 奇偶频次间的最大差值 I 思路 ：哈希，时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况，哈希表这里用数组即可实现。 C版本： class Solution { public:int maxDifference(string s) {int a[26]…...
多模态2025：技术路线“神仙打架”，视频生成冲上云霄
文｜魏琳华 编｜王一粟 一场大会，聚集了中国多模态大模型的“半壁江山”。 智源大会2025为期两天的论坛中，汇集了学界、创业公司和大厂等三方的热门选手，关于多模态的集中讨论达到了前所未有的热度。其中，…...
Vue3 + Element Plus + TypeScript中el-transfer穿梭框组件使用详解及示例
使用详解 Element Plus 的 el-transfer 组件是一个强大的穿梭框组件，常用于在两个集合之间进行数据转移，如权限分配、数据选择等场景。下面我将详细介绍其用法并提供一个完整示例。 核心特性与用法 基本属性 v-model：绑定右侧列表的值&…...
对WWDC 2025 Keynote 内容的预测
借助我们以往对苹果公司发展路径的深入研究经验，以及大语言模型的分析能力，我们系统梳理了多年来苹果 WWDC 主题演讲的规律。在 WWDC 2025 即将揭幕之际，我们让 ChatGPT 对今年的 Keynote 内容进行了一个初步预测，聊作存档。等到明…...
postgresql|数据库|只读用户的创建和删除（备忘）
CREATE USER read_only WITH PASSWORD 密码 -- 连接到xxx数据库 \c xxx -- 授予对xxx数据库的只读权限 GRANT CONNECT ON DATABASE xxx TO read_only; GRANT USAGE ON SCHEMA public TO read_only; GRANT SELECT ON ALL TABLES IN SCHEMA public TO read_only; GRANT EXECUTE O…...
【论文笔记】若干矿井粉尘检测算法概述
总的来说，传统机器学习、传统机器学习与深度学习的结合、LSTM等算法所需要的数据集来源于矿井传感器测量的粉尘浓度，通过建立回归模型来预测未来矿井的粉尘浓度。传统机器学习算法性能易受数据中极端值的影响。YOLO等计算机视觉算法所需要的数据集来源于…...
生成 Git SSH 证书
🔑 1. 生成 SSH 密钥对 在终端（Windows 使用 Git Bash，Mac/Linux 使用 Terminal）执行命令： ssh-keygen -t rsa -b 4096 -C "your_emailexample.com" 参数说明： -t rsa&#x…...
k8s业务程序联调工具-KtConnect
概述 原理 工具作用是建立了一个从本地到集群的单向VPN，根据VPN原理，打通两个内网必然需要借助一个公共中继节点，ktconnect工具巧妙的利用k8s原生的portforward能力，简化了建立连接的过程，apiserver间接起到了中继节…...
UR 协作机器人「三剑客」：精密轻量担当（UR7e）、全能协作主力（UR12e）、重型任务专家（UR15）
UR协作机器人正以其卓越性能在现代制造业自动化中扮演重要角色。UR7e、UR12e和UR15通过创新技术和精准设计满足了不同行业的多样化需求。其中，UR15以其速度、精度及人工智能准备能力成为自动化领域的重要突破。UR7e和UR12e则在负载规格和市场定位上不断优化…...
SpringCloudGateway 自定义局部过滤器
场景： 将所有请求转化为同一路径请求（方便穿网配置）在请求头内标识原来路径，然后在将请求分发给不同服务 AllToOneGatewayFilterFactory import lombok.Getter; import lombok.Setter; import lombok.extern.slf4j.Slf4j; impor…...