6.将扩散模型与其他生成模型的关联(2)
1.归一化流与扩散模型
自一化流(Normalizing Flow)是生成模型,通过将易于处理的分布进行变换以队对高维数据进行建模。归一化流可以将简单的概率分布转化为极其复杂的分布,并用于强化学习、变分推理等领域。
现有的归一化流是基于变量替换公式构建的,其中连续时间归一化流的轨迹由微分方程公式化。具体来说,连续归一化流通过如下微分方程对原始数据进行变换:
与连续时间类似,归一化流允许通过变量替换公式计算对数似然,然而,双射的要求限制了在实际应用中或理论研究中的对复杂数据的建模。有几项工作试图放宽这种双射要求。例如,DifFlow引入了一种生成建模算法,基于归一化流的想法,DifFlow 使用了归一化流来直接学习扩散模型中的原本需要人工设置的漂移系数。这使它拥有了归一化流和扩散模型的优点。因此相比归一化流,DiFlow产生的分布边界更清晰,并且可以学习更一般的分布,而与扩散模型相比,其离散化步骤更少所以采样速度更快。另一项工作,隐式非线性扩散模型(Implicit Nonlinear Diffusion Model,INDM)采用了类似LSGM 的设计,先使用归一化流将原始数据映射到潜在空间中,然后在空间中进行扩散。利用伊藤公式,可以证明INDM实际上是使用了由归一化流学习的非线性SDE来对数据进行扰动和恢复的。进一步分析,INDM的ELBO可转化为归一化流的损失与分解分数匹配的求和,使模型被高校训练。实验结果表明INDM可以提高采样速度,并且提高模型的似然值。
2.自回归模型与扩散模型
自回归模型(Autoregressive Model,ARM)通过将数据的联合分布分解为条件的乘积来对数据进行建模。使用概率链式法则,随机向量x1:t的对数似然可以写为:
其中x<t是x1:t的缩写,深度学习的最新进展促进了各种数据模式,例如,图像、音频和文本。自回归模型(ARM) 通过使用单个神经网络提供生成能力。采样这些模型需要与数据维度相同数量的网络调用虽然ARM。虽然ARM是有效密度估计器,但抽样是一个连续的、耗时的过程(尤其对于高维数据更是如此)。另一方面,自回归扩散模型(ARDM)能够生成任意顺序的数据,包括与顺序无关的自回归模型和离散扩散模型。与传统ARDM 表征上使用因果掩码的方法不同,ARDM使用了一个有效的训练目标来使其适用于高维数据,其灵感来自扩散概率模型(DPM)。此外,ARDM的生成过程与具有吸收态的离散扩散模型是相似的。在测试阶段,扩散模型与ARDM能够并行生成数据,使其可以应用于一系列的生成任务。
3.基于能量的模型与扩散模型
基于能量的模型(Energy-Based Model,EBM)可以被视作一种生成式的判别器,其可以从未标记的输入数据中学习。让x~pdata(x)表示一个训练样例,p(x)表示一个概率密度函数,旨在逼近Pdata(x)。基于能量的模型定义为:
其中z=
exp(f
(x))dx是归一化系数,对于高维度数据是难以解析计算的。对于图象数据,
f(x)。Salimans等人通过较约束分数模型和基于能量的模型对数据分布的分数进行建模,最终发现了约束分模型即基于能量的模型。当二者使用了可比较的模型结构时,在使用基于能量的橡(EBM)时可以和无约束模型得到一样好的表现。
尽管EBM具有许多理想的特性,但在高维数据建模方面仍然存在两个挑战。首先,对于最大化似然学习得到的EBM,通常需要使用MCMC方法来从模型中生成样本。这使得计算成本可能非常高。其次,以往经验表明,通过非收敛的MCMC方学习到的能量势能不稳定,来自长期马尔可夫链的样本与观察到的样本有显著不同。在一项研究中,Gao等人提出了一种扩散恢复似然法,即在扩散模型逆过程中使用一系列条件 EBM学习样本分布。在这一系列条件EBM中,每一个条件EBM 都接受上一个条件EBM 产生的噪声强度较高的样本,并对接受的样本进行去噪,以产生声强度较低的样本。条件EBM p(x|x~)是通过恢复似然训练的,即在给定高噪声样本后,使用低噪声数据x的条件似然值作为目标函数,其目的是在给定更高噪声的噪声数据的情况下,最大化特定低噪声水平下数据的条件概率。条件EBM可以较好地最大化恢复似然,这是因为原数据的分布可能是多模态的,而在给定加噪样本后,原数据的条件概率会比原数据的边际似更容易处理。例如,从条件分布抽样比从边际分布中抽样容易得多。当每次加入的噪声强度足够小时,条件EBM的条件似然函数将接近高斯分布。这意味着扩散恢复似然中逐个条件 EMB的采样近似于扩散模型逆过程中逐次对样本去噪。同时 Gao 等人还证明了,当每次加入的噪声强度足够小时,扩散恢复似然的最大似然训练与 ScoreSDE的分数匹配训练是近似的,并进一步建立了基于能量的模型与扩散模型的关系。扩散恢复似然可以生成高质量的样本,并且来自长期MCMC方法的样本仍然类似于真实图像。
相关文章:
6.将扩散模型与其他生成模型的关联(2)
1.归一化流与扩散模型 自一化流(Normalizing Flow)是生成模型,通过将易于处理的分布进行变换以队对高维数据进行建模。归一化流可以将简单的概率分布转化为极其复杂的分布,并用于强化学习、变分推理等领域。 现有的归一化流是基于变量替换公式构…...

【C++】基于红黑树封装set和map
🚀个人主页:小羊 🚀所属专栏:C 很荣幸您能阅读我的文章,诚请评论指点,欢迎欢迎 ~ 目录 前言一、更高维度的泛型二、模版参数三、比较逻辑的重写四、迭代器4.1 const迭代器4.2 重载4.3 - -重载 五、完整代…...

24最新新手入门指南:Stable Diffusion!
前言 Stable Diffusion,一款新兴的开源AI绘画软件,正逐渐成为数字艺术家和爱好者的新宠。它的强大功能让用户能够轻松创造出令人印象深刻的数字艺术作品。 无论你是专业艺术家还是艺术新手,Stable Diffusion都为你提供了一个探索创造力的新…...

Java-基础
1. 导入模块不能纯粹的复制粘贴,要从new里导入,因为前者建立不了关联 2. 数组 String[] name{"张三","李四","王五"};int[] numsnew int[]{1,2,3};//二维String[][] names{{"张三","李四"},{"…...

二、后台管理系统布局菜单可拖动
前两天产品提出了一个需求,说后台管理系统的左边菜单的名称字数过多,遮挡了。希望能让客户能够看到全部的名称,给左侧菜单增加一个可拖动的功能,经过我的研究,这个功能最终也做出来了,先看效果,双击查看。 下面咱们进入实现步骤 第一步,找到文件。一般的项目中都存在l…...
socket和http区别
socket和http区别:1、主体不同;2、所处层次不同;3、连接状态不同;4、传输数据量不同;5、数据安全性不同;6、连接方式不同。其中,主体不同指的是socke是一个调用接口(API)…...

算法:974.和可以被K整除的子数组
题目 链接:leetcode链接 思路分析(前缀和 同余定理) 首先,我们要了解一下什么是同余定理 同余定理: 如果(a - b)/ p k …… 0 则 a % p b % p 证明我写在草稿纸上,如下图: 初…...

QD1-P8 HTML 格式化标签(font、pre、b、strong、i、u、del、s、sub、sup)
本节学习:HTML 格式化标签。 本节视频 www.bilibili.com/video/BV1n64y1U7oj?p8 一、font 标签 用途:定义文本的字体大小、颜色和 face(字体类型)。 示例 <!DOCTYPE html> <html><head><meta cha…...

红米Turbo 3工程固件预览 修复底层 体验原生态系统 默认开启diag端口
红米Turbo 3机型代码:peridot 国外版本:POCO F6 用于以下型号的小米机型:24069RA21C, 24069PC21G, 24069PC21I。搭载1.5K OLED屏、骁龙8s处理器、5000mAh电池+90W快充、5000万像素主摄。 通过博文了解 1💝💝💝-----此机型工程固件的资源刷写注意事项 2💝💝�…...
sql的调优指南及高级sql技巧
SQL调优是优化数据库性能的重要手段,涉及编写高效的SQL查询、合理设计索引、优化数据库结构等。以下是一些SQL调优指南和高级技巧: SQL调优指南 选择合适的查询方式: **避免使用SELECT ***:仅选择所需的列,减少数据传…...

生成式专题的第一节课---GAN图像生成
一、GAN的起源与发展 1.GAN的起源 GAN (生成式对抗网络)诞生于 2014 年,由 Ian Goodfellow 提出,是用于生成数据的深度学习模型,创新点是对抗性训练,即生成器与判别器的竞争关系,为图像生成、…...

中科星图GVE(案例)——AI实现建筑用地变化前后对比情况
目录 简介 函数 gve.Services.AI.ConstructionLandChangeExtraction(image1,image2) 代码 结果 知识星球 机器学习 简介 AI可以通过分析卫星图像、航拍影像或其他地理信息数据,实现建筑用地变化前后对比。以下是一种可能的实现方法: 数据获取&am…...
Spring Boot中获取application.yml中属性的几种方式
在Spring Boot应用程序中,可以通过多种方式从application.yml文件中获取配置属性。以下是几种常见的方法: 1. 使用Value注解 你可以使用Value注解将application.yml中的属性注入到Spring管理的bean中。 application.yml app:name: MySpringBootAppve…...

YOLO11改进 | 注意力机制 | 结合静态和动态上下文信息的注意力机制
秋招面试专栏推荐 :深度学习算法工程师面试问题总结【百面算法工程师】——点击即可跳转 💡💡💡本专栏所有程序均经过测试,可成功执行💡💡💡 上下文Transformer(CoT&…...
Python中函数的使用方法
1 问题 在python的学习中,一个相同的程序可能会有多种不同的代码输入方式,那么函数这种方式是否方便快捷呢?今天我们来简单介绍函数的部分使用方法。 2 方法 定义函数:代码清单1Def function name (arguments):return result在上面…...

遨游智能终端赋能“危急特”场景,力推北斗技术规模化应用!
随着《北斗规模应用三年行动计划(2023-2025)》的发布,北京、湖北、重庆等多地出台北斗支持政策,北斗系统正稳步迈向“安全可控,泛在融合,开放兼容,服务全球”的发展目标。遨游通讯紧跟国家战略步…...

构建流媒体管道:利用 Docker 部署 Nginx-RTMP 从 FFmpeg RTMP 推流到 HLS 播放的完整流程
最近要实现一个类似导播台的功能,于是我先用 FFmpeg 实现一个参考对照的 Demo,我将其整理为一篇文章,方便后续大家或者和自己参考! 1、软件工具介绍 本次部署相关软件 / 工具如下: FFmpeg:全称是 Fast Fo…...

【汇编语言】寄存器(CPU工作原理)(六)—— 修改CS,IP的指令以及代码段
文章目录 前言1. 修改CS、IP的指令2. 问题分析:CPU运行的流程3. 代码段小结结语 前言 📌 汇编语言是很多相关课程(如数据结构、操作系统、微机原理)的重要基础。但仅仅从课程的角度出发就太片面了,其实学习汇编语言可以深入理解计…...
机器学习与神经网络:从技术前沿到诺贝尔奖的跨越与未来展望
近日,2024年诺贝尔物理学奖颁发给了机器学习与神经网络领域的研究者,这是历史上首次出现这样的情况。这项奖项原本只授予对自然现象和物质的物理学研究作出重大贡献的科学家,如今却将全球范围内对机器学习和神经网络的研究和开发作为了一种能…...
java 洛谷题单【数据结构1-2】二叉树
P4715 【深基16.例1】淘汰赛 解题思路 半区分配:将前半部分国家分配到左半区,后半部分国家分配到右半区,分别找到两个半区的最强国家。决赛和亚军确定:最后比较两个半区最强国家的能力值,失败者即为亚军,输…...
synchronized 学习
学习源: https://www.bilibili.com/video/BV1aJ411V763?spm_id_from333.788.videopod.episodes&vd_source32e1c41a9370911ab06d12fbc36c4ebc 1.应用场景 不超卖,也要考虑性能问题(场景) 2.常见面试问题: sync出…...

【Oracle APEX开发小技巧12】
有如下需求: 有一个问题反馈页面,要实现在apex页面展示能直观看到反馈时间超过7天未处理的数据,方便管理员及时处理反馈。 我的方法:直接将逻辑写在SQL中,这样可以直接在页面展示 完整代码: SELECTSF.FE…...
React Native 开发环境搭建(全平台详解)
React Native 开发环境搭建(全平台详解) 在开始使用 React Native 开发移动应用之前,正确设置开发环境是至关重要的一步。本文将为你提供一份全面的指南,涵盖 macOS 和 Windows 平台的配置步骤,如何在 Android 和 iOS…...
Cesium1.95中高性能加载1500个点
一、基本方式: 图标使用.png比.svg性能要好 <template><div id"cesiumContainer"></div><div class"toolbar"><button id"resetButton">重新生成点</button><span id"countDisplay&qu…...

《用户共鸣指数(E)驱动品牌大模型种草:如何抢占大模型搜索结果情感高地》
在注意力分散、内容高度同质化的时代,情感连接已成为品牌破圈的关键通道。我们在服务大量品牌客户的过程中发现,消费者对内容的“有感”程度,正日益成为影响品牌传播效率与转化率的核心变量。在生成式AI驱动的内容生成与推荐环境中࿰…...

如何在看板中有效管理突发紧急任务
在看板中有效管理突发紧急任务需要:设立专门的紧急任务通道、重新调整任务优先级、保持适度的WIP(Work-in-Progress)弹性、优化任务处理流程、提高团队应对突发情况的敏捷性。其中,设立专门的紧急任务通道尤为重要,这能…...
ffmpeg(四):滤镜命令
FFmpeg 的滤镜命令是用于音视频处理中的强大工具,可以完成剪裁、缩放、加水印、调色、合成、旋转、模糊、叠加字幕等复杂的操作。其核心语法格式一般如下: ffmpeg -i input.mp4 -vf "滤镜参数" output.mp4或者带音频滤镜: ffmpeg…...
三体问题详解
从物理学角度,三体问题之所以不稳定,是因为三个天体在万有引力作用下相互作用,形成一个非线性耦合系统。我们可以从牛顿经典力学出发,列出具体的运动方程,并说明为何这个系统本质上是混沌的,无法得到一般解…...

前端开发面试题总结-JavaScript篇(一)
文章目录 JavaScript高频问答一、作用域与闭包1.什么是闭包(Closure)?闭包有什么应用场景和潜在问题?2.解释 JavaScript 的作用域链(Scope Chain) 二、原型与继承3.原型链是什么?如何实现继承&a…...

JUC笔记(上)-复习 涉及死锁 volatile synchronized CAS 原子操作
一、上下文切换 即使单核CPU也可以进行多线程执行代码,CPU会给每个线程分配CPU时间片来实现这个机制。时间片非常短,所以CPU会不断地切换线程执行,从而让我们感觉多个线程是同时执行的。时间片一般是十几毫秒(ms)。通过时间片分配算法执行。…...