当前位置: 首页 > news >正文

6.将扩散模型与其他生成模型的关联(2)

1.归一化流与扩散模型
        自一化流(Normalizing Flow)是生成模型,通过将易于处理的分布进行变换以队对高维数据进行建模。归一化流可以将简单的概率分布转化为极其复杂的分布,并用于强化学习、变分推理等领域。

        现有的归一化流是基于变量替换公式构建的,其中连续时间归一化流的轨迹由微分方程公式化。具体来说,连续归一化流通过如下微分方程对原始数据进行变换:


        与连续时间类似,归一化流允许通过变量替换公式计算对数似然,然而,双射的要求限制了在实际应用中或理论研究中的对复杂数据的建模。有几项工作试图放宽这种双射要求。例如,DifFlow引入了一种生成建模算法,基于归一化流的想法,DifFlow 使用了归一化流来直接学习扩散模型中的原本需要人工设置的漂移系数。这使它拥有了归一化流和扩散模型的优点。因此相比归一化流,DiFlow产生的分布边界更清晰,并且可以学习更一般的分布,而与扩散模型相比,其离散化步骤更少所以采样速度更快。另一项工作,隐式非线性扩散模型(Implicit Nonlinear Diffusion Model,INDM)采用了类似LSGM 的设计,先使用归一化流将原始数据映射到潜在空间中,然后在空间中进行扩散。利用伊藤公式,可以证明INDM实际上是使用了由归一化流学习的非线性SDE来对数据进行扰动和恢复的。进一步分析,INDM的ELBO可转化为归一化流的损失与分解分数匹配的求和,使模型被高校训练。实验结果表明INDM可以提高采样速度,并且提高模型的似然值。

2.自回归模型与扩散模型

        自回归模型(Autoregressive Model,ARM)通过将数据的联合分布分解为条件的乘积来对数据进行建模。使用概率链式法则,随机向量x1:t的对数似然可以写为:


        其中x<t是x1:t的缩写,深度学习的最新进展促进了各种数据模式,例如,图像、音频和文本。自回归模型(ARM) 通过使用单个神经网络提供生成能力。采样这些模型需要与数据维度相同数量的网络调用虽然ARM。虽然ARM是有效密度估计器,但抽样是一个连续的、耗时的过程(尤其对于高维数据更是如此)。另一方面,自回归扩散模型(ARDM)能够生成任意顺序的数据,包括与顺序无关的自回归模型和离散扩散模型。与传统ARDM 表征上使用因果掩码的方法不同,ARDM使用了一个有效的训练目标来使其适用于高维数据,其灵感来自扩散概率模型(DPM)。此外,ARDM的生成过程与具有吸收态的离散扩散模型是相似的。在测试阶段,扩散模型与ARDM能够并行生成数据,使其可以应用于一系列的生成任务。
3.基于能量的模型与扩散模型
        基于能量的模型(Energy-Based Model,EBM)可以被视作一种生成式的判别器,其可以从未标记的输入数据中学习。让x~pdata(x)表示一个训练样例,p\Theta(x)表示一个概率密度函数,旨在逼近Pdata(x)。基于能量的模型定义为:


        其中z\Theta=\intexp(f\Theta(x))dx是归一化系数,对于高维度数据是难以解析计算的。对于图象数据,

f\Theta(x)。Salimans等人通过较约束分数模型和基于能量的模型对数据分布的分数进行建模,最终发现了约束分模型即基于能量的模型。当二者使用了可比较的模型结构时,在使用基于能量的橡(EBM)时可以和无约束模型得到一样好的表现。
        尽管EBM具有许多理想的特性,但在高维数据建模方面仍然存在两个挑战。首先,对于最大化似然学习得到的EBM,通常需要使用MCMC方法来从模型中生成样本。这使得计算成本可能非常高。其次,以往经验表明,通过非收敛的MCMC方学习到的能量势能不稳定,来自长期马尔可夫链的样本与观察到的样本有显著不同。在一项研究中,Gao等人提出了一种扩散恢复似然法,即在扩散模型逆过程中使用一系列条件 EBM学习样本分布。在这一系列条件EBM中,每一个条件EBM 都接受上一个条件EBM 产生的噪声强度较高的样本,并对接受的样本进行去噪,以产生声强度较低的样本。条件EBM p\Theta(x|x~)是通过恢复似然训练的,即在给定高噪声样本后,使用低噪声数据x的条件似然值作为目标函数,其目的是在给定更高噪声的噪声数据的情况下,最大化特定低噪声水平下数据的条件概率。条件EBM可以较好地最大化恢复似然,这是因为原数据的分布可能是多模态的,而在给定加噪样本后,原数据的条件概率会比原数据的边际似更容易处理。例如,从条件分布抽样比从边际分布中抽样容易得多。当每次加入的噪声强度足够小时,条件EBM的条件似然函数将接近高斯分布。这意味着扩散恢复似然中逐个条件 EMB的采样近似于扩散模型逆过程中逐次对样本去噪。同时 Gao 等人还证明了,当每次加入的噪声强度足够小时,扩散恢复似然的最大似然训练与 ScoreSDE的分数匹配训练是近似的,并进一步建立了基于能量的模型与扩散模型的关系。扩散恢复似然可以生成高质量的样本,并且来自长期MCMC方法的样本仍然类似于真实图像。

相关文章:

6.将扩散模型与其他生成模型的关联(2)

1.归一化流与扩散模型 自一化流(Normalizing Flow)是生成模型&#xff0c;通过将易于处理的分布进行变换以队对高维数据进行建模。归一化流可以将简单的概率分布转化为极其复杂的分布&#xff0c;并用于强化学习、变分推理等领域。 现有的归一化流是基于变量替换公式构…...

【C++】基于红黑树封装set和map

&#x1f680;个人主页&#xff1a;小羊 &#x1f680;所属专栏&#xff1a;C 很荣幸您能阅读我的文章&#xff0c;诚请评论指点&#xff0c;欢迎欢迎 ~ 目录 前言一、更高维度的泛型二、模版参数三、比较逻辑的重写四、迭代器4.1 const迭代器4.2 重载4.3 - -重载 五、完整代…...

24最新新手入门指南:Stable Diffusion!

前言 Stable Diffusion&#xff0c;一款新兴的开源AI绘画软件&#xff0c;正逐渐成为数字艺术家和爱好者的新宠。它的强大功能让用户能够轻松创造出令人印象深刻的数字艺术作品。 无论你是专业艺术家还是艺术新手&#xff0c;Stable Diffusion都为你提供了一个探索创造力的新…...

Java-基础

1. 导入模块不能纯粹的复制粘贴&#xff0c;要从new里导入&#xff0c;因为前者建立不了关联 2. 数组 String[] name{"张三","李四","王五"};int[] numsnew int[]{1,2,3};//二维String[][] names{{"张三","李四"},{"…...

二、后台管理系统布局菜单可拖动

前两天产品提出了一个需求,说后台管理系统的左边菜单的名称字数过多,遮挡了。希望能让客户能够看到全部的名称,给左侧菜单增加一个可拖动的功能,经过我的研究,这个功能最终也做出来了,先看效果,双击查看。 下面咱们进入实现步骤 第一步,找到文件。一般的项目中都存在l…...

socket和http区别

socket和http区别&#xff1a;1、主体不同&#xff1b;2、所处层次不同&#xff1b;3、连接状态不同&#xff1b;4、传输数据量不同&#xff1b;5、数据安全性不同&#xff1b;6、连接方式不同。其中&#xff0c;主体不同指的是socke是一个调用接口&#xff08;API&#xff09;…...

算法:974.和可以被K整除的子数组

题目 链接:leetcode链接 思路分析&#xff08;前缀和 同余定理&#xff09; 首先&#xff0c;我们要了解一下什么是同余定理 同余定理&#xff1a; 如果&#xff08;a - b&#xff09;/ p k …… 0 则 a % p b % p 证明我写在草稿纸上&#xff0c;如下图&#xff1a; 初…...

QD1-P8 HTML 格式化标签(font、pre、b、strong、i、u、del、s、sub、sup)

本节学习&#xff1a;HTML 格式化标签。 本节视频 www.bilibili.com/video/BV1n64y1U7oj?p8 ‍ 一、font 标签 用途&#xff1a;定义文本的字体大小、颜色和 face&#xff08;字体类型&#xff09;。 示例 <!DOCTYPE html> <html><head><meta cha…...

红米Turbo 3工程固件预览 修复底层 体验原生态系统 默认开启diag端口

红米Turbo 3机型代码:peridot 国外版本:POCO F6 用于以下型号的小米机型:24069RA21C, 24069PC21G, 24069PC21I。搭载1.5K OLED屏、骁龙8s处理器、5000mAh电池+90W快充、5000万像素主摄。 通过博文了解 1💝💝💝-----此机型工程固件的资源刷写注意事项 2💝💝�…...

sql的调优指南及高级sql技巧

SQL调优是优化数据库性能的重要手段&#xff0c;涉及编写高效的SQL查询、合理设计索引、优化数据库结构等。以下是一些SQL调优指南和高级技巧&#xff1a; SQL调优指南 选择合适的查询方式&#xff1a; **避免使用SELECT ***&#xff1a;仅选择所需的列&#xff0c;减少数据传…...

生成式专题的第一节课---GAN图像生成

一、GAN的起源与发展 1.GAN的起源 GAN &#xff08;生成式对抗网络&#xff09;诞生于 2014 年&#xff0c;由 Ian Goodfellow 提出&#xff0c;是用于生成数据的深度学习模型&#xff0c;创新点是对抗性训练&#xff0c;即生成器与判别器的竞争关系&#xff0c;为图像生成、…...

中科星图GVE(案例)——AI实现建筑用地变化前后对比情况

目录 简介 函数 gve.Services.AI.ConstructionLandChangeExtraction(image1,image2) 代码 结果 知识星球 机器学习 简介 AI可以通过分析卫星图像、航拍影像或其他地理信息数据&#xff0c;实现建筑用地变化前后对比。以下是一种可能的实现方法&#xff1a; 数据获取&am…...

Spring Boot中获取application.yml中属性的几种方式

在Spring Boot应用程序中&#xff0c;可以通过多种方式从application.yml文件中获取配置属性。以下是几种常见的方法&#xff1a; 1. 使用Value注解 你可以使用Value注解将application.yml中的属性注入到Spring管理的bean中。 application.yml app:name: MySpringBootAppve…...

YOLO11改进 | 注意力机制 | 结合静态和动态上下文信息的注意力机制

秋招面试专栏推荐 &#xff1a;深度学习算法工程师面试问题总结【百面算法工程师】——点击即可跳转 &#x1f4a1;&#x1f4a1;&#x1f4a1;本专栏所有程序均经过测试&#xff0c;可成功执行&#x1f4a1;&#x1f4a1;&#x1f4a1; 上下文Transformer&#xff08;CoT&…...

Python中函数的使用方法

1 问题 在python的学习中&#xff0c;一个相同的程序可能会有多种不同的代码输入方式&#xff0c;那么函数这种方式是否方便快捷呢&#xff1f;今天我们来简单介绍函数的部分使用方法。 2 方法 定义函数&#xff1a;代码清单1Def function name (arguments):return result在上面…...

遨游智能终端赋能“危急特”场景,力推北斗技术规模化应用!

随着《北斗规模应用三年行动计划&#xff08;2023-2025&#xff09;》的发布&#xff0c;北京、湖北、重庆等多地出台北斗支持政策&#xff0c;北斗系统正稳步迈向“安全可控&#xff0c;泛在融合&#xff0c;开放兼容&#xff0c;服务全球”的发展目标。遨游通讯紧跟国家战略步…...

构建流媒体管道:利用 Docker 部署 Nginx-RTMP 从 FFmpeg RTMP 推流到 HLS 播放的完整流程

最近要实现一个类似导播台的功能&#xff0c;于是我先用 FFmpeg 实现一个参考对照的 Demo&#xff0c;我将其整理为一篇文章&#xff0c;方便后续大家或者和自己参考&#xff01; 1、软件工具介绍 本次部署相关软件 / 工具如下&#xff1a; FFmpeg&#xff1a;全称是 Fast Fo…...

【汇编语言】寄存器(CPU工作原理)(六)—— 修改CS,IP的指令以及代码段

文章目录 前言1. 修改CS、IP的指令2. 问题分析:CPU运行的流程3. 代码段小结结语 前言 &#x1f4cc; 汇编语言是很多相关课程&#xff08;如数据结构、操作系统、微机原理&#xff09;的重要基础。但仅仅从课程的角度出发就太片面了&#xff0c;其实学习汇编语言可以深入理解计…...

机器学习与神经网络:从技术前沿到诺贝尔奖的跨越与未来展望

近日&#xff0c;2024年诺贝尔物理学奖颁发给了机器学习与神经网络领域的研究者&#xff0c;这是历史上首次出现这样的情况。这项奖项原本只授予对自然现象和物质的物理学研究作出重大贡献的科学家&#xff0c;如今却将全球范围内对机器学习和神经网络的研究和开发作为了一种能…...

java 洛谷题单【数据结构1-2】二叉树

P4715 【深基16.例1】淘汰赛 解题思路 半区分配&#xff1a;将前半部分国家分配到左半区&#xff0c;后半部分国家分配到右半区&#xff0c;分别找到两个半区的最强国家。决赛和亚军确定&#xff1a;最后比较两个半区最强国家的能力值&#xff0c;失败者即为亚军&#xff0c;输…...

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周&#xff0c;有很多同学在写期末Java web作业时&#xff0c;运行tomcat出现乱码问题&#xff0c;经过多次解决与研究&#xff0c;我做了如下整理&#xff1a; 原因&#xff1a; IDEA本身编码与tomcat的编码与Windows编码不同导致&#xff0c;Windows 系统控制台…...

2025 后端自学UNIAPP【项目实战:旅游项目】6、我的收藏页面

代码框架视图 1、先添加一个获取收藏景点的列表请求 【在文件my_api.js文件中添加】 // 引入公共的请求封装 import http from ./my_http.js// 登录接口&#xff08;适配服务端返回 Token&#xff09; export const login async (code, avatar) > {const res await http…...

有限自动机到正规文法转换器v1.0

1 项目简介 这是一个功能强大的有限自动机&#xff08;Finite Automaton, FA&#xff09;到正规文法&#xff08;Regular Grammar&#xff09;转换器&#xff0c;它配备了一个直观且完整的图形用户界面&#xff0c;使用户能够轻松地进行操作和观察。该程序基于编译原理中的经典…...

AI,如何重构理解、匹配与决策?

AI 时代&#xff0c;我们如何理解消费&#xff1f; 作者&#xff5c;王彬 封面&#xff5c;Unplash 人们通过信息理解世界。 曾几何时&#xff0c;PC 与移动互联网重塑了人们的购物路径&#xff1a;信息变得唾手可得&#xff0c;商品决策变得高度依赖内容。 但 AI 时代的来…...

MySQL 知识小结(一)

一、my.cnf配置详解 我们知道安装MySQL有两种方式来安装咱们的MySQL数据库&#xff0c;分别是二进制安装编译数据库或者使用三方yum来进行安装,第三方yum的安装相对于二进制压缩包的安装更快捷&#xff0c;但是文件存放起来数据比较冗余&#xff0c;用二进制能够更好管理咱们M…...

深度学习水论文:mamba+图像增强

&#x1f9c0;当前视觉领域对高效长序列建模需求激增&#xff0c;对Mamba图像增强这方向的研究自然也逐渐火热。原因在于其高效长程建模&#xff0c;以及动态计算优势&#xff0c;在图像质量提升和细节恢复方面有难以替代的作用。 &#x1f9c0;因此短时间内&#xff0c;就有不…...

通过 Ansible 在 Windows 2022 上安装 IIS Web 服务器

拓扑结构 这是一个用于通过 Ansible 部署 IIS Web 服务器的实验室拓扑。 前提条件&#xff1a; 在被管理的节点上安装WinRm 准备一张自签名的证书 开放防火墙入站tcp 5985 5986端口 准备自签名证书 PS C:\Users\azureuser> $cert New-SelfSignedCertificate -DnsName &…...

HybridVLA——让单一LLM同时具备扩散和自回归动作预测能力:训练时既扩散也回归,但推理时则扩散

前言 如上一篇文章《dexcap升级版之DexWild》中的前言部分所说&#xff0c;在叠衣服的过程中&#xff0c;我会带着团队对比各种模型、方法、策略&#xff0c;毕竟针对各个场景始终寻找更优的解决方案&#xff0c;是我个人和我司「七月在线」的职责之一 且个人认为&#xff0c…...

pycharm 设置环境出错

pycharm 设置环境出错 pycharm 新建项目&#xff0c;设置虚拟环境&#xff0c;出错 pycharm 出错 Cannot open Local Failed to start [powershell.exe, -NoExit, -ExecutionPolicy, Bypass, -File, C:\Program Files\JetBrains\PyCharm 2024.1.3\plugins\terminal\shell-int…...

ubuntu22.04有线网络无法连接,图标也没了

今天突然无法有线网络无法连接任何设备&#xff0c;并且图标都没了 错误案例 往上一顿搜索&#xff0c;试了很多博客都不行&#xff0c;比如 Ubuntu22.04右上角网络图标消失 最后解决的办法 下载网卡驱动&#xff0c;重新安装 操作步骤 查看自己网卡的型号 lspci | gre…...