当前位置： 首页 > news >正文

原理代码解读：基于DiT结构视频生成模型的ControlNet

news 2026/5/19 21:34:20

Diffusion Models视频生成-博客汇总

前言：相比于基于UNet结构的视频生成模型，DiT结构的模型最大的劣势在于生态不够完善，配套的ControlNet、IP-Adapter等开源权重不多，导致难以落地。最近DiT-based 5B的ControlNet开源了，相比于传统的ControlNet有不少改进点，这篇博客将从原理和代码上重点解读一下。

目录

原理讲解

代码讲解

DataLoader

第一步：VAE压缩Pose编码

第二步：直接concat

第三步：转换成embedding

效果

总结

原理讲解

基于开源的CogVideox FUN 5B模型，使用Pose控制信号替代了原本的mask信号，将控制信号使用VAE编码后作为Guidance与latent一起进入patch流程。

在0.48m数据中进行了筛选，选择出大约20000包含人像的视频与图片进行pose提取，作为condition控制信号进行训练。

在进行训练时，我们根据不同Toke

相关文章：

原理代码解读：基于DiT结构视频生成模型的ControlNet

Diffusion Models视频生成-博客汇总 前言：相比于基于UNet结构的视频生成模型，DiT结构的模型最大的劣势在于生态不够完善，配套的ControlNet、IP-Adapter等开源权重不多，导致难以落地。最近DiT-based 5B的ControlNet开源了，相比于传统的ControlNet有不少改进点，这篇博客将从…...

编程日记 2024/10/21 19:43:06

【Pip】初识 Pip：Python 包管理的基本命令详解

目录 引言1. 什么是 pip？1.1 pip 的安装 2. pip 的基本命令2.1 pip install2.2 pip uninstall2.3 pip list2.4 pip show2.5 pip freeze2.6 pip search2.7 pip install -U2.8 pip install -r2.9 pip check2.10 pip cache 3. 使用示例3.1 安装多个包3.2 创建虚拟环境3…...

编程日记 2024/10/21 19:42:06

JMeter 中两大高级线程组的区别与应用

一、JMeter 中的高级线程组概述 最近群里的测试小伙伴在问在 JMeter 中，“jpgc - Ultimate Thread Group”和“jpgc - Stepping Thread Group 阶梯加压”有哪些区别和实际应用场景有哪些？所以这里也跟大家分享一下 JMeter 作为一款强大的性能测试工具&a…...

编程日记 2024/10/21 19:41:05

深入理解伪元素与伪类元素

在“探秘盒子浮动，破解高度塌陷与文字环绕难题，清除浮动成关键！”中，我们讲到如果父盒由于各种原因未设置高度， 子盒的浮动会导致父盒的高度塌陷。为了解决高度塌陷的问题，我们可以添加伪元素。 一、伪元素…...

编程日记 2024/10/21 19:40:02

HDU Romantic

题目大意：现在告诉你两个非负整数 a 和 b。找到满足 X*a Y*b 1 的非负整数 X 和整数 Y。如果没有这样的答案，请写 “sorry”。 思路：这是一道扩展欧几里得模板题，唯一容易错的就是 x 有可能是负数，要把它改成非负数…...

编程日记 2024/10/21 19:39:00

[每日一练]通过shift移动函数实现连续数据的需求

该题目来源于力扣： 603. 连续空余座位 - 力扣（LeetCode） 题目要求： 表: Cinema------------------- | Column Name | Type | ------------------- | seat_id | int | | free | bool | ------------------- Seat_id…...

编程日记 2024/10/21 19:37:59

go 中的斐波那契数实现以及效率比较

package mainimport ("fmt""math/big""time" )// FibonacciRecursive 使用递归方法计算斐波那契数列的第n个数 func FibonacciRecursive(n int) *big.Int {if n < 1 {return big.NewInt(int64(n))}return new(big.Int).Add(FibonacciRecursiv…...

编程日记 2024/10/21 19:36:58

基于ASP.NET的小型超市商品管理系统

文章目录 前言项目介绍技术介绍功能介绍核心代码数据库参考 系统效果图 前言 示 文章底部名片&#xff0c;获取项目的完整演示视频&#xff0c;免费解答技术疑问 项目介绍 小型超市商品管理系统是一款针对小型超市日常运营需求设计的软件解决方案。该系统主要内容有商品类别…...

编程日记 2024/10/21 19:33:55

spdlog学习记录

spdlog Loggers&#xff1a;是 Spdlog 最基本的组件&#xff0c;负责记录日志消息。在 Spdlog 中&#xff0c;一个 Logger 对象代表着一个日志记录器&#xff0c;应用程序可以使用 Logger 对象记录不同级别的日志消息Sinks&#xff1a;决定了日志消息的输出位置。在 Spdlog 中&…...

编程日记 2024/10/21 19:30:52

linux替换某个文件的某段内容命令

假设文件是a.sql 里面的库是abc&#xff0c;我想把这个abc给替换掉&#xff0c;改成hahaha cat a.sql |grep abc|sed -i s/abc/hahaha/g a.sql 如果想写个脚本指定整个文件夹中的内容替换 #!/bin/bash # 检查是否提供了文件夹路径 if [ -z "\$1" ]; then echo &…...

编程日记 2024/10/21 19:28:49

什么是SQL注入攻击？如何防止呢？

目录 一、什么是SQL注入&#xff1f; 二、如何防止&#xff1f; 2.1 使用预编译语句 2.2 使用 ORM 框架 2.3 用户输入校验 一、什么是SQL注入&#xff1f; SQL 注入是一种常见的网络安全漏洞&#xff0c;攻击者通过在应用程序的用户输入中插入恶意的 SQL 代码&#xff…...

编程日记 2024/10/21 19:25:44

consumer 角度讲一下i2c外设

往期内容 I2C子系统专栏&#xff1a; I2C&#xff08;IIC&#xff09;协议讲解-CSDN博客SMBus 协议详解-CSDN博客I2C相关结构体讲解:i2c_adapter、i2c_algorithm、i2c_msg-CSDN博客内核提供的通用I2C设备驱动I2c-dev.c分析&#xff1a;注册篇内核提供的通用I2C设备驱动I2C-dev.…...

编程日记 2024/10/21 19:24:41

面试经典150题刷题记录

数组部分 1. 合并两个有序的子数组 —— 倒序双指针避免覆盖 88. 合并两个有序数组 给你两个按 非递减顺序 排列的整数数组 nums1 和 nums2&#xff0c;另有两个整数 m 和 n &#xff0c;分别表示 nums1 和 nums2 中的元素数目。 请你 合并 nums2 到 nums1 中&#xff0c;使…...

编程日记 2024/10/21 19:23:38

【HarmonyOS NEXT】实现保存base64图片到图库

上篇文章介绍了HarmonyOS NEXT如何保存base64文件到download目录下&#xff0c;本次介绍如何保存base64图片到图库&#xff0c;网络图片保存方式大同小异&#xff0c;先下载图片&#xff0c;然后再保存 phAccessHelper.showAssetsCreationDialog参考官方文档’ ohos.file.pho…...

编程日记 2024/10/21 19:22:37

开题答辩最怕被问什么？教你用ChatGPT轻松准备，稳拿高分！

AIPaperGPT&#xff0c;论文写作神器~ https://www.aipapergpt.com/ 开题答辩是学位论文写作过程中的重要环节&#xff0c;能帮助导师评估你的研究计划是否可行&#xff0c;并对后续写作起到指导作用。很多同学在面对导师提问时会感到紧张&#xff0c;因此提前准备好常见问题的…...

编程日记 2024/10/21 19:21:35

Unity3D功耗和发热分析与优化详解

前言 Unity3D作为广泛使用的游戏开发引擎&#xff0c;在游戏开发过程中&#xff0c;功耗和发热问题一直是开发者需要重点关注的问题。功耗和发热不仅影响用户体验&#xff0c;还可能对设备的硬件寿命造成一定影响。本文将从技术角度详细分析Unity3D游戏在移动设备上的功耗和发…...

编程日记 2024/10/21 19:20:26

深度学习中的掩码介绍

在深度学习中，**掩码（Mask）**通常用于屏蔽掉某些特定部分的数据，以确保模型在训练或推理时不处理无效或无关的输入。掩码的使用场景主要包括处理变长序列、生成模型中的自回归任务、处理填充数据等。掩码可以是二值矩阵（1 表示有效数据，0 表示屏蔽数据），在注意力机制中…...

编程日记 2024/10/21 19:15:18

rust高级进阶总结

文章目录 前言1. Rust生命周期进阶一、不太聪明的生命周期检查&#xff08;一&#xff09;例子1&#xff08;二&#xff09;例子2 二、无界生命周期三、生命周期约束&#xff08;HRTB&#xff09;&#xff08;一&#xff09;语法及含义&#xff08;二&#xff09;综合例子 四、…...

编程日记 2024/10/21 19:14:17

整理—计算机网络

目录 网络OSI模型和TCP/IP模型 应用层有哪些协议 HTTP报文有哪些部分 HTTP常用的状态码 Http 502和 504 的区别 HTTP层请求的类型有哪些&#xff1f; GET和POST的使用场景&#xff0c;有哪些区别&#xff1f; HTTP的长连接 HTTP默认的端口是什么&#xff1f; HTTP1.1怎…...

编程日记 2024/10/21 19:12:14

分布式数据库环境（HBase分布式数据库）的搭建与配置

分布式数据库环境&#xff08;HBase分布式数据库&#xff09;的搭建与配置 1. VMWare安装CentOS7.9.20091.1 下载 CentOS7.9.2009 映像文件1.2启动 VMware WorkstationPro&#xff0c;点击“创建新的虚拟机”1.3在新建虚拟机向导界面选择“典型&#xff08;推荐&#xff09;”1…...

编程日记 2024/10/21 19:11:12

如何永久保存微信聊天记录？WeChatMsg让你轻松实现数据自主管理

如何永久保存微信聊天记录&#xff1f;WeChatMsg让你轻松实现数据自主管理 【免费下载链接】WeChatMsg 提取微信聊天记录&#xff0c;将其导出成HTML、Word、CSV文档永久保存&#xff0c;对聊天记录进行分析生成年度聊天报告 项目地址: https://gitcode.com/GitHub_Trending/…...

编程新知 2026/5/19 18:58:04

NSIS进阶玩法：手把手教你用HM NIS Edit打造个性化安装界面（替换图标、文字与进度条）

NSIS深度定制指南&#xff1a;从默认界面到品牌化安装体验 当用户双击你的安装程序时&#xff0c;第一印象往往决定了他们对产品的整体期待。那些千篇一律的NSIS默认界面&#xff0c;就像穿着标准制服的接待员——功能完备但缺乏个性。作为开发者&#xff0c;我们完全有能力让安…...

编程新知 2026/5/19 18:13:31

对比直接使用厂商API体验Taotoken在计费透明度上的优势

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 对比直接使用厂商API体验Taotoken在计费透明度上的优势 在集成大模型能力到实际业务的过程中&#xff0c;除了模型的性能和稳定性&…...

编程新知 2026/5/19 16:11:44

从电源拓扑到代码：STM32F103驱动移相全桥的软硬件协同设计实战

从电源拓扑到代码&#xff1a;STM32F103驱动移相全桥的软硬件协同设计实战 在中小功率开关电源和电机驱动领域&#xff0c;移相全桥拓扑因其优异的软开关特性和高效率表现&#xff0c;成为工程师们的首选方案之一。然而&#xff0c;将教科书上的拓扑原理转化为实际可用的电源产…...

编程新知 2026/5/19 15:03:37

LRC歌词制作终极指南：轻松创建专业级同步歌词的免费工具

LRC歌词制作终极指南&#xff1a;轻松创建专业级同步歌词的免费工具 【免费下载链接】lrc-maker 歌词滚动姬&#xff5c;可能是你所能见到的最好用的歌词制作工具 项目地址: https://gitcode.com/gh_mirrors/lr/lrc-maker 你是否曾经在听歌时想要制作属于自己的歌词文件…...

编程新知 2026/5/19 14:46:32

Ardupilot无人船新手必看：从遥控器开关到地面站，3档模式设置保姆级教程

Ardupilot无人船控制模式全解析&#xff1a;从基础配置到高阶应用实战 第一次接触Ardupilot无人船时&#xff0c;最让人困惑的莫过于各种控制模式的区别与适用场景。作为开源自动驾驶系统的标杆&#xff0c;Ardupilot为无人船提供了多达14种控制模式&#xff0c;每种模式都有其…...

编程新知 2026/5/19 14:20:52

避开HAL库：STM32F103寄存器级PWM移相全桥配置避坑指南

STM32F103寄存器级PWM移相全桥实战&#xff1a;从原理到避坑指南 在嵌入式开发领域&#xff0c;许多工程师习惯使用HAL库或标准库进行STM32开发&#xff0c;这确实能提高开发效率。但当项目对时序精度、资源占用或性能有极致要求时&#xff0c;直接操作寄存器往往能带来更优的效…...

编程新知 2026/5/19 14:05:31

鲲鹏面对Agentic沙箱的思考与能力布局

Agent在今年迎来爆发式增长&#xff0c;传统云原生架构在Agent沙箱场景下面临启动慢、弹性差、资源冗余、隔离不足等五大痛点。鲲鹏沙箱以快照快启、共享Rootfs、超节点共享内存三大核心技术破局——将沙箱启动从分钟级压缩至毫秒级&#xff0c;通过写时复制&#xff08;CoW&am…...

编程新知 2026/5/19 14:03:26

拯救者工具箱：从系统瓶颈到性能释放的全面硬件控制方案

拯救者工具箱&#xff1a;从系统瓶颈到性能释放的全面硬件控制方案 【免费下载链接】LenovoLegionToolkit Lightweight Lenovo Vantage and Hotkeys replacement for Lenovo Legion laptops. 项目地址: https://gitcode.com/gh_mirrors/le/LenovoLegionToolkit 当你手握…...

编程新知 2026/5/19 13:25:54

Android Studio中文插件5分钟快速安装完整指南：告别英文开发困扰

Android Studio中文插件5分钟快速安装完整指南&#xff1a;告别英文开发困扰 【免费下载链接】AndroidStudioChineseLanguagePack AndroidStudio中文插件(官方修改版本&#xff09; 项目地址: https://gitcode.com/gh_mirrors/an/AndroidStudioChineseLanguagePack 还在…...

编程新知 2026/5/19 13:10:52