当前位置： 首页 > news >正文

原理代码解读：基于DiT结构视频生成模型的ControlNet

news 2026/4/4 6:36:16

Diffusion Models视频生成-博客汇总

前言：相比于基于UNet结构的视频生成模型，DiT结构的模型最大的劣势在于生态不够完善，配套的ControlNet、IP-Adapter等开源权重不多，导致难以落地。最近DiT-based 5B的ControlNet开源了，相比于传统的ControlNet有不少改进点，这篇博客将从原理和代码上重点解读一下。

目录

原理讲解

代码讲解

DataLoader

第一步：VAE压缩Pose编码

第二步：直接concat

第三步：转换成embedding

效果

总结

原理讲解

基于开源的CogVideox FUN 5B模型，使用Pose控制信号替代了原本的mask信号，将控制信号使用VAE编码后作为Guidance与latent一起进入patch流程。

在0.48m数据中进行了筛选，选择出大约20000包含人像的视频与图片进行pose提取，作为condition控制信号进行训练。

在进行训练时，我们根据不同Toke

相关文章：

原理代码解读：基于DiT结构视频生成模型的ControlNet

Diffusion Models视频生成-博客汇总 前言：相比于基于UNet结构的视频生成模型，DiT结构的模型最大的劣势在于生态不够完善，配套的ControlNet、IP-Adapter等开源权重不多，导致难以落地。最近DiT-based 5B的ControlNet开源了，相比于传统的ControlNet有不少改进点，这篇博客将从…...

编程日记 2024/10/21 19:43:06

【Pip】初识 Pip：Python 包管理的基本命令详解

目录 引言1. 什么是 pip？1.1 pip 的安装 2. pip 的基本命令2.1 pip install2.2 pip uninstall2.3 pip list2.4 pip show2.5 pip freeze2.6 pip search2.7 pip install -U2.8 pip install -r2.9 pip check2.10 pip cache 3. 使用示例3.1 安装多个包3.2 创建虚拟环境3…...

编程日记 2024/10/21 19:42:06

JMeter 中两大高级线程组的区别与应用

一、JMeter 中的高级线程组概述 最近群里的测试小伙伴在问在 JMeter 中，“jpgc - Ultimate Thread Group”和“jpgc - Stepping Thread Group 阶梯加压”有哪些区别和实际应用场景有哪些？所以这里也跟大家分享一下 JMeter 作为一款强大的性能测试工具&a…...

编程日记 2024/10/21 19:41:05

深入理解伪元素与伪类元素

在“探秘盒子浮动，破解高度塌陷与文字环绕难题，清除浮动成关键！”中，我们讲到如果父盒由于各种原因未设置高度， 子盒的浮动会导致父盒的高度塌陷。为了解决高度塌陷的问题，我们可以添加伪元素。 一、伪元素…...

编程日记 2024/10/21 19:40:02

HDU Romantic

题目大意：现在告诉你两个非负整数 a 和 b。找到满足 X*a Y*b 1 的非负整数 X 和整数 Y。如果没有这样的答案，请写 “sorry”。 思路：这是一道扩展欧几里得模板题，唯一容易错的就是 x 有可能是负数，要把它改成非负数…...

编程日记 2024/10/21 19:39:00

[每日一练]通过shift移动函数实现连续数据的需求

该题目来源于力扣： 603. 连续空余座位 - 力扣（LeetCode） 题目要求： 表: Cinema------------------- | Column Name | Type | ------------------- | seat_id | int | | free | bool | ------------------- Seat_id…...

编程日记 2024/10/21 19:37:59

go 中的斐波那契数实现以及效率比较

package mainimport ("fmt""math/big""time" )// FibonacciRecursive 使用递归方法计算斐波那契数列的第n个数 func FibonacciRecursive(n int) *big.Int {if n < 1 {return big.NewInt(int64(n))}return new(big.Int).Add(FibonacciRecursiv…...

编程日记 2024/10/21 19:36:58

基于ASP.NET的小型超市商品管理系统

文章目录 前言项目介绍技术介绍功能介绍核心代码数据库参考 系统效果图 前言 示 文章底部名片&#xff0c;获取项目的完整演示视频&#xff0c;免费解答技术疑问 项目介绍 小型超市商品管理系统是一款针对小型超市日常运营需求设计的软件解决方案。该系统主要内容有商品类别…...

编程日记 2024/10/21 19:33:55

spdlog学习记录

spdlog Loggers&#xff1a;是 Spdlog 最基本的组件&#xff0c;负责记录日志消息。在 Spdlog 中&#xff0c;一个 Logger 对象代表着一个日志记录器&#xff0c;应用程序可以使用 Logger 对象记录不同级别的日志消息Sinks&#xff1a;决定了日志消息的输出位置。在 Spdlog 中&…...

编程日记 2024/10/21 19:30:52

linux替换某个文件的某段内容命令

假设文件是a.sql 里面的库是abc&#xff0c;我想把这个abc给替换掉&#xff0c;改成hahaha cat a.sql |grep abc|sed -i s/abc/hahaha/g a.sql 如果想写个脚本指定整个文件夹中的内容替换 #!/bin/bash # 检查是否提供了文件夹路径 if [ -z "\$1" ]; then echo &…...

编程日记 2024/10/21 19:28:49

什么是SQL注入攻击？如何防止呢？

目录 一、什么是SQL注入&#xff1f; 二、如何防止&#xff1f; 2.1 使用预编译语句 2.2 使用 ORM 框架 2.3 用户输入校验 一、什么是SQL注入&#xff1f; SQL 注入是一种常见的网络安全漏洞&#xff0c;攻击者通过在应用程序的用户输入中插入恶意的 SQL 代码&#xff…...

编程日记 2024/10/21 19:25:44

consumer 角度讲一下i2c外设

往期内容 I2C子系统专栏&#xff1a; I2C&#xff08;IIC&#xff09;协议讲解-CSDN博客SMBus 协议详解-CSDN博客I2C相关结构体讲解:i2c_adapter、i2c_algorithm、i2c_msg-CSDN博客内核提供的通用I2C设备驱动I2c-dev.c分析&#xff1a;注册篇内核提供的通用I2C设备驱动I2C-dev.…...

编程日记 2024/10/21 19:24:41

面试经典150题刷题记录

数组部分 1. 合并两个有序的子数组 —— 倒序双指针避免覆盖 88. 合并两个有序数组 给你两个按 非递减顺序 排列的整数数组 nums1 和 nums2&#xff0c;另有两个整数 m 和 n &#xff0c;分别表示 nums1 和 nums2 中的元素数目。 请你 合并 nums2 到 nums1 中&#xff0c;使…...

编程日记 2024/10/21 19:23:38

【HarmonyOS NEXT】实现保存base64图片到图库

上篇文章介绍了HarmonyOS NEXT如何保存base64文件到download目录下&#xff0c;本次介绍如何保存base64图片到图库&#xff0c;网络图片保存方式大同小异&#xff0c;先下载图片&#xff0c;然后再保存 phAccessHelper.showAssetsCreationDialog参考官方文档’ ohos.file.pho…...

编程日记 2024/10/21 19:22:37

开题答辩最怕被问什么？教你用ChatGPT轻松准备，稳拿高分！

AIPaperGPT&#xff0c;论文写作神器~ https://www.aipapergpt.com/ 开题答辩是学位论文写作过程中的重要环节&#xff0c;能帮助导师评估你的研究计划是否可行&#xff0c;并对后续写作起到指导作用。很多同学在面对导师提问时会感到紧张&#xff0c;因此提前准备好常见问题的…...

编程日记 2024/10/21 19:21:35

Unity3D功耗和发热分析与优化详解

前言 Unity3D作为广泛使用的游戏开发引擎&#xff0c;在游戏开发过程中&#xff0c;功耗和发热问题一直是开发者需要重点关注的问题。功耗和发热不仅影响用户体验&#xff0c;还可能对设备的硬件寿命造成一定影响。本文将从技术角度详细分析Unity3D游戏在移动设备上的功耗和发…...

编程日记 2024/10/21 19:20:26

深度学习中的掩码介绍

在深度学习中，**掩码（Mask）**通常用于屏蔽掉某些特定部分的数据，以确保模型在训练或推理时不处理无效或无关的输入。掩码的使用场景主要包括处理变长序列、生成模型中的自回归任务、处理填充数据等。掩码可以是二值矩阵（1 表示有效数据，0 表示屏蔽数据），在注意力机制中…...

编程日记 2024/10/21 19:15:18

rust高级进阶总结

文章目录 前言1. Rust生命周期进阶一、不太聪明的生命周期检查&#xff08;一&#xff09;例子1&#xff08;二&#xff09;例子2 二、无界生命周期三、生命周期约束&#xff08;HRTB&#xff09;&#xff08;一&#xff09;语法及含义&#xff08;二&#xff09;综合例子 四、…...

编程日记 2024/10/21 19:14:17

整理—计算机网络

目录 网络OSI模型和TCP/IP模型 应用层有哪些协议 HTTP报文有哪些部分 HTTP常用的状态码 Http 502和 504 的区别 HTTP层请求的类型有哪些&#xff1f; GET和POST的使用场景&#xff0c;有哪些区别&#xff1f; HTTP的长连接 HTTP默认的端口是什么&#xff1f; HTTP1.1怎…...

编程日记 2024/10/21 19:12:14

分布式数据库环境（HBase分布式数据库）的搭建与配置

分布式数据库环境&#xff08;HBase分布式数据库&#xff09;的搭建与配置 1. VMWare安装CentOS7.9.20091.1 下载 CentOS7.9.2009 映像文件1.2启动 VMware WorkstationPro&#xff0c;点击“创建新的虚拟机”1.3在新建虚拟机向导界面选择“典型&#xff08;推荐&#xff09;”1…...

编程日记 2024/10/21 19:11:12

Qwen3.5-4B-Claude-Opus实战案例：Top-P=0.9时逻辑结论一致性测试

Qwen3.5-4B-Claude-Opus实战案例&#xff1a;Top-P0.9时逻辑结论一致性测试 1. 模型介绍 Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF是一个基于Qwen3.5-4B的推理蒸馏模型&#xff0c;特别强化了结构化分析、分步骤回答以及代码与逻辑类问题的处理能力。该模型以GG…...

编程新知 2026/4/4 4:54:32

otp：Go语言一次性密码库入门指南 - 5分钟快速上手双因素认证

otp&#xff1a;Go语言一次性密码库入门指南 - 5分钟快速上手双因素认证 【免费下载链接】otp TOTP library for Go 项目地址: https://gitcode.com/gh_mirrors/otp/otp 在当今网络安全威胁日益严峻的环境下&#xff0c;一次性密码&#xff08;OTP&#xff09;已成为保护…...

编程新知 2026/4/4 4:22:04

Linux dd命令的深度解析与应用实践

dd 命令概述命令起源与定位dd 命令最早出现在 UNIX 操作系统中&#xff0c;后被移植到 Linux 平台。它不同于普通的文件复制命令&#xff08;如 cp&#xff09;&#xff0c;dd 以底层块设备的方式操作数据&#xff0c;可以精确控制数据流的每一个细节。这种特性使其成为&#x…...

编程新知 2026/4/4 4:18:02

OpenClaw飞书机器人实战：千问3.5-9B自动回复消息

OpenClaw飞书机器人实战&#xff1a;千问3.5-9B自动回复消息 1. 为什么选择OpenClaw飞书千问3.5-9B组合&#xff1f; 去年底我开始尝试用AI自动化处理团队沟通需求时&#xff0c;发现市面上大多数方案要么需要将数据上传到第三方平台&#xff0c;要么配置复杂得让人望而却步。…...

编程新知 2026/4/4 2:15:12

【GitLab npm Registry 非标准端口安装问题解决方案】

GitLab npm Registry 非标准端口安装问题解决方案 问题类型: npm/pnpm 客户端与 GitLab npm Registry 集成 影响范围: 使用非标准端口的 GitLab npm Registry 解决时间: 2026-04-03 文档版本: v1.0 一、问题背景 1.1 业务场景 团队需要将内部组件库发布到私有 npm registry,选…...

编程新知 2026/4/4 1:20:27

零欧姆电阻特性与应用全解析

1. 零欧姆电阻的本质与特性零欧姆电阻&#xff0c;这个看似矛盾的名字在电子工程领域却有着广泛的应用。作为一名硬件工程师&#xff0c;我在多年的电路设计实践中发现&#xff0c;这个小元件远比表面看起来要复杂得多。1.1 零欧姆电阻的真实特性零欧姆电阻并非真正的零阻值&am…...

编程新知 2026/4/4 0:11:15

LLM性能评估入门到精通，搞懂推理指标看这篇就够了！

TTFT、TPOT、ITL、Goodput… 这些指标到底什么意思&#xff1f;今天用一篇文章彻底讲清楚 LLM 推理的性能评估体系。 一、为什么指标很重要 生产环境的真实场景 你部署了一个大模型服务&#xff0c;用户反馈&#xff1a; “首字响应好慢” → 什么问题&#xff1f;“生成过程…...

编程新知 2026/4/3 23:26:50

水质溶解氧在线监测仪：实时监测与数据记录解析

水质溶解氧在线监测仪是一款专注于水体溶解氧与水温监测的专业设备&#xff0c;可快速记录水体关键参数&#xff0c;同时支持扩展多种水质参数传感器&#xff0c;能根据不同使用需求灵活组合配置。设备内置存储功能&#xff0c;可留存历史监测数据与报警记录&#xff0c;还支持…...

编程新知 2026/4/3 22:12:11

30美元实现AI视觉革命：OpenGlass开源智能眼镜的平民化方案

30美元实现AI视觉革命&#xff1a;OpenGlass开源智能眼镜的平民化方案 【免费下载链接】OpenGlass Turn any glasses into AI-powered smart glasses 项目地址: https://gitcode.com/GitHub_Trending/op/OpenGlass 当商业智能眼镜以数千元价格将普通用户拒之门外时&…...

编程新知 2026/4/3 21:11:44

SearXNG 多架构 Docker 镜像：支持 amd64、arm64 和 arm/v7 的完整指南

SearXNG 多架构 Docker 镜像&#xff1a;支持 amd64、arm64 和 arm/v7 的完整指南 【免费下载链接】searxng-docker The docker-compose files for setting up a SearXNG instance with docker. 项目地址: https://gitcode.com/gh_mirrors/se/searxng-docker 想要在五分…...

编程新知 2026/4/3 19:59:10