当前位置： 首页 > news >正文

【视频笔记】基于PyTorch从零构建多模态（视觉）大模型 by Umar Jamil【持续更新】

news 2026/2/8 16:10:31

视频链接：
基于PyTorch从零构建多模态（视觉）大模型 by Umar Jamil
从头编写一个视觉语言模型：PloyGamma，是谷歌的一个模型
在这里插入图片描述
1：原始图像
2：视觉编码器（本文是viT），通过对比学习进行训练。这个对比学习最开始是CLIP，后来被谷歌改成了SigLIP
3：线性投影层
4：如何将图像tokens的嵌入与文本token的嵌入结合起来
5：文本提示
6：Tokenizer
7：语言模型本身，基于transformer
8：如何利用条件生成输出

接下来的内容：
1）Vision Transformer
2）对比学习（CLIP、SigLip）
3）多模态语言模型（Gemma）：如何把视觉和文本结合起来
4）KV-cache：希望这个模型用于推理，希望以优化的方式来实现，最佳方法就是使用KV-cache
5࿰

相关文章：

【视频笔记】基于PyTorch从零构建多模态（视觉）大模型 by Umar Jamil【持续更新】

视频链接： 基于PyTorch从零构建多模态（视觉）大模型 by Umar Jamil 从头编写一个视觉语言模型：PloyGamma，是谷歌的一个模型 1：原始图像 2：视觉编码器（本文是viT），通过对比学习进行训练。这个对比学习最开始是CLIP，后来被谷歌改成了SigLIP 3：线性投影层 4：如何将图…...

编程日记 2025/1/6 9:45:16

解决 C++ 中头文件相互引用和解耦问题

在 C 中，当多个 .h 文件相互引用时，可能会导致 循环依赖 或 头文件冗余 问题，进而引发编译时间延迟、代码复杂度增加等问题。为了有效地解耦和组织代码，可以采用以下几种策略和思想： 1. 前向声明（Forward …...

编程日记 2025/1/6 9:44:15

河马剧场(短剧)APP的邀请码怎么填写

上篇给大家说到河马剧场免费看短剧还能领5.2元3天vip会员，本文就说一下河马剧场河马短剧APP的邀请码怎么填写。 河马短剧APP填写邀请码分三步： 1、安装登陆河马短剧APP 2、点击底部导航栏中间的“福利” 3、往下划会看到“填写邀请码领3天vip” 4、…...

编程日记 2025/1/6 9:43:13

01：C语言的本质

C语言的本质 1、ARM架构与汇编2、局部变量初始化与空间分配2.1、局部变量的初始化2.1、局部变量数组初始化 3、全局变量/静态变量初始化化与空间分配4、堆空间 1、ARM架构与汇编 ARM简要架构如下：CPU，ARM(能读能写)，Flash（能读&a…...

编程日记 2025/1/6 9:42:12

第1章：数据库基础

第1章：数据库基础 1.1 数据库概述 1.1.1 什么是数据库 数据库的定义数据库的发展历程数据库的重要性 1.1.2 关系型数据库简介 关系型数据库模型常见的关系型数据库关系型数据库的特点 1.1.3 MySQL在企业中的应用 Web应用电商平台金融系统大数据存储 1.2 数据…...

编程日记 2025/1/6 9:41:09

C++教程 | string类的定义和初始化方法

在C中，string是标准库中用于处理字符串的类，定义在 头文件中，它提供了方便、灵活的字符串操作功能。以下是一些常见的定义和初始化string对象的方法： 1. 默认初始化 可以直接定义一个空的string对象，语法如下&#x…...

编程日记 2025/1/6 9:40:08

React中的合成事件

合成事件与原生事件 区别： 1. 命名不一样，原生用纯小写方式，react用小驼峰的方式 原生：onclick React的：onClick 2. 事件处理函数的写法不一样 原生的是传入一个字符串，react写法传入一个回调函数 3.…...

编程日记 2025/1/6 9:39:07

[SMARTFORMS] 创建FORM

输入事务码SMARTFORMS进入表单开发界面，选中表单，自定义表单名称ZFS_DEMO_2025 点击"创建"按钮，跳转至"SAP表格设计器"页面 在"表格属性"填写表单描述、指定页格式和样式 在"表格接口"可以填写SMART…...

编程日记 2025/1/6 9:33:01

成都和力九垠科技有限公司九垠赢系统Common存在任意文件上传漏洞

免责声明: 本文旨在提供有关特定漏洞的深入信息，帮助用户充分了解潜在的安全风险。发布此信息的目的在于提升网络安全意识和推动技术进步，未经授权访问系统、网络或应用程序，可能会导致法律责任或严重后果。因此，作者不对读者基于本文内容所采取的任何行为承担责任。读者在…...

编程日记 2025/1/6 9:31:57

基于Python的考研学习系统

作者：计算机学姐 开发技术：SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等，“文末源码”。 专栏推荐：前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码 精品专栏：…...

编程日记 2025/1/6 9:27:52

『SQLite』几种向表中插入数据的方法

向表中插入数据 INSERT INTO 语句用来给数据库中的某个表中新增数据行。 案例 直接根据基本语法插入数据插入时不用全部指定列名方式根据查询结果将数据插入另一张表中 注意 上述内容详讲见文章：SQLite的INSERT操作（内含案例）...

编程日记 2025/1/6 9:26:51

什么是Kafka的重平衡机制？

Kafka 的重平衛机制是指在消费者组中新增或删除消费者时，Kafka 集群会重新分配主题分区给各个消费者，以保证每个消费者消费的分区数量尽可能均衡。 重平衡机制的目的是实现消费者的负载均衡和高可用性，以确保每个消费者都能够按照预期的方式…...

编程日记 2025/1/6 9:21:45

pdf预览 报：Failed to load module script

pdf 预览报： Failed to load module script: Expected a JavaScript module script but the server responded with a MIME type of “application/octet-stream”. Strict MIME type checking is enforced for module scripts per HTML spec. 报错原因&#xff1a…...

编程日记 2025/1/6 9:18:42

AI 角色扮演法的深度剖析与实践

📢📢📢 大家好，我是云楼Yunlord，CSDN博客之星人工智能领域前三名，多年人工智能学习工作经验，一位兴趣稀奇古怪的【人工智能领域博主】！！！😜&#…...

编程日记 2025/1/6 9:11:31

weblogic问题

安装weblogic单机后启动weblogic进程： 第一行： 这是一个 su 命令，用于切换到 weblogic 用户。 第二行： 这是 weblogic 用户的 bash shell 会话。 第三行： 这是启动 WebLogic 服务器的脚本。 第四行： 这是 …...

编程日记 2025/1/6 9:10:29

Qt仿音乐播放器：客户端唯一化

一、铺垫 1.我们采用共享内存来进行客户端的唯一化； 2.我刚看到的时候，就感觉，这是人想出来的吗？太绝了 二、实例 int main(int argc, char *argv[]) {QApplication a(argc, argv);QSharedMemory shareMemory("Widget&qu…...

编程日记 2025/1/6 9:06:26

ceph文件系统

ceph文件系统：高度可扩展，分布式的存储文件系统，旨在提高性能，高可靠性和高可用的对 象存储，块存储，文件系统的存储。使用分布式的算法保证数据的高可用和一致性。 ceph的组件 1、MON：ceph m…...

编程日记 2025/1/6 9:04:24

【数据结构-堆】力扣2530. 执行 K 次操作后的最大分数

给你一个下标从 0 开始的整数数组 nums 和一个整数 k 。你的 起始分数 为 0 。 在一步 操作 中&#xff1a; 选出一个满足 0 < i < nums.length 的下标 i &#xff0c; 将你的 分数 增加 nums[i] &#xff0c;并且 将 nums[i] 替换为 ceil(nums[i] / 3) 。 返回在 恰好…...

编程日记 2025/1/6 9:02:16

Java jdk8新特性：Stream 流

一. Stream 1. Stream也叫Stream流&#xff0c;是jdk8开始新增的一套API(java.util.stream.*)&#xff0c;可以用于操作集合或者数组的数据。 2. 优势&#xff1a;Stream流大量的结合了lambda的语言风格来编程&#xff0c;提供了一种更加强大&#xff0c;更加简洁的方式操作集合…...

编程日记 2025/1/6 8:57:10

房产销售系统(源码+数据库+文档)

亲测完美运行带论文&#xff1a;文末获取源码 文章目录 项目简介&#xff08;论文摘要&#xff09;运行视频包含的文件列表&#xff08;含论文&#xff09;前端运行截图后端运行截图 项目简介&#xff08;论文摘要&#xff09; 随着科学技术的飞速发展&#xff0c;各行各业都在…...

编程日记 2025/1/6 8:53:07

内存分配函数malloc kmalloc vmalloc

内存分配函数malloc kmalloc vmalloc malloc实现步骤： 1）请求大小调整：首先，malloc 需要调整用户请求的大小，以适应内部数据结构（例如，可能需要存储额外的元数据）。通常，这包括对齐调整，确保分配的内存地址满足特定硬件要求（如对齐到8字节或16字节边界）。 2）空闲…...

编程新知 2025/11/1 5:21:39

智慧医疗能源事业线深度画像分析（上）

引言 医疗行业作为现代社会的关键基础设施，其能源消耗与环境影响正日益受到关注。随着全球"双碳"目标的推进和可持续发展理念的深入，智慧医疗能源事业线应运而生，致力于通过创新技术与管理方案，重构医疗领域的能源使用模式。这一事业线融合了能源管理、可持续发…...

编程新知 2026/2/5 4:39:34

安宝特方案丨XRSOP人员作业标准化管理平台：AR智慧点检验收套件

在选煤厂、化工厂、钢铁厂等过程生产型企业&#xff0c;其生产设备的运行效率和非计划停机对工业制造效益有较大影响。 随着企业自动化和智能化建设的推进&#xff0c;需提前预防假检、错检、漏检&#xff0c;推动智慧生产运维系统数据的流动和现场赋能应用。同时&#xff0c;…...

编程新知 2026/2/5 17:57:20

Cloudflare 从 Nginx 到 Pingora：性能、效率与安全的全面升级

在互联网的快速发展中&#xff0c;高性能、高效率和高安全性的网络服务成为了各大互联网基础设施提供商的核心追求。Cloudflare 作为全球领先的互联网安全和基础设施公司&#xff0c;近期做出了一个重大技术决策&#xff1a;弃用长期使用的 Nginx&#xff0c;转而采用其内部开发…...

编程新知 2026/1/29 21:20:51

从零实现STL哈希容器：unordered_map/unordered_set封装详解

本篇文章是对C学习的STL哈希容器自主实现部分的学习分享 希望也能为你带来些帮助~ 那咱们废话不多说&#xff0c;直接开始吧&#xff01; 一、源码结构分析 1. SGISTL30实现剖析 // hash_set核心结构 template <class Value, class HashFcn, ...> class hash_set {ty…...

编程新知 2026/1/31 12:47:25

土地利用/土地覆盖遥感解译与基于CLUE模型未来变化情景预测；从基础到高级，涵盖ArcGIS数据处理、ENVI遥感解译与CLUE模型情景模拟等

&#x1f50d; 土地利用/土地覆盖数据是生态、环境和气象等诸多领域模型的关键输入参数。通过遥感影像解译技术&#xff0c;可以精准获取历史或当前任何一个区域的土地利用/土地覆盖情况。这些数据不仅能够用于评估区域生态环境的变化趋势&#xff0c;还能有效评价重大生态工程…...

编程新知 2025/9/12 15:10:44

基于Java Swing的电子通讯录设计与实现：附系统托盘功能代码详解

JAVASQL电子通讯录带系统托盘 一、系统概述 本电子通讯录系统采用Java Swing开发桌面应用&#xff0c;结合SQLite数据库实现联系人管理功能&#xff0c;并集成系统托盘功能提升用户体验。系统支持联系人的增删改查、分组管理、搜索过滤等功能&#xff0c;同时可以最小化到系统…...

编程新知 2025/10/4 20:58:43

在Ubuntu24上采用Wine打开SourceInsight

1. 安装wine sudo apt install wine 2. 安装32位库支持，SourceInsight是32位程序 sudo dpkg --add-architecture i386 sudo apt update sudo apt install wine32:i386 3. 验证安装 wine --version 4. 安装必要的字体和库（解决显示问题） sudo apt install fonts-wqy…...

编程新知 2025/10/14 0:47:25

MFE(微前端) Module Federation：Webpack.config.js文件中每个属性的含义解释

以Module Federation 插件详为例&#xff0c;Webpack.config.js它可能的配置和含义如下&#xff1a; 前言 Module Federation 的Webpack.config.js核心配置包括&#xff1a; name filename&#xff08;定义应用标识&#xff09; remotes&#xff08;引用远程模块&#xff0…...

编程新知 2025/9/20 11:57:48

【Veristand】Veristand环境安装教程-Linux RT / Windows

首先声明&#xff0c;此教程是针对Simulink编译模型并导入Veristand中编写的&#xff0c;同时需要注意的是老用户编译可能用的是Veristand Model Framework&#xff0c;那个是历史版本&#xff0c;且NI不会再维护&#xff0c;新版本编译支持为VeriStand Model Generation Suppo…...

编程新知 2026/2/5 20:04:55