当前位置： 首页 > news >正文

【视频笔记】基于PyTorch从零构建多模态（视觉）大模型 by Umar Jamil【持续更新】

news 2026/4/19 2:11:19

视频链接：
基于PyTorch从零构建多模态（视觉）大模型 by Umar Jamil
从头编写一个视觉语言模型：PloyGamma，是谷歌的一个模型
在这里插入图片描述
1：原始图像
2：视觉编码器（本文是viT），通过对比学习进行训练。这个对比学习最开始是CLIP，后来被谷歌改成了SigLIP
3：线性投影层
4：如何将图像tokens的嵌入与文本token的嵌入结合起来
5：文本提示
6：Tokenizer
7：语言模型本身，基于transformer
8：如何利用条件生成输出

接下来的内容：
1）Vision Transformer
2）对比学习（CLIP、SigLip）
3）多模态语言模型（Gemma）：如何把视觉和文本结合起来
4）KV-cache：希望这个模型用于推理，希望以优化的方式来实现，最佳方法就是使用KV-cache
5࿰

相关文章：

【视频笔记】基于PyTorch从零构建多模态（视觉）大模型 by Umar Jamil【持续更新】

视频链接： 基于PyTorch从零构建多模态（视觉）大模型 by Umar Jamil 从头编写一个视觉语言模型：PloyGamma，是谷歌的一个模型 1：原始图像 2：视觉编码器（本文是viT），通过对比学习进行训练。这个对比学习最开始是CLIP，后来被谷歌改成了SigLIP 3：线性投影层 4：如何将图…...

编程日记 2025/1/6 9:45:16

解决 C++ 中头文件相互引用和解耦问题

在 C 中，当多个 .h 文件相互引用时，可能会导致 循环依赖 或 头文件冗余 问题，进而引发编译时间延迟、代码复杂度增加等问题。为了有效地解耦和组织代码，可以采用以下几种策略和思想： 1. 前向声明（Forward …...

编程日记 2025/1/6 9:44:15

河马剧场(短剧)APP的邀请码怎么填写

上篇给大家说到河马剧场免费看短剧还能领5.2元3天vip会员，本文就说一下河马剧场河马短剧APP的邀请码怎么填写。 河马短剧APP填写邀请码分三步： 1、安装登陆河马短剧APP 2、点击底部导航栏中间的“福利” 3、往下划会看到“填写邀请码领3天vip” 4、…...

编程日记 2025/1/6 9:43:13

01：C语言的本质

C语言的本质 1、ARM架构与汇编2、局部变量初始化与空间分配2.1、局部变量的初始化2.1、局部变量数组初始化 3、全局变量/静态变量初始化化与空间分配4、堆空间 1、ARM架构与汇编 ARM简要架构如下：CPU，ARM(能读能写)，Flash（能读&a…...

编程日记 2025/1/6 9:42:12

第1章：数据库基础

第1章：数据库基础 1.1 数据库概述 1.1.1 什么是数据库 数据库的定义数据库的发展历程数据库的重要性 1.1.2 关系型数据库简介 关系型数据库模型常见的关系型数据库关系型数据库的特点 1.1.3 MySQL在企业中的应用 Web应用电商平台金融系统大数据存储 1.2 数据…...

编程日记 2025/1/6 9:41:09

C++教程 | string类的定义和初始化方法

在C中，string是标准库中用于处理字符串的类，定义在 头文件中，它提供了方便、灵活的字符串操作功能。以下是一些常见的定义和初始化string对象的方法： 1. 默认初始化 可以直接定义一个空的string对象，语法如下&#x…...

编程日记 2025/1/6 9:40:08

React中的合成事件

合成事件与原生事件 区别： 1. 命名不一样，原生用纯小写方式，react用小驼峰的方式 原生：onclick React的：onClick 2. 事件处理函数的写法不一样 原生的是传入一个字符串，react写法传入一个回调函数 3.…...

编程日记 2025/1/6 9:39:07

[SMARTFORMS] 创建FORM

输入事务码SMARTFORMS进入表单开发界面，选中表单，自定义表单名称ZFS_DEMO_2025 点击"创建"按钮，跳转至"SAP表格设计器"页面 在"表格属性"填写表单描述、指定页格式和样式 在"表格接口"可以填写SMART…...

编程日记 2025/1/6 9:33:01

成都和力九垠科技有限公司九垠赢系统Common存在任意文件上传漏洞

免责声明: 本文旨在提供有关特定漏洞的深入信息，帮助用户充分了解潜在的安全风险。发布此信息的目的在于提升网络安全意识和推动技术进步，未经授权访问系统、网络或应用程序，可能会导致法律责任或严重后果。因此，作者不对读者基于本文内容所采取的任何行为承担责任。读者在…...

编程日记 2025/1/6 9:31:57

基于Python的考研学习系统

作者：计算机学姐 开发技术：SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等，“文末源码”。 专栏推荐：前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码 精品专栏：…...

编程日记 2025/1/6 9:27:52

『SQLite』几种向表中插入数据的方法

向表中插入数据 INSERT INTO 语句用来给数据库中的某个表中新增数据行。 案例 直接根据基本语法插入数据插入时不用全部指定列名方式根据查询结果将数据插入另一张表中 注意 上述内容详讲见文章：SQLite的INSERT操作（内含案例）...

编程日记 2025/1/6 9:26:51

什么是Kafka的重平衡机制？

Kafka 的重平衛机制是指在消费者组中新增或删除消费者时，Kafka 集群会重新分配主题分区给各个消费者，以保证每个消费者消费的分区数量尽可能均衡。 重平衡机制的目的是实现消费者的负载均衡和高可用性，以确保每个消费者都能够按照预期的方式…...

编程日记 2025/1/6 9:21:45

pdf预览 报：Failed to load module script

pdf 预览报： Failed to load module script: Expected a JavaScript module script but the server responded with a MIME type of “application/octet-stream”. Strict MIME type checking is enforced for module scripts per HTML spec. 报错原因&#xff1a…...

编程日记 2025/1/6 9:18:42

AI 角色扮演法的深度剖析与实践

📢📢📢 大家好，我是云楼Yunlord，CSDN博客之星人工智能领域前三名，多年人工智能学习工作经验，一位兴趣稀奇古怪的【人工智能领域博主】！！！😜&#…...

编程日记 2025/1/6 9:11:31

weblogic问题

安装weblogic单机后启动weblogic进程： 第一行： 这是一个 su 命令，用于切换到 weblogic 用户。 第二行： 这是 weblogic 用户的 bash shell 会话。 第三行： 这是启动 WebLogic 服务器的脚本。 第四行： 这是 …...

编程日记 2025/1/6 9:10:29

Qt仿音乐播放器：客户端唯一化

一、铺垫 1.我们采用共享内存来进行客户端的唯一化； 2.我刚看到的时候，就感觉，这是人想出来的吗？太绝了 二、实例 int main(int argc, char *argv[]) {QApplication a(argc, argv);QSharedMemory shareMemory("Widget&qu…...

编程日记 2025/1/6 9:06:26

ceph文件系统

ceph文件系统：高度可扩展，分布式的存储文件系统，旨在提高性能，高可靠性和高可用的对 象存储，块存储，文件系统的存储。使用分布式的算法保证数据的高可用和一致性。 ceph的组件 1、MON：ceph m…...

编程日记 2025/1/6 9:04:24

【数据结构-堆】力扣2530. 执行 K 次操作后的最大分数

给你一个下标从 0 开始的整数数组 nums 和一个整数 k 。你的 起始分数 为 0 。 在一步 操作 中&#xff1a; 选出一个满足 0 < i < nums.length 的下标 i &#xff0c; 将你的 分数 增加 nums[i] &#xff0c;并且 将 nums[i] 替换为 ceil(nums[i] / 3) 。 返回在 恰好…...

编程日记 2025/1/6 9:02:16

Java jdk8新特性：Stream 流

一. Stream 1. Stream也叫Stream流&#xff0c;是jdk8开始新增的一套API(java.util.stream.*)&#xff0c;可以用于操作集合或者数组的数据。 2. 优势&#xff1a;Stream流大量的结合了lambda的语言风格来编程&#xff0c;提供了一种更加强大&#xff0c;更加简洁的方式操作集合…...

编程日记 2025/1/6 8:57:10

房产销售系统(源码+数据库+文档)

亲测完美运行带论文&#xff1a;文末获取源码 文章目录 项目简介&#xff08;论文摘要&#xff09;运行视频包含的文件列表&#xff08;含论文&#xff09;前端运行截图后端运行截图 项目简介&#xff08;论文摘要&#xff09; 随着科学技术的飞速发展&#xff0c;各行各业都在…...

编程日记 2025/1/6 8:53:07

从Wi-Fi路由器到智能音箱：空间FFT（DOA）在消费电子中的实战应用与避坑指南

从Wi-Fi路由器到智能音箱&#xff1a;空间FFT&#xff08;DOA&#xff09;在消费电子中的实战应用与避坑指南 当你对着智能音箱喊"播放音乐"时&#xff0c;它总能准确识别你的位置并定向拾音&#xff1b;当Wi-Fi路由器自动优化信号覆盖时&#xff0c;它其实在默默计算…...

编程新知 2026/4/18 23:42:08

Harness 中的自适应批量大小：动态权衡延迟与吞吐

从零到精通Harness自适应批量大小&#xff1a;在持续交付流水线中实现延迟与吞吐的完美动态平衡 副标题&#xff1a;详解Harness.io CD/CI与效率套件中ABS的核心原理、算法实现、配置实践与性能收益第一部分&#xff1a;引言与基础 (Introduction & Foundation) 1. 引人注目…...

编程新知 2026/4/18 22:56:51

灰色系统预测模型GM(1,1)

20世纪70年代末、80年代初&#xff0c;邓聚龙提出了灰色系统理论&#xff0c;灰色系统理论是解决数据缺乏、不确定性问题的。灰色系统理论模型&#xff0c;又称灰色模型或灰色动态模型&#xff0c;简称GM模型。其中最典型的是灰色模型GM(1,1)。①程式支持Excel表格导入和编辑 ②…...

编程新知 2026/4/18 22:19:53

AI教育平台开发技术框架

在国内开发AI英语教育平台&#xff0c;技术架构通常需要适配国产大模型生态、满足高并发低延迟要求&#xff0c;并严格遵循国内的数据安全与备案法规。以下是2026年主流的国内AI教育平台开发技术框架&#xff1a;1. 云原生算力与基础设施层由于大模型推理成本极高&#xff0c;国…...

编程新知 2026/4/18 19:09:59

从试点到全栈替代：SITS2026中台团队用AI编程工具重构127个微服务的完整迁移路线图（含Git提交行为分析数据）

第一章&#xff1a;SITS2026案例&#xff1a;大厂AI编程工具实践 2026奇点智能技术大会(https://ml-summit.org) 在2026奇点智能技术大会&#xff08;SITS2026&#xff09;的工业实践分论坛中&#xff0c;某头部云厂商首次完整公开其内部AI编程助手“CodePilot Pro”的落地路…...

编程新知 2026/4/18 18:57:36

深入V4L2驱动：从videobuf2队列管理看虚拟摄像头的‘数据流水线’

深入解析V4L2驱动中的videobuf2数据流机制 在视频采集和处理的开发过程中&#xff0c;V4L2(Video for Linux 2)框架扮演着至关重要的角色。作为Linux内核中视频设备驱动的标准接口&#xff0c;V4L2提供了一套完整的API用于控制视频设备、配置参数和管理数据流。本文将重点剖析V…...

编程新知 2026/4/18 17:12:08

LFM2.5-1.2B-Thinking-GGUF开源镜像实操：免下载、低显存、32K上下文全解析

LFM2.5-1.2B-Thinking-GGUF开源镜像实操&#xff1a;免下载、低显存、32K上下文全解析 1. 模型与平台介绍 LFM2.5-1.2B-Thinking-GGUF 是由 Liquid AI 开发的轻量级文本生成模型&#xff0c;专为低资源环境优化设计。这个开源镜像的最大特点是内置了预转换好的 GGUF 模型文件…...

编程新知 2026/4/18 17:01:41

探索Happy Island Designer：重塑岛屿规划体验的智能工具

探索Happy Island Designer&#xff1a;重塑岛屿规划体验的智能工具 【免费下载链接】HappyIslandDesigner "Happy Island Designer (Alpha)"&#xff0c;是一个在线工具&#xff0c;它允许用户设计和定制自己的岛屿。这个工具是受游戏《动物森友会》(Animal Crossin…...

编程新知 2026/4/18 16:22:47

如何零风险迁移SillyTavern：3种策略保护你的AI对话数据

如何零风险迁移SillyTavern&#xff1a;3种策略保护你的AI对话数据 【免费下载链接】SillyTavern LLM Frontend for Power Users. 项目地址: https://gitcode.com/GitHub_Trending/si/SillyTavern 还在为SillyTavern版本升级而焦虑吗&#xff1f;每次更新都担心精心配置…...

编程新知 2026/4/18 15:51:58

Matlab R2023a绘图避坑指南：xlabel设置无效？可能是你忽略了这3个细节（多图、子图、字体）

Matlab R2023a绘图避坑指南&#xff1a;xlabel设置无效的3个关键细节 最近在帮实验室师弟调试Matlab代码时&#xff0c;发现一个有趣的现象&#xff1a;明明照着官方文档写的xlabel语句&#xff0c;运行时却总是出现各种"灵异事件"。有的标签神秘消失&#xff0c;有的…...

编程新知 2026/4/18 15:02:02