当前位置： 首页 > news >正文

【大模型AIGC系列课程 5-2】视觉-语言大模型原理

news 2026/1/30 18:54:40

重磅推荐专栏： 《大模型AIGC》；《课程大纲》
本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经验分享，旨在帮助读者更好地理解和应用这些领域的最新进展

VisualGLM

BLIP-2

https://arxiv.org/pdf/2301.12597.pdf
BLIP-2是一种用于视觉-语言预训练的方法，它利用了冻结的预训练图像编码器和大型语言模型。BLIP-2的核心架构是Querying Transformer（Q-Former），它经过两个阶段的预训练来弥合模态差距。

在第一个预训练阶段，Q-Former与一个冻结的图像编码器一起进行视觉-语言表示学习。这个阶段的目标是让Q-Former学习与文本最相关的视觉表示。通过与图像编码器的连接，Q-Former可以从冻结的图像编码器中获取视觉特征。
在第二个预训练阶段，Q-Former与一个冻结的语言模型进行视觉-语言生成学习。这个阶段的目标是让Q-

相关文章：

【大模型AIGC系列课程 5-2】视觉-语言大模型原理

重磅推荐专栏： 《大模型AIGC》；《课程大纲》 本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经验分享，旨在…...

编程日记 2023/12/21 15:37:57

震惊！难怪别人家的孩子越来越聪明，原来竟是因为它

前段时间工作调动给孩子换了个新学校，刚开始担心她不能适应新学校的授课方式，但任课老师对她评价很高，夸她上课很专注。 为了训练孩子的专注力，作为家长可没少下功夫，画画，下五子棋等益智游戏的兴趣班没少…...

编程日记 2023/12/21 15:35:55

Linux操作系统（UMASK+SUID+SGID+STICK）

UMASK反掩码 如何查看反掩码：直接在终端窗口运行 umask root用户反掩码：0022 普通用户反掩码：0002 UMASK的作用：确定目录，文件的缺省权限值 以root身份创建目录，观察目录的9位权限值 以root身份创建普通文件…...

编程日记 2023/12/21 15:34:55

Java 中单例模式的常见实现方式

目录 一、什么是单例模式？ 二、单例模式有什么作用？ 三、常见的创建单例模式的方式 1、饿汉式创建 2、懒汉式创建 3、DCL（Double Checked Lock）双检锁方式创建 3.1、synchronized 同步锁的基本使用 3.2、使用 DCL 中存在的疑…...

编程日记 2023/12/21 15:33:53

【C语言】自定义类型之联合和枚举

目录 1. 前言2. 联合体2.1 联合体类型的声明2.2 联合体的特点2.3 相同成员的结构体和联合体对比2.4 联合体大小的计算2.4 判断当前机器的大小端 3. 枚举3.1 枚举类型的声明3.2 枚举类型的优点3.3 枚举类型的使用 1. 前言 在之前的博客中介绍了自定义类型中的结构体，…...

编程日记 2023/12/21 15:32:52

使用Mosquitto/python3进行MQTT连接

一、简介 MQTT(消息队列遥测传输)是ISO 标准(ISO/IEC PRF 20922)下基于发布/订阅范式的消息协议。它工作在 TCP/IP协议族上，是为硬件性能低下的远程设备以及网络状况糟糕的情况下而设计的发布/订阅型消息协议，为此，它需要一个消息中间件。 …...

编程日记 2023/12/21 15:30:51

JavaWeb笔记之前端开发HTML

一、引言 1.1HTML概念 网页，是网站中的一个页面，通常是网页是构成网站的基本元素，是承载各种网站应用的平台。通俗的说，网站就是由网页组成的。通常我们看到的网页都是以htm或html后缀结尾的文件，俗称 HTML文件。 …...

编程日记 2023/12/21 15:29:50

通过IP地址定位解决被薅羊毛问题

随着互联网的普及，线上交易和优惠活动日益增多，这也为一些不法分子提供了可乘之机。他们利用技术手段，通过大量注册账号或使用虚假IP地址进行异常操作，以获取更多的优惠或利益，这种行为被称为“薅羊毛”。对于企业和平…...

编程日记 2023/12/21 15:28:48

Leetcode 122 买卖股票的最佳时机 II

题意理解： 已知：一个整数数组 prices ，其中 prices[i] 表示某支股票第 i 天的价格 如何哪个时间点买入，哪个时间点卖出，多次交易，能够收益最大化 目的：收益最大化 解题思路： 使用贪心…...

编程日记 2023/12/21 15:27:47

音频文件合成

音频文件合成 音频文件合成 http://ffmpeg.org/download.html https://blog.csdn.net/u013314786/article/details/89682800 http://www.360doc.com/content/19/0317/01/10519289_822112563.shtml https://chaijunkun.blog.csdn.net/article/details/116491526?spm1001.210…...

编程日记 2023/12/21 15:26:46

20231220将NanoPC-T4(RK3399)开发板的Android10的SDK按照Rockchip官方挖掘机开发板编译打包刷机之后启动跑飞

20231220将NanoPC-T4(RK3399)开发板的Android10的SDK按照Rockchip官方挖掘机开发板编译打包刷机之后启动跑飞 2023/12/20 17:19 简略步骤：rootrootrootroot-X99-Turbo:~/3TB$ tar --use-compress-programpigz -xvpf rk3399-android-10.git-20210201.tgz rootrootro…...

编程日记 2023/12/21 15:23:44

vivo 容器平台资源运营实践

作者：vivo 互联网服务器团队 - Chen Han 容器平台针对业务资源申请值偏大的运营问题，通过静态超卖和动态超卖两种技术方案，使业务资源申请值趋于合理化，提高平台资源装箱率和资源利用率。 一、背景 在Kubernetes中，容…...

编程日记 2023/12/21 15:21:42

ASP.NET Core面试题之Redis高频问题

🎈🎈在.NET后端开发岗位中，如今也少不了、微服务、分布式、高并发高可用相关的面试题🎈🎈 👍👍本文分享一些整理的Redis高频面试题🎉 👍👍机会都是给有准备…...

编程日记 2023/12/21 15:20:41

【教程】Ubuntu基本软件安装

文章目录 一、搜狗输入法安装二、百度网盘安装三、划词翻译 一、搜狗输入法安装 全网最准确的Ubuntu 20.04 安装搜狗输入法的步骤 二、百度网盘安装 百度云盘for Linux安装教程和体验 三、划词翻译 ubuntu最好用的划词翻译词典：有道词典和GoldenDict...

编程日记 2023/12/21 15:19:40

Jenkins 构建环境指南

目录 Delete workspace before build starts（常用） Use secret text(s) or file(s) （常用） Add timestamps to the Console Output （常用） Inspect build log for published build scans Terminate a …...

编程日记 2023/12/21 15:18:39

基于Go语言的HTTP路由设计与实现

在Go语言的世界里，HTTP路由是一种将HTTP请求映射到相应处理函数的技术。通过路由，我们可以确定当用户发送一个HTTP请求时，应该调用哪个函数来处理该请求。在这个过程中，我们可以使用多种方法来实现路由设计，下面我将以…...

编程日记 2023/12/21 15:16:38

SpringMVC01

SpringMVC 1. 学习⽬标2. 什么叫MVC？3. SpringMVC 框架概念与特点4. SpringMVC 请求流程5. Spring MVC 环境搭建6. URL 地址映射配置7. 参数绑定8. JSON 数据开发JSON普通数组步骤1:pom.xml添加依赖步骤2： 修改配置⽂件步骤3. 注解使⽤ 1. 学习⽬标 2. 什…...

编程日记 2023/12/21 15:15:37

基于Redis限流（aop切面+redis实现“令牌桶算法”）

令牌桶算法属于流量控制算法，在一定时间内保证一个键（key）的访问量不超过某个阈值。这里的关键是设置一个令牌桶，在某个时间段内生成一定数量的令牌，然后每次访问时从桶中获取令牌，如果桶中没有令牌&#x…...

编程日记 2023/12/21 15:10:32

【小白专用】php pdo方式连接sqlserver 设置方法 更新23.12.21

windows系统的拓展相对来说比较好安装&#xff0c;直接下载对应的dll文件&#xff0c;修改php.ini配置文件即可。 添加PHP对SQL SERVER的支持 1.新建PHP 文件&#xff0c;输入内容&#xff1a; <?php echo phpinfo(); ?> 2.运行后&#xff0c;可以查看到如下数据&…...

编程日记 2023/12/21 15:06:27

打开C#项目时出现“error : 找不到指定的 SDK”的错误解决方法汇总

从github上克隆项目回来&#xff0c;发现编译通过&#xff0c;我是通过一下步骤解决的&#xff1a; 1.到适用于 Visual Studio 的 .NET SDK 下载网址下载对应版本的.NET SDK&#xff0c;关闭当前VS后安装&#xff1b; 2.参考VS2022报错&#xff1a;error : 找不到指定的 SDK“…...

编程日记 2023/12/21 15:05:26

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周&#xff0c;有很多同学在写期末Java web作业时&#xff0c;运行tomcat出现乱码问题&#xff0c;经过多次解决与研究&#xff0c;我做了如下整理&#xff1a; 原因&#xff1a; IDEA本身编码与tomcat的编码与Windows编码不同导致&#xff0c;Windows 系统控制台…...

编程新知 2026/1/29 23:08:26

Cursor实现用excel数据填充word模版的方法

cursor主页&#xff1a;https://www.cursor.com/ 任务目标&#xff1a;把excel格式的数据里的单元格&#xff0c;按照某一个固定模版填充到word中 文章目录 注意事项逐步生成程序1. 确定格式2. 调试程序 注意事项 直接给一个excel文件和最终呈现的word文件的示例&#xff0c;…...

编程新知 2025/8/23 5:46:26

DeepSeek 赋能智慧能源：微电网优化调度的智能革新路径

目录 一、智慧能源微电网优化调度概述1.1 智慧能源微电网概念1.2 优化调度的重要性1.3 目前面临的挑战 二、DeepSeek 技术探秘2.1 DeepSeek 技术原理2.2 DeepSeek 独特优势2.3 DeepSeek 在 AI 领域地位 三、DeepSeek 在微电网优化调度中的应用剖析3.1 数据处理与分析3.2 预测与…...

编程新知 2025/11/20 2:48:44

视频字幕质量评估的大规模细粒度基准

大家读完觉得有帮助记得关注和点赞&#xff01;&#xff01;&#xff01; 摘要 视频字幕在文本到视频生成任务中起着至关重要的作用&#xff0c;因为它们的质量直接影响所生成视频的语义连贯性和视觉保真度。尽管大型视觉-语言模型&#xff08;VLMs&#xff09;在字幕生成方面…...

编程新知 2026/1/30 14:36:22

Android Bitmap治理全解析：从加载优化到泄漏防控的全生命周期管理

引言 Bitmap&#xff08;位图&#xff09;是Android应用内存占用的“头号杀手”。一张1080P&#xff08;1920x1080&#xff09;的图片以ARGB_8888格式加载时&#xff0c;内存占用高达8MB&#xff08;192010804字节&#xff09;。据统计&#xff0c;超过60%的应用OOM崩溃与Bitm…...

编程新知 2026/1/8 22:17:14

【从零学习JVM|第三篇】类的生命周期(高频面试题)

前言&#xff1a; 在Java编程中&#xff0c;类的生命周期是指类从被加载到内存中开始&#xff0c;到被卸载出内存为止的整个过程。了解类的生命周期对于理解Java程序的运行机制以及性能优化非常重要。本文会深入探寻类的生命周期&#xff0c;让读者对此有深刻印象。 目录 ​…...

编程新知 2026/1/26 8:42:13

LLMs 系列实操科普（1）

写在前面&#xff1a; 本期内容我们继续 Andrej Karpathy 的《How I use LLMs》讲座内容&#xff0c;原视频时长 ~130 分钟&#xff0c;以实操演示主流的一些 LLMs 的使用&#xff0c;由于涉及到实操&#xff0c;实际上并不适合以文字整理&#xff0c;但还是决定尽量整理一份笔…...

编程新知 2026/1/24 20:17:06

9-Oracle 23 ai Vector Search 特性 知识准备

很多小伙伴是不是参加了 免费认证课程&#xff08;限时至2025/5/15&#xff09; Oracle AI Vector Search 1Z0-184-25考试&#xff0c;都顺利拿到certified了没。 各行各业的AI 大模型的到来&#xff0c;传统的数据库中的SQL还能不能打&#xff0c;结构化和非结构的话数据如何和…...

编程新知 2026/1/20 2:39:20

Xcode 16 集成 cocoapods 报错

基于 Xcode 16 新建工程项目&#xff0c;集成 cocoapods 执行 pod init 报错 ### Error RuntimeError - PBXGroup attempted to initialize an object with unknown ISA PBXFileSystemSynchronizedRootGroup from attributes: {"isa">"PBXFileSystemSynchro…...

编程新知 2026/1/23 14:48:21

基于stm32F10x 系列微控制器的智能电子琴（附完整项目源码、详细接线及讲解视频）

注&#xff1a;文章末尾网盘链接中自取成品使用演示视频、项目源码、项目文档 所用硬件&#xff1a;STM32F103C8T6、无源蜂鸣器、44矩阵键盘、flash存储模块、OLED显示屏、RGB三色灯、面包板、杜邦线、usb转ttl串口 stm32f103c8t6 面包板 …...

编程新知 2026/1/26 9:04:42