收藏 | 新手程序员快速入门：多模态大模型（MLLM）全解析

本文为有NLP、大模型基础知识的程序员提供了入门多模态大模型MLLM的全面指南。内容涵盖了MLLM的模型结构、训练数据、训练方法及评估方法重点解析了模型结构和算法逻辑。文章对比了两种构建MLLM的主要方法统一的Embedding解码器架构和跨模态的Attention架构并详细介绍了预训练、指令调优和对齐调优三个训练阶段。此外还讨论了多模态模型的评估、扩展技术、多模态幻觉及其缓解方法以及未来的挑战和方向。背景近几年主要处理NLP相关的任务从小模型到大模型LLM主要都是针对文本最近有多模态模型MLLM处理的需求迫切需要学习下多模态模型的整体情况整理了此文。本文适合有NLP、大模型知识基础又想入门了解多模态大模型的同学。主要包括多模态大模型的模型结构、训练数据、训练方法、评估方法等侧重于模型结构和算法逻辑。主要参考资料原本希望找最新2025年6月的多模态大模型综述但找到的流行的资料都是2024年底的主要包括如下两篇本文主要基于这两篇文章进行整理《Understanding Multimodal LLMs》https://magazine.sebastianraschka.com/p/understanding-multimodal-llms《A Survey on Multimodal Large Language Models》https://arxiv.org/pdf/2306.13549主要名词NLPNatural Language Processing自然语言处理LMLanguage Model语言模型LLMLarge Language Model大语言模型简称大模型LVMLarge Vision Model大视觉模型MLLMMultimodal Large Language Model多模态大语言模型简称多模态大模型资料一《Understanding Multimodal LLMs》MLLM概念和使用场景图1. MLLM输入输出各种模态MLLM中的Multimodal指模型能处理多种模态主要包括文本、音频、图像和视频。文中说主要指模型的输入包括多模态实际上输出也完全可以多模态比如生成音频、图片和视频。使用场景很多例如对给定的图片或者视频输出其内容描述或者输入图片要求的指令文本描述抽取内容以markdown格式输出等。构建MLLM的通用方法图2. MLLM的两种主要方法主要有两种方法方法A统一的Embedding解码器架构方法B跨模态的Attention架构下文主要使用图片作为文本之外的模态为例进行介绍。2.1 方法A统一的Embedding解码器架构如图2左边部分图片的处理类似LLM中处理文本的方式使用图片编码器把图片转化为embediding向量然后和文本的embedding拼接在一起输入给LLM大模型。2.1.1 理解图片编码器先回顾一下文本转化为embedding的过程图3. 文本转化为embedding的过程文本通过Tokenizer转换为一系列token一个token可能是一个、多个或者部分单词或者文字由具体的Tokenizer而定。然后token通过Emdedding层转化为一个一个embedding向量就可以供LLM使用了。图4. 图片编码器图像编码器直接把图片转化为多个图片块的embedding对应文本处理tokenizer和embedding模块编码器内部如下图5. ViT模型内部编码器结构图5以ViT模型结构为例ViT通常用于图像分类在embedding向量之后通过MLP层进行分类此处我们主要关注输出embedding之前的编码器部分。图片先分块然后通过线性层、Transformer编码最后输出embedding向量。其中线性层的作用是把分块后的图片映射到embedding需要的向量大小再通过Transformer得到相同大小的embedding。图6. 图片分块后线性层的作用当然也可以在图片编码器后对embedding进行线性变换把维度变换为和文本embedding相同大小以便拼接在一起输入LLM处理。图7. 对图像编码器输出embedding进行维度变换图像编码器通常是通过预训练的Transformer模型流行的有CLIP 、OpenCLIP 。2.2 方法B跨模态的Attention架构此方法仍然使用方法A中讨论的图像编码器与方法A把图片embedding和文本embedding拼接后输入LLM Transformer不同方法B把图片embedding通过交叉注意力cross-attention接入LLM Transformer的自注意力模块。图8. 跨模态注意力架构图片embedding接入多头注意力层回顾一下图9 Transformer经典结构中的注意力机制解码器Decoder中的Q、K、V进行多头注意力计算其中K、V来自编码器EncoderQ来自Decoder。图9. Transformer结构训练方法由于我们在后面第二大部分介绍MLLM综述的时候会详细描述模型训练本节简要说明方法A和B的训练方法。图10. 方法A、B不同组件训练过程中的冻结、解冻类似纯文本LLMMLLM的训练通常也包括预训练和微调阶段但MLLM中的LLM部分通常使用已经预训练和指令微调后的LLM。通常在预训练阶段LLM冻结仅训练线性层的projector部分见图10在指令微调阶段解冻LLM进行训练。本资料介绍了10个常见的MLLM模型分别如下到现在已经有半年时间常见模型应该有变化另行再调查LLamaMetaMolmoNVLMNvidaQwen-VL阿里巴巴PixtralMistralMM1.5AriaBaichuan-Omni百川Emu3JanusDeepSeek资料二《A Survey on Multimodal Large Language Models》本综述来自于中科大和腾讯实验室。主要内容包括主流架构、训练策略和数据、主流评估方法、可扩展点讨论、多模态幻觉、扩展技术、挑战和方向。我挑重点概括侧重前三点。主流架构整体架构如图11虽然和资料一中图2的方法A和B初看不一样其实本质是一样的我们后面解释。图11. MLLM典型架构资料一在文本之外的模态直接用图片模态为例来说明本综述中更严谨输入、输出都示例了文本、图像、音频、视频。文本之外的模态先使用编码器Modality Encoder编码得到embedding然后通过一个连接器Connector连接文本和其他模态的embedding输入给LLM。输出可以是文本也可能有生成器生成其他模态数据。所以主要组件包括Modality Encoder、Connector、LLM下面分别展开说。1.1 Modality Encoder通常不会从头开始训练编码器而是使用一个已经预训练好、和别的模态对齐了的编码器。例如CLIP就是一个在大规模“图片-文本”对上经过预训练把图片和文本对齐的编码器。图像模态主要使用的编码器如下表1。表1. 常用图像编码器选择编码器主要考虑因素有分辨率、参数大小、预训练预料。很多工作已经表明提高输入图片数据分辨率能显著提高模型性能。提高的方法包括直接提高用更高分辨率图片微调编码器、或者替换支持高分辨率的已预训练好的编码器和分块方法把高分辨率图片分块重用低分辨率编码器。相比之下提高模型参数量和训练数据组合没有提高输入分辨率重要。1.2 预训练的LLM架构图中的LLM通常也是使用已经预训练好的LLM而不是从头训练这样LLM以及拥有了广泛的通用知识。常用LLM如表2。表2. 常用开源LLM多数都使用Transformer DecoderCausal Decoder结构阿里的Qwen开源以来增强了对中文世界的支持。通常增加模型参数大小能相应提高模型水平。混合专家模型MoE也逐渐获得越来越多的关注特别是DeepSeek成功之后。1.3 模态接口Connector连接器就是连接文本和其他模态的桥梁。个人理解多模态模型本质就是对齐文本模态和其他模态映射到同一个空间下然后通过大规模的参数进行训练学习。连接器主要分为两种接口token级别(token-level)融合 和 特征级别(feature)融合。这就对应了资料一中的方法A和B其中方法A为token级别融合方法B为特征级别融合所以说本质上两个资料说的是同一回事。token级别融合多模态编码器输出的embedding和文本token的embedding拼接起来输入到LLM。Q-Former通过Q、K、V方式学习有一些方法直接使用MLP直接学习。特征级别融合通过额外模块使文本特征和其他模态特征深度融合资料B中的交叉注意力方法只是一种。有实验证明token级别融合比特征级别融合在VQA基线上性能要好作者认为因为使用交叉注意力机制的特征级别融合需要更多的超参数搜索过程才能达到同等性能。上述两种融合方式都可归纳为可学习的Connector就是通过训练学习Connector的参数。还有一种不通过参数学习的方式直接使用专家模型Expert Model把多模态数据转为语言。训练策略和数据完整的MLLM训练包括三个阶段预训练、指令调优、对齐调优。2.1 预训练预训练的目的是为了对齐不同模态学习多模态的通用知识。预训练阶段主要使用大量的“文本-图像/音频/视频”对进行训练文本是对图像/音频/视频的说明。表3. 预训练使用的数据模版表3是一个用于预训练的数据模版使用预训练模型预测图片的描述。训练方法主流方法是冻结多模态编码器和LLM只训练可学习的Connector目的是为了不丢失已经预训练获取的知识。某些方法也解冻更多参数比如编码器中的参数希望更多参数的学习提供对齐能力。具体预训练数据集主要分为粗粒度和细粒度高质量数据如表4不再赘述。表4. 常见预训练数据集2.2 指令调优指令调优和LLM中是同一个概念只不过数据中增加了各种模态。指令指的是对任务的描述例如“把这段视频的内容描述一下”就是一个指令。指令调优的目的是让模型更好地理解人类下达的指令和任务。和指令调优可对比的学习范式有3种如图12图12. 三种典型的学习范式A是基于预训练模型进行有监督微调这种方式需要大量和任务相关的数据比如翻译、摘要等。B通过提示词工程提升模型预测效果例如使用few-shot提供一些例子给模型。C指令调优学习如何归纳未见过的任务而不是去学习具体的任务。表5是一个用于指令调优的模版数据在数据的一开始给了具体的指令。不同的模版可定义各种不同的指令。表5. 多模态指令数据模版样例训练方法根据指令、输入使用模型预测输出让输出尽可能接近标签值。创建指令调优训练数据的典型方法有三种Data Adaption利用现在已有的高质量数据集转化为指令格式数据集例如借助GPT模型等。Self-Instruction使用大模型基于少量手工标注样本生成指令数据集。Data Mixture使用纯语言对话数据集结合多模态指令数据集进行微调也能改进模型性能。研究表明调优数据的质量并不比数量的重要性低高的数据质量主要指增加指令的多样性和任务的多样性、复杂性。2.3 对齐调优主要指需要模型和人类偏好进行对齐例如减少幻觉。主要使用基于人类反馈的强化学习RLHFReinforcement Learning with Human Feedback和直接偏好优化Direct Preference OptimizationDPO和LLM相同不再赘述。可用于多模态对齐调优的数据集见表6。表6. 对齐调优数据集评估主要根据评估问题集合进行分类分为封闭集和开放集。封闭集问题的答案提前预定义好在一个有限的集合里答案可以通过一些基线指标进行判断。开放集问题答案比封闭集更灵活一般有三种评估方法人工打分、GPT模型打分、具体案例分析case study。扩展点最近的研究从MLLM基础能力扩展到更广泛场景覆盖包括更细粒度支持例如对图像具体区域的指定、图像像素级的支持。更多模态支持例如3D点云、输出生成图片、音频、视频。更多语言支持当前多数模型是单语种受限于高质量非英语语料的稀缺以阿里Qwen系列模型为代表的开源多模态模型开始同时支持英文和中文。场景\任务扩展从通用助手到具体真实场景的应用例如用于移动设备。多模态幻觉当前的研究多模态幻觉主要分为三类对象是否存在的幻觉模型错误判断图片中有无某个对象。对象属性幻觉错误判断对象的某些对象的属性例如狗的颜色。关系幻觉错误判断对象之间的关系。幻觉的评估方法CHAIR方法用于评估开放式标题的幻觉水平POPE方法用于评估封闭集选择HaELM建议使用文本LLM判断MLLM的标题是否正确。幻觉缓解方法提前矫正准备负样本数据进行微调缓解幻觉。事中矫正改进架构设计或特征表示探索引起幻觉的原因设计对应的方法在生成阶段缓解。后矫正例如使用专家模型、通过上下文信息对生成结果进行矫正。扩展技术6.1 多模态In-Context LearningM-ICLICL是LLM中重要的能力有两个优点1不像传统监督学习通过大量数据学习ICL实际不需要训练通过类比学习根据提供的少量示例能解决复杂的并未曾见过的任务2ICL因为不需要训练容易在推理阶段整合到不同的框架中。ICL扩展到多模态领域已经形成了M-ICL其主要用于两个场景1解决不同的视觉推理任务2教LLM使用外部工具和CoT很相近。6.2 多模态Chain of ThoughtM-CoTLLM中的思维链CoT不用多解释实现CoT主要有三种方法微调、few-shot learning、zero-shot learning。对于链是如何构造的当前研究认为有两种模式1基于填充模式需要基于上下文推断填充逻辑缺口2基于预测模式需要根据给定的条件比如指令扩展推理链。6.3 LLM辅助视觉推理从训练方法上分为两种方式1无需训练直接使用提示词2通过模型微调。从功能上分为三种1LLM作为控制器2LLM作为决策者3LLM作为语义提炼者根据不同需求发挥LLM强大的语义能力。挑战和未来方向上下文长度限制包括长视频等对应更复杂的指令比如指令跟随能力M-ICL、M-CoT技术改进基于MLLM的具身智能Agent解决模型安全问题如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。大模型入门到实战全套学习大礼包1、大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通2、大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。3、AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。4、大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。5、大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。适用人群第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】