大模型的“大脑”是如何构造的？深度拆解语义建模的三种典型架构

为什么ChatGPT能和你流畅对话而BERT却不行大模型是如何理解并表达人类语言的“隐含语义”的今天我们一次性把这个问题讲透。当我们谈论大模型时我们究竟在谈论什么是海量的参数还是惊人的算力其实归根结底我们在谈论一件事模型如何理解并表征语言的“语义”。如果你曾经好奇过为什么GPT系列能像话痨一样写文章而BERT在生成任务上却像个“哑巴”那么恭喜你你已经触及了大模型最核心的设计哲学。今天我们就来深度拆解大模型语义建模的演进历程以及目前主流的三种典型架构。这不仅是一堂技术科普课更是一次关于“设计选择”的深度思考。一、 语义表征的“进化论”从词袋到ChatGPT在探讨大模型之前我们需要先理清一个概念语义表征是怎么算出来的学术界通常将其划分为四个阶段这其实也是一部微缩的AI发展史。1. 特征工程阶段词袋模型这是最原始、最暴力的方法。我们把文本看作一个装满词的袋子只关心词是否出现完全不关心词的顺序和关系。缺点“苹果好吃”和“好吃苹果”在它眼里是一样的。它懂统计但不懂语义。2. 浅层表征阶段Word2Vec这是里程碑式的突破。Word2Vec通过神经网络将每个词映射成一个稠密的向量比如“国王” - “男人” “女人” ≈ “女王”。核心贡献让词语拥有了“数学意义”语义相似性可以通过向量距离来衡量。但它依然是静态的一个词只有一个固定的向量无法解决一词多义的问题比如“苹果”是水果还是手机。3. 深层表征阶段BERT基于Transformer的BERT模型彻底改变了游戏规则。它通过双向编码能够根据上下文动态地生成词向量。核心贡献解决了“一词多义”。模型终于能理解“他咬了一口苹果”和“他买了一个苹果”中“苹果”的不同含义。4. 大模型表征阶段ChatGPT以GPT系列为代表它不仅继承了BERT的“深度”更在“广度”参数量和“数据量”上做到了极致。更重要的是它展现出了** emergent abilities涌现能力**——比如零样本推理和上下文学习。二、 大模型是怎么学会“说话”的——核心原理揭秘大模型的隐含语义是通过构建语言模型来学习的。这个过程就像“投喂”海量书籍给一个天才婴儿让他自己总结出语言的规律。那么语言模型到底在学什么简单来说就是根据前文预测下一个词。这被称为自回归语言模型可以形式化地表达为P(wᵢ | w₁, w₂, ..., wᵢ₋₁)意思是给定前面所有的词预测下一个最可能出现的词是什么。举个例子图1-9“我今天中午吃......” → 模型预测下一个词最有可能是“米饭”、“面条”或“汉堡”。在这个过程中隐含语义就藏在神经网络的隐藏层输出中。这些输出经过Softmax函数的归一化处理最终映射到词表上选出那个最合适的词。换句话说大模型的“理解”就是通过海量训练将世界的知识压缩到了模型的参数里。三、 大模型的两大“超能力”零样本与少样本当模型大到一定程度它展现出了一种神奇的能力不再需要针对每个任务进行繁琐的微调。这就是GPT-3带来的范式革命。1. 零样本推断直接上手干你不用给例子直接把问题扔给模型它就能回答。形式化表达P(y | x; Θ_origin)例子用户将以下句子从中文翻译成英文“训练大模型需要使用 GPU。”模型Training large language models requires the use of GPU.模型通过预训练已经把“翻译”这个语义任务内化到了参数里。2. 少样本推断上下文学习现学现卖你给几个例子模型一看就懂然后照着做。形式化表达P(y | example₁, example₂, ..., x; Θ_origin)例子用户苹果很美味。→ The apple is very nice.深度学习 → deep learning训练大模型需要使用 GPU。→模型Training large language models requires the use of GPU.这种方式被称为上下文学习。模型并不更新参数而是通过注意力机制理解你给的“示例”所隐含的“任务意图”然后应用到新的问题上。这个过程就是通过前向传播将问题编码进最后的隐藏状态然后逐步解码直到输出结束符。四、 三大典型架构拆解谁是真正的王者既然模型都是通过预测下一个词来学习那具体的实现架构又有何不同呢目前主要有三种它们的核心区别在于注意力机制和是否存在解码器。1. 纯编码器架构双向理解的巨人生成的矮子代表模型BERT工作原理基于掩码语言模型进行训练。它能同时看到一句话中某个词的前文和后文双向注意力从而对词义进行最精准的理解。优点在自然语言理解任务上表现卓越比如文本分类、情感分析、实体识别。因为它是双向的所以对上下文的理解最透彻。缺点生成能力天生偏弱。因为它天生就是用来“理解”而不是“续写”的。虽然可以通过改造让它生成但效果远不如专用模型。这也导致它在AIGC时代逐渐被冷落。适用场景需要深度理解语义的判别式任务。2. 编码器-解码器架构全面的多面手代表模型Google T5、GLM工作原理它结合了两家之长。编码器部分双向注意力负责理解输入文本将其编码成一种内部表示解码器部分单向注意力负责生成目标文本。优点理解和生成能力都比较强。它既能很好地理解复杂的源文本又能流畅地生成目标文本。在翻译、摘要等序列到序列的任务中表现优异。缺点结构相对复杂参数量通常较大训练和推理的开销也更大。适用场景需要同时兼顾理解和生成的综合性任务比如文本摘要、机器翻译。3. 纯解码器架构生成的王者大模型时代的宠儿代表模型GPT系列ChatGPT、Llama工作原理采用单向掩码的自回归语言模型。在预测下一个词时它只能看到当前词之前的词单向注意力。这正好契合了“根据上文续写下文”的生成逻辑。优点生成能力极其强大流畅且富有创造力。它的结构非常简洁便于 Scaling up扩大规模。目前的开源大模型绝大多数都采用这种架构因为它最能体现大模型的“涌现能力”。缺点对于某些需要“回头看”的复杂理解任务单向注意力理论上不如双向理解得透彻。但在超大规模的参数量下这一缺点似乎被数据量给“淹没”了。适用场景文本生成、对话、代码编写、故事创作等几乎所有生成式任务。架构对比图解析下图为了更直观地理解我们可以想象一下这三种模型在处理同一句话时的“视野”纯编码器BERT像一名侦探它在分析一个词比如“苹果”时会仔细阅读它前后的所有线索然后再做出判断。纯解码器GPT像一个作家它在写下一个词时只能回顾自己已经写下的内容但不能偷看未来会发生什么。编码器-解码器T5像一个翻译官它先仔细听完编码一整段中文然后才开始解码用英文复述出来。五、 为什么纯解码器成了最后的赢家这是一个很有意思的问题。既然BERT在理解上那么强为什么最后大家都跑去搞GPT了核心原因在于生成能力是通向通用人工智能的关键一步而纯解码器架构在“大”模型时代表现出了更强的扩展性和涌现能力。任务统一纯解码器架构将所有任务翻译、问答、写作都统一成了“文本续写”。这种简洁性使得训练过程无比高效。扩展性极佳其单向因果掩码的结构非常稳定更容易训练超大规模的模型。而编码器-解码器架构在扩展到千亿参数时稳定性挑战更大。涌现能力事实证明随着模型规模的增大纯解码器模型在理解任务上的表现也迎头赶上甚至超越了某些专用模型。它通过“内化”知识弥补了架构上的“理解劣势”。当然这并不意味着纯编码器或编码器-解码器架构就毫无用处。正如文中所说针对不同的问题只有根据其特性进行技术选型才能取得更好的结果。总结语义建模四阶段我们从词袋模型的“统计”走到了Word2Vec的“向量化”再到BERT的“动态理解”最终抵达大模型的“涌现智能”。学习方式大模型通过“预测下一个词”的自回归任务将语义和知识内化到海量参数中。使用方式大模型通过零样本和少样本上下文学习两种方式直接调用内化的知识完成任务无需微调。三大架构纯编码器双向视野理解专家但生成偏弱。编码器-解码器双向单向全面均衡结构复杂。纯解码器单向视野生成王者扩展性最强是当前大模型的主流选择。理解这三种架构你就抓住了理解整个大模型技术栈的钥匙。文章参考书籍百面大模型链接: https://pan.baidu.com/s/10mycZxNYbh1w63onscj4qA?pwdiqni 提取码: iqni