从工程视角学习LLM的训练与推理

1. 核心心智模型先说核心LLM 说白了就做一件事——根据前文预测下一个 token其他一切都是围绕让这个预测更准、更快、更有用来设计的。流程是这样的文本 → Token → Embedding → Transformer → 概率 → Token2. 分词Tokenization与 Embedding在内容进入模型之前文本首先被转换为 token。Token 是用整数 ID 表示的子词或字符。Token 再被映射为 embedding即稠密向量。这些向量承载语义信息是模型的真实输入。从工程角度看Token 数量直接影响成本和延迟更好的分词方式能提升代码和推理任务的表现3. 位置编码RoPETransformer 默认不理解顺序。如果打乱词语顺序模型没有位置信息的话会一视同仁。RoPE旋转位置编码Rotary Positional Encoding通过在向量空间中旋转来编码相对位置解决了这个问题。它不是把位置作为单独信号添加进去而是让 embedding 向量根据位置发生旋转。为什么这很重要能够捕捉 token 之间的距离关系对长上下文有更好的泛化能力被 LLaMA 等现代模型采用**工程洞察**RoPE 让模型理解的是 token 有多远而不只是它们的绝对位置。4. Self-AttentionTransformer 的核心机制每个 token 都会查看其他所有 token然后决定哪些是重要的。数学上Attention 计算 token 之间的相似度并用这个相似度来聚合信息。直观的理解**Query查询**问一个问题**Key键**每个 token 包含什么信息**Value值**实际要用的信息模型计算每个 token 应该关注其他 token 多少然后聚合相关信息。5. Causal Attention生成能力从哪里来在生成任务中模型不应该看到未来的内容。Causal Attention因果注意力确保每个 token 只能看到之前的 token。这使得模型成为自回归的即一次生成一个 token。没有因果掩码的话模型会作弊偷看后面的内容。6. 多头注意力及其变体不用单一注意力机制Transformer 用的是多头注意力。多头注意力MHAMulti Head Attention每个头学习不同的关系——句法、语义、长距离依赖。这提升了表示能力。多查询注意力MQAMulti Query Attention所有头共享 Keys 和 Values。好处是减少内存使用、加快推理。分组查询注意力GQAGrouped Query Attention头被分组每组共享 Keys 和 Values。在性能和效率之间取得平衡。从工程角度看MHA 强大但重量级MQA 和 GQA 是为生产优化的7. Transformer Block模型的基础积木Transformer 由多个 Block 堆叠而成。每个 Block 包含Attention 层前馈网络FFN残差连接层归一化流程输入 → Attention → 残差 → Norm → FFN → 残差 → Norm**残差连接**把层的输入加到输出上。这稳定了训练允许网络更深。**层归一化**把激活值归一化保持训练稳定。8. 前馈网络与 SwiGLUAttention 之后每个 token 经过前馈网络。这里是每个 token 独立进行计算的地方。现代模型用 SwiGLU 激活函数替代 ReLU。为什么 SwiGLU 重要更好的梯度流动更好的表现更具表达力的变换从工程角度看Attention 负责收集信息FFN 负责处理信息。9. 训练从数据到智能训练从预训练开始。预训练目标是预测下一个 token在海量数据集上用交叉熵损失来做。模型学到的是语言结构、事实、模式、基本推理。训练挑战包括分布式系统、GPU 利用率、数据质量、内存限制。更好的数据往往比更大的模型更重要。10. 微调与对齐把模型塑形成产品预训练之后需要对模型进行塑形。监督微调SFTSupervised Fine Tuning在指令-响应对上训练。教的是格式、风格、行为。指令微调Instruction Tuning让模型接触多种任务提升泛化能力。对齐方法**RLHF**使用人类反馈和强化学习**DPO**直接学习偏好响应 vs 拒绝响应**GRPO**通过比较组内多个输出来学习核心观点对齐塑造行为不塑造知识。11. 参数高效微调更省资源地训练全量微调成本很高。LoRA在冻结基础模型的同时添加小的可训练矩阵。好处低内存使用、快速训练。QLoRA结合 LoRA 和量化在小硬件上训练大模型。12. 量化让模型真正可部署量化把精度降低来节省内存。格式有 FP16、INT8、INT4。好处是更低的内存占用、更快的推理。代价是轻微的精度损失。常用方法GPTQ、AWQ、QLoRA。量化对生产系统至关重要。13. 推理系统真正跑起来的地方推理是所有东西跑起来的地方。循环输入 → 预测 token → 追加 → 重复KV Cache存储中间值以避免重复计算。减少计算但增加内存使用。FlashAttention通过减少内存移动来优化注意力计算。PagedAttention用固定大小的内存块管理 KV Cache。防止碎片化提升效率。连续批处理Continuous Batching动态处理请求最大化 GPU 利用率。投机解码Speculative Decoding用小模型来加速生成。14. 解码策略模型输出概率解码策略把它们转换为 token。选项Greedy、Sampling、Top k、Top p、Temperature。这些控制创造性和确定性。15. 推理模型为什么更会“想”推理模型生成中间步骤。技术思维链Chain of Thought、自洽性Self Consistency、工具使用Tool Use。权衡更好的准确性更高的成本和延迟。16. 训练工具与实战技术栈工程师该用什么要作为工程师工作你需要工具。**Hugging Face**模型加载、训练 pipeline、数据集**Unsloth**更快的 LoRA 和 QLoRA 训练、更低的内存使用、优化内核**vLLM**高性能 LLM 推理、PagedAttention 高效管理 KV Cache、连续批处理更好吞吐、优化 GPU 利用率用于生产典型工作流加载基础模型应用 LoRA用 Unsloth 训练评估导出用于推理用 vLLM 部署17. 真正重要的工程洞察构建 LLM 系统必须理解权衡准确性 vs 延迟内存 vs 速度成本 vs 质量大多数实际工作都是关于平衡这些。18. 最终心智模型LLM 系统由多层组成模型层Attention、Transformer Block训练层预训练、微调、对齐系统层KV Cache、FlashAttention、PagedAttention、批处理优化层LoRA、量化作为工程师学习 LLM意味着超越理论。你需要理解Attention 如何工作模型如何训练行为如何对齐系统如何优化结语我最近在学习微调 LLM、分布式训练、推理模型和推理工程直到部署。后续文章会更多关于 LLM 工程和推理。我打算设计一个完整的 LLM 推理 pipeline 并在 公众号上更新。也许也不需要过于“神话”训练和推理过程也有ms-swift/VeRL这些套件就像Spring之于Java开发一样易用回头来发现最麻烦的其实是数据GPU可以租数据可租不来更买不了。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】