搜索广告算法工程师大模型学习--1.计划

大模型时代搜索广告算法专家理论与数学重构进阶计划前置约束与学习定调核心目标从传统 NLP 分类思维彻底向大模型生成式思维Generative与搜索广告业务思维Ranking/Retrieval转型。学习风格抛弃浅尝辄止拒绝实践调参。直击底层数学公式推导、模型架构差异与目标函数Loss设计。时间规划无强制时间表按“阶段目标”稳步推进。阶段一Transformer 及核心演进理论重构 焦点与目标找回 Transformer 的底层直觉并掌握大模型时代对原生 Transformer 的几项关键数学改造。理解为什么现在的模型长这样以及它们为了解决什么计算瓶颈。学习顺序与核心文献1. 原生 Transformer 的数学拆解核心关注Self-Attention 的Q K T / d k QK^T/\sqrt{d_k}QKT/dk​​缩放意义、FFN 层的升降维逻辑、Residual 与 LayerNorm 对梯度的影响。精读文献Attention Is All You Need (NeurIPS 2017)优质讲解The Illustrated Transformer (Jay Alammar) / 知乎翻译版图解 TransformerTransformer 的数学原理与公式推导知乎2. 位置编码的革命RoPE (Rotary Position Embedding)核心关注从绝对位置编码到相对位置的转换。理解欧拉公式e i θ e^{i\theta}eiθ在注意力机制中的旋转矩阵推导以及它如何保持平移不变性。精读文献RoFormer: Enhanced Transformer with Rotary Position Embedding (2021)优质讲解十分钟读懂旋转位置编码RoPE苏剑林 科学空间RoPE 旋转位置编码推导与图解知乎3. 显存优化与推理加速KV Cache 与 Attention 变体核心关注MHA (Multi-Head) - MQA (Multi-Query) - GQA (Grouped-Query)。理解 KV Cache 的显存占用计算公式2 × b × s × h × d 2 \times b \times s \times h \times d2×b×s×h×d。精读文献GQA: Training Generalized Multi-Query Attention Models from Checkpoints (2023)优质讲解大模型推理加速看懂 KV Cache 与 MQA/GQA知乎LLM 推理核心技术原理KV Cache 深入理解4. 激活函数与归一化的进化核心关注为什么用 SwiGLU 替代 ReLU (S w i s h ( x W ) ⊗ x V Swish(xW) \otimes xVSwish(xW)⊗xV)为什么用 RMSNorm 替代 LayerNorm去掉均值计算的数学考量。精读文献GLU Variants Improve Transformer (2020)优质讲解RMSNorm 与 LayerNorm 的对比及推导知乎大模型基础SwiGLU 激活函数详解阶段二通用大模型生态与架构演进 (General LLM Ecosystem) 焦点与目标深入四大主流模型Llama, Qwen, DeepSeek, GLM的底层差异。理解不同模型在架构、注意力机制优化、以及混合专家MoE技术上的不同数学选择。学习顺序与核心文献1. 架构标杆的演进轨迹Llama 体系 (仅查阅关键历史拐点)核心关注Llama 1 的开创性架构RoPE SwiGLU RMSNormLlama 2 的 GQA 引入Llama 3 的大规模数据配比与 Tiktoken 词表优化。精读文献LLaMA: Open and Efficient Foundation Language Models (Llama 1, 2023)The Llama 3 Herd of Models (Llama 3, 2024)优质讲解深入浅出 LLaMA 架构与论文精读知乎Llama 3 论文超硬核拆解它到底强在哪里知乎2. 阿里开源双壁Qwen 技术架构核心关注Qwen 的双词表设计多语言代码长文本 RoPE 外推机制YARN / Dynamic NTK-aware以及其 Dense 架构下的缩放定律Scaling Law。精读文献Qwen Technical Report (2023 最新版报告)优质讲解Qwen 架构与技术原理解析知乎专栏3. 极致性价比与创新DeepSeek (MoE 与 MLA)核心关注DeepSeekMoE 的架构原理共享专家 Shared Expert 细粒度路由Router 的 Load Balancing Loss 设计。DeepSeek-V2/V3 中的 MLA (Multi-head Latent Attention) 如何通过低秩投影Low-Rank Projection极大地压缩 KV Cache。精读文献DeepSeekMoE: Towards Ultimate Expert Specialization in MoE (2024)DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model (2024 - 关注 MLA 部分)优质讲解万字长文解析 DeepSeek MoE 与 Load Balancing (知乎)硬核推导DeepSeek-V2 MLA 到底是怎么压缩 KV Cache 的知乎4. 自回归与双向的折中GLM 架构 (ChatGLM/GLM-4)核心关注Autoregressive Blank Infilling 目标2D 位置编码机制。了解这种架构在长文本和特定任务上的理论优势。精读文献GLM-4 Technical Report (2024)阶段三对齐 (Alignment) 与推理强化 (Reasoning) 焦点与目标掌握模型如何从“续写机器”变成“听指令的助手”甚至“推理专家”。吃透 RLHF、DPO 的损失函数推导以及 DeepSeek-R1 带来的纯强化学习GRPO数学范式。学习顺序与核心文献1. 奖励模型与传统强化学习RLHF 体系核心关注Bradley-Terry 模型奖励函数的数学定义P ( y w y l ) σ ( r ( y w ) − r ( y l ) ) P(y_w y_l) \sigma(r(y_w) - r(y_l))P(yw​yl​)σ(r(yw​)−r(yl​))PPOProximal Policy Optimization的 Actor-Critic 架构与 KL 散度约束项。精读文献InstructGPT / Training language models to follow instructions with human feedback (2022)优质讲解强化学习 RLHFInstructGPT 论文硬核解析知乎ChatGPT 技术原理解析PPO 算法与 KL 惩罚项推导2. 损失函数的数学优雅DPO (Direct Preference Optimization)核心关注DPO 如何通过数学推导解方程将复杂的 PPO 目标直接转化为针对 LLM 的二分类交叉熵 Loss。掌握 DPO Loss 公式推导过程这是目前最常用的对齐方法。精读文献Direct Preference Optimization: Your Language Model is Secretly a Reward Model (2023)优质讲解DPO (Direct Preference Optimization) 数学推导与直觉解析知乎RLHF 终结者深入理解 DPO 损失函数科学空间3. System 2 思考与纯 RL 范式突破DeepSeek-R1 与 GRPO核心关注无需 SFT完全依靠规则驱动的强化学习。掌握 GRPO (Group Relative Policy Optimization) 的公式计算如何通过同一 Prompt 采样多个输出计算相对 Advantage (归一化)从而省去 Critic 模型的显存开销。精读文献DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (2025)优质讲解DeepSeek-R1 论文精读GRPO 算法核心公式推导知乎 (注需关注最新的 DeepSeek R1 算法解析文章)告别 Critic 模型GRPO (Group Relative Policy Optimization) 原理解读 (基于 DeepSeekMath)阶段四搜索广告核心漏斗与生成式大模型前沿 焦点与目标深入理解搜索广告搜推广的漏斗体系召回-粗排-精排-机制。从传统的点击率预估CTR架构过渡到大模型时代 Generative Retrieval生成式召回的前沿数学范式。学习顺序与核心文献1. 经典广告系统的基石与漏斗核心关注双塔模型Dual-Tower中的内积计算与 ANN (近似最近邻) 的数学边界。特征交叉的演进DCN 的x l 1 x 0 x l T w l b l x l x_{l1} x_0 x_l^T w_l b_l x_lxl1​x0​xlT​wl​bl​xl​。精读文献Deep Neural Networks for YouTube Recommendations (2016 双塔启发)Deep Cross Network for Ad Click Predictions (DCN, 2017)优质讲解YouTube DNN 经典论文与双塔模型原理解析知乎特征交叉系列DCN (Deep Cross Network) 原理推导2. 用户行为序列与注意力机制核心关注DIN 提出时的背景。Target Attention 如何通过目标广告 (Target Ad) 对用户的历史点击序列计算 Attention实现千人千面的表示表示精读文献Deep Interest Network for Click-Through Rate Prediction (DIN, 2018)优质讲解阿里妈妈 CTR 预估经典DIN 论文精读与 Attention 机制知乎3. 【前沿核心】大模型在召回层的革命Generative Retrieval核心关注彻底颠覆“双塔ANN”的检索范式。Item ID 如何被 Token化Semantic IDRQ-VAE 在其中的离散表征作用。自回归模型如何直接计算P ( I t e m ∣ U s e r , C o n t e x t ) P(Item | User, Context)P(Item∣User,Context)TIGER 与 GR4AD 的 LazyAR 机制推导。精读文献TIGER: Transformer Index for GEnerative Recommenders (2023, 奠基之作)Generative Retrieval for Ad Generation and Recommendation (GR4AD, 腾讯等 2024)优质讲解推荐系统新范式生成式召回 (Generative Retrieval) 原理剖析知乎深入浅出 RQ-VAE 与 Semantic ID 在生成式推荐中的应用4. LLM for CTR 预估精排/重排核心关注LLM 在精排中的局限性时延问题。大模型如何处理纯表格类特征Tabular Data。位置偏差Position Bias在 LLM Prompt 中的表现与消除。大模型到小模型Teacher - Student的 Knowledge Distillation知识蒸馏在工业界的应用数学考量。延伸查阅 (可选)搜索 “LLM for CTR prediction survey” 获取最新的综述了解工业界目前的通用架构模式。