智能体学习16——学习与适应（Learning-and-Adaptation）-深入解读

文章目录学习与适应Learning and Adaptation- 深入解读一、PPO vs DPO vs GRPO vs DAPO对齐算法四兄弟1.1 为什么需要对齐1.2 PPO 深入两步走的老大哥第一步训练奖励模型RM第二步PPO 优化 LLM核心数学裁剪ClippingPPO 的问题1.3 DPO 深入一步到位的捷径核心洞察DPO 的数学魔法DPO 的问题1.4 GRPODeepSeek 的性价比之王工作流程数学表达GRPO 的优势1.5 DAPO最新的改进20251.6 四算法对比总结1.7 实战示例统一场景对比PPO 示例有裁判的比赛DPO 示例老师直接说哪个好GRPO 示例同学之间互相比DAPO 示例一边练特长一边不丢基本功记忆口诀1.8 选型建议二、SICA 深入自我改进的递归2.1 SICA vs 传统方法的本质区别2.2 实验数据原文核心结果2.3 三个关键发现2.4 工具进化的六个阶段详细2.5 SICA 的安全性设计详解安全层1Docker 容器隔离安全层2异步监督者Asynchronous Overseer安全层3可观测性2.6 SICA 的局限性三、AlphaEvolve 深入LLM 进化的威力3.1 AlphaEvolve vs SICA本质区别3.2 AlphaEvolve 的两阶段架构阶段一广泛探索Gemini Flash阶段二深度优化Gemini Pro3.3 三种反馈机制3.4 实际成果详解3.5 AlphaEvolve 的关键设计哲学四、OpenEvolve 深入开源的进化框架4.1 OpenEvolve vs AlphaEvolve4.2 进化策略详解4.3 OpenEvolve 的配置示例五、三种自我改进系统的深度对比六、与实际工作的联系作为测试开发工程师这些概念怎么用与前几章的联系学习与适应Learning and Adaptation- 深入解读一、PPO vs DPO vs GRPO vs DAPO对齐算法四兄弟1.1 为什么需要对齐LLM 学会了说话但说的内容不一定符合人类期望。对齐就是让模型说人话、办人事。预训练模型 → 会生成文本但可能有害/不相关/不遵循指令 ↓ 对齐 对齐后模型 → 遵循指令、安全、有帮助1.2 PPO 深入两步走的老大哥第一步训练奖励模型RM人类标注响应A 响应B 响应C ↓ 训练一个打分模型RM(响应A) 0.9, RM(响应B) 0.6, RM(响应C) 0.2第二步PPO 优化 LLMLLM 生成响应 → RM 打分 → PPO 更新 LLM 参数 → 生成更高分的响应核心数学裁剪Clipping# 简化版 PPO 目标函数rationew_policy/old_policy# 新策略 vs 旧策略的比值clipped_ratioclip(ratio,1-ε,1ε)# 限制在 [0.8, 1.2] 范围内# 取较小值防止更新过大objectivemin(ratio*advantage,clipped_ratio*advantage)直觉想象你在调水温PPO 说每次只能转一点点别一下从冷水转到开水。ε 就是每次最多转多少的限制。PPO 的问题训练不稳定超参数敏感需要同时维护 4 个模型LLM RM 两个参考模型显存占用巨大奖励模型可能被骗Reward HackingLLM 学会生成奖励模型给高分但人类不喜欢的响应1.3 DPO 深入一步到位的捷径核心洞察PPO 的奖励模型只是一个中间步骤能不能跳过它PPO人类偏好 → 奖励模型 → PPO优化LLM DPO人类偏好 → 直接优化LLM数学上等价但省掉奖励模型DPO 的数学魔法# PPO 的目标可以重写为经过数学推导L_DPO-log σ(β*(log π_θ(y_w|x)-log π_ref(y_w|x)-log π_θ(y_l|x)log π_ref(y_l|x)))# 其中# y_w 人类偏好的响应win# y_l 人类不喜欢的响应lose# π_θ 当前策略要优化的 LLM# π_ref 参考策略冻结的原始 LLM# β 温度参数控制偏离参考策略的程度直觉DPO 直接告诉 LLM人类喜欢这个、不喜欢那个不需要中间打分。就像教小孩不需要先让他理解为什么好直接告诉他这样做是对的。DPO 的问题简单场景表现好复杂场景不如 PPO数据质量极其敏感错误标注直接学歪没有探索机制只能在已有偏好数据上优化无法发现新的好响应1.4 GRPODeepSeek 的性价比之王GRPOGroup Relative Policy Optimization是 DeepSeek 在 2024 年提出的去掉了奖励模型用组内相对排名代替。PPO需要奖励模型打分 → 昂贵、复杂 GRPO生成一组响应 → 互相比较排名 → 不需要奖励模型工作流程1. 给 LLM 一个问题 2. 让 LLM 生成 G 个不同的响应比如 G16 3. 对每个响应计算奖励用规则/启发式方法不需要神经网络 4. 在组内标准化每个响应的奖励减去组均值除以组标准差 5. 用标准化后的相对优势更新 LLM数学表达# 组内标准化advantages_i(reward_i-mean(rewards))/std(rewards)# 相对优势更新类似 PPO 但不需要 CriticL_GRPOE[1/G*Σmin(ratio_i*advantage_i,clip(ratio_i,1-ε,1ε)*advantage_i)]直觉考试不看你考了多少分看你在班里排第几。即使全班都考了 90 分以上你考 95 依然是好学生。GRPO 的优势不需要奖励模型省掉最大的训练成本不需要 Critic 模型进一步降低显存训练效率高DeepSeek-V3 就是用 GRPO 训出来的实现简单PPO 代码量的 1/31.5 DAPO最新的改进2025DAPODecoupled Clip and Dynamic Sampling在 GRPO 基础上做了两个关键改进改进一解耦裁剪传统 GRPO一个裁剪函数同时处理保持策略不变和提升好策略 DAPO把两个目标分开裁剪 - 负优势差的响应强制降低概率不受裁剪限制 - 正优势好的响应正常裁剪防止过大更新 效果减少差的响应没被充分抑制的问题改进二动态采样训练前期采样温度高生成多样化的响应探索 训练后期采样温度低生成高质量的响应利用 效果前期充分探索后期精细化提升1.6 四算法对比总结特性PPODPOGRPODAPO需要奖励模型✅❌❌❌需要 Critic✅❌❌❌训练复杂度最高低中中显存占用最大最小中中探索能力强弱中强数据需求在线生成离线偏好对在线生成在线生成代表模型ChatGPTZephyrDeepSeek-V3最新研究适用场景追求极致效果数据充足时性价比优先最新前沿研究提出方OpenAIStanfordDeepSeek2025 学术界1.7 实战示例统一场景对比场景让模型学会礼貌、有帮助、不乱编假设我们有一批用户问题以及人类标注员标注的好回答和差回答。PPO 示例“有裁判的比赛”用户问杭州明天天气怎么样 模型A回答杭州明天晴25度。 → 奖励模型打分0.8 模型B回答我不知道。 → 奖励模型打分0.2 模型C回答杭州明天会下陨石。 → 奖励模型打分-0.5 PPO更新让模型以后更倾向生成类似A的回答关键点需要先训练一个奖励模型裁判再让 LLM 追逐高分。训练时需要 4 个模型同时跑策略模型、参考模型、奖励模型、评论模型成本最高。DPO 示例“老师直接说哪个好”用户问帮我写一首诗 好回答春风拂柳绿如烟细雨润花红欲燃。 ← 标注为优选 差回答诗我不会写滚。 ← 标注为淘汰 DPO直接训练让模型生成好回答的概率 ↑生成差回答的概率 ↓关键点跳过奖励模型直接用偏好数据对训练。一个模型搞定训练代码量减少 50%。但数据质量差时效果会打折扣。GRPO 示例“同学之间互相比”用户问解释量子纠缠 模型生成16个回答 回答1量子纠缠是... → 规则打分85长度适中、准确 回答2就是两个粒子... → 规则打分60太简短 ... 回答16不知道 → 规则打分10 GRPO在16个回答中计算相对排名高分回答被强化低分回答被抑制关键点不需要奖励模型用规则打分就行比如数学题直接判断对错。考试不看你考了多少分看你在班里排第几。DeepSeek-Math 就是用 GRPO 训出来的。DAPO 示例“一边练特长一边不丢基本功”训练批次1对齐数据 用户讲个笑话 → 模型要学会讲有趣的笑话对齐目标 训练批次2通用数据 22 → 模型仍然要答4能力保持目标 DAPO的关键两个目标解耦不会因为对齐训练导致225关键点解决对齐税Alignment Tax问题——模型对齐后变笨。把对齐和能力保持分开处理用不同的学习率和权重。记忆口诀PPO 有裁判的比赛需要奖励模型打分 DPO 老师直接说哪个好跳过裁判直接学偏好 GRPO 同学之间互相比组内PK用排名训练 DAPO 一边练特长一边不丢基本功边对齐边保能力1.8 选型建议你是谁你要做什么 │ ├─ 大公司追求 SOTA资源充足 → PPO ├─ 有大量高质量偏好对数据 → DPO ├─ 中等资源想要高性价比 → GRPO ⭐推荐 └─ 追求最新效果愿意折腾 → DAPO二、SICA 深入自我改进的递归2.1 SICA vs 传统方法的本质区别传统方法ADAS等 元智能体Meta-Agent→ 修改 → 目标智能体Target-Agent 问题元智能体本身是固定的不会改进 SICA 同一个智能体 → 既执行任务又改进自己 优势改进循环没有上限理论上可以无限进化类比传统方法 老师改学生的作业但老师自己的教学水平不变SICA 学生自己做作业、自己批改、自己改进学习方法然后做更好的作业2.2 实验数据原文核心结果基准测试初始准确率最终准确率提升幅度SWE Bench Verified17%53%36%文件编辑82%94%12%符号定位76%89%13%LiveCodeBench有提升有提升具体数据未公开AIME数学推理接近天花板无明显提升基础模型瓶颈GPQA科学推理接近天花板无明显提升基础模型瓶颈2.3 三个关键发现发现一改进的不是模型权重而是脚手架❌ 不是这样SICA 修改 LLM 的权重参数 ✅ 而是这样SICA 修改自己的代码工具编排、文件管理、问题分解策略 这意味着即使基础 LLM 不变通过改进使用 LLM 的方式也能大幅提升效果发现二推理密集型任务收益有限当基础 LLM如 o3-mini在 AIME/GPQA 上已经接近天花板时 SICA 的脚手架改进帮助不大。 原因推理任务的瓶颈在模型本身的思考能力而不是工具使用方式发现三工具使用可能干扰推理在某些纯推理任务上加入工具步骤反而降低了性能。 原因工具调用引入了额外的中间步骤 可能打断了 LLM 内部的推理链Chain of Thought 启示需要更精细的何时调用工具策略而不是盲目加工具2.4 工具进化的六个阶段详细阶段1SimpleOverwriter简单覆盖器 - 整个文件替换 - 问题容易丢失不相关代码 阶段2SmartEditor智能编辑器 - 上下文感知编辑 - 只修改相关部分 - 进化动机覆盖器丢失太多代码需要更精确的修改 阶段3DiffEnhancedSmartEditor差异增强编辑器 - 结合 diff 格式 - 更精确的修改范围 - 进化动机智能编辑器有时修改范围过大 阶段4MinimalDiffOutputOptimizer最小差异优化器 - 利用 AST抽象语法树解析 - 只输出最小必要的修改 - 进化动机减少 diff 的大小节省 token 阶段5ASTSymbolLocatorAST 符号定位器 - 利用代码结构定位函数/类定义 - 不再依赖文本搜索 - 进化动机文本搜索在大型代码库中不够精确 阶段6HybridSymbolLocator混合符号定位器 - 快速文本搜索 AST 验证 - 兼顾速度和准确性 - 进化动机AST 解析较慢先用文本搜索缩小范围再用 AST 验证核心洞察这六个阶段不是人类设计的而是 SICA 自己进化出来的。智能体发明了更好的工具来改进自己——这就是递归自我改进的本质。每一次工具进化都是为了解决上一代工具的不足形成了一个正反馈循环。2.5 SICA 的安全性设计详解安全层1Docker 容器隔离SICA 运行在专用 Docker 容器内 ├── 文件系统隔离不能访问宿主机文件 ├── 网络隔离不能访问外部网络可选配置 └── 资源限制CPU、内存、磁盘都有上限安全层2异步监督者Asynchronous Overseer主智能体 ←→ 异步监督者另一个 LLM并行运行 │ ├── 接收调用图Call Graph 事件流Event Stream ├── 检测循环模式死循环、停滞模式无进展、偏离模式跑偏 └── 行动发送警告 / 强制终止执行为什么需要异步因为如果监督者和主智能体串行运行主智能体卡死时监督者也无法运行。并行运行确保监督者始终醒着。安全层3可观测性交互式网页界面 ├── 事件总线Event Bus记录所有工具调用和结果 ├── 调用图Call Graph可视化子智能体之间的调用关系 └── 实时监控随时查看智能体在做什么2.6 SICA 的局限性局限原因影响推理任务效果有限基础 LLM 接近天花板不适合纯数学/逻辑任务改进幅度递减越改越好提升空间越小存在改进天花板依赖基础 LLM底层模型能力决定上限换更强的 LLM 才能突破安全风险自我修改可能引入 bug需要严格的回滚机制计算成本高每轮改进都要跑基准测试不适合资源有限的环境三、AlphaEvolve 深入LLM 进化的威力3.1 AlphaEvolve vs SICA本质区别SICA改进自己的代码自我修改 AlphaEvolve发现新的算法/解决方案外部发现类比SICA 一个程序员改进自己的编程工具AlphaEvolve 一个科学家发现新的数学定理3.2 AlphaEvolve 的两阶段架构阶段一广泛探索Gemini FlashGemini Flash快速、便宜 ├── 并行生成大量候选方案100-1000个 ├── 自动评估系统打分 └── 筛选出 Top-K 进入下一阶段为什么用 Flash因为探索阶段需要数量不需要质量。Flash 速度快、成本低适合大量生成。阶段二深度优化Gemini ProGemini Pro慢、贵、但更强 ├── 分析 Top-K 方案的成功/失败原因 ├── 生成改进方案 ├── 再次评估 └── 迭代直到收敛为什么用 Pro因为优化阶段需要深度推理Pro 的推理能力更强。3.3 三种反馈机制1. 用户提供的评估函数User-provided → 最可靠但需要人工定义评估标准 2. LLM 生成的评估LLM-generated → 用于某些特性难以精确量化的场景 → 例如代码可读性、算法优雅度 3. 进化式反馈Evolutionary → 基于历史表现动态调整搜索策略 → 哪些变异策略在过去有效多用这些3.4 实际成果详解领域具体成果意义数据中心优化全球算力资源使用降低 0.7%看似很小但 Google 级别的数据中心节省数亿美元TPU 硬件设计Verilog 代码优化芯片设计的特定环节被 AI 优化Gemini 内核核心计算提速 23%AI 优化了自身的运行效率递归FlashAttentionGPU 指令优化 32.5%加速了广泛使用的注意力机制实现矩阵乘法4×4 复数矩阵仅需 48 次标量乘法超越人类数学家的最优解开放数学问题75% 重新发现最优解20% 实现突破在已知难题上有新发现3.5 AlphaEvolve 的关键设计哲学传统优化人类设计算法 → 人类分析 → 人类改进 AlphaEvolveLLM 生成算法 → 自动评估 → LLM 分析反馈 → 生成更好的算法 ↑ ↑ 客观标准 LLM 的理解核心创新不是让 LLM 直接解决问题而是让 LLM 进化出解决问题的算法。问题可能很难但如何找到解决问题的算法是一个更高级的元问题LLM 擅长这个。四、OpenEvolve 深入开源的进化框架4.1 OpenEvolve vs AlphaEvolveAlphaEvolveGoogle 内部闭源绑定 Gemini OpenEvolve开源支持多种 LLM通用代码优化4.2 进化策略详解1. 种群初始化 ├── 从种子程序开始 └── 用 LLM 生成初始变体代码 mutation 2. 选择Selection ├── 根据评估函数打分 ├── 保留 Top-K精英保留 └── 淘汰表现差的变体 3. 交叉Crossover ├── 将两个好的变体的优点组合 └── LLM 负责理解哪些部分可以组合 4. 变异Mutation ├── LLM 对选中的程序进行随机修改 └── 变异幅度随训练进程调整前期大、后期小 5. 评估Evaluation ├── 并行运行评估Evaluator Pool └── 支持多目标优化正确性 速度 内存4.3 OpenEvolve 的配置示例# config.yamlevolution:population_size:50# 种群大小elite_count:5# 精英保留数量mutation_rate:0.3# 变异概率crossover_rate:0.5# 交叉概率max_iterations:1000# 最大迭代次数evaluation:parallel_workers:8# 并行评估进程数timeout:60# 每次评估超时秒objectives:# 多目标-name:accuracyweight:0.5-name:latencyweight:0.3-name:memoryweight:0.2llm:model:gpt-4# 使用的 LLMtemperature:0.7# 生成温度max_tokens:4096# 最大生成 token 数五、三种自我改进系统的深度对比维度SICAAlphaEvolveOpenEvolve改进对象自身源代码外部算法外部程序改进方式自我修改LLM 进化算法LLM 进化框架评估方式基准测试自动评估系统自定义评估函数LLM 角色修改者 执行者探索者 优化者变异器进化机制版本迭代种群进化种群进化安全措施Docker 异步监督者未详述未详述开源✅ GitHub❌ Google 内部✅ GitHub基础 LLMo3-miniGemini Flash Pro可配置适用场景智能体自身进化数学/算法发现通用代码优化核心创新递归自我改进两阶段探索-优化多 LLM 多目标进化六、与实际工作的联系作为测试开发工程师这些概念怎么用概念测试开发应用PPO/DPO/GRPO理解 AI 测试工具如 AI 生成测试用例背后的训练原理SICA 的自我改进类比自动化测试框架的自我优化根据历史测试结果自动改进测试策略工具进化测试工具链的演进从手动 → 自动化 → AI 辅助 → AI 自主异步监督者测试监控系统实时检测测试异常、超时、失败率飙升Docker 隔离测试环境的容器化隔离防止测试影响生产环境AlphaEvolve 的评估驱动测试用例的自动生成和优化评估 → 反馈 → 改进与前几章的联系模式与学习适应的关系记忆管理Ch8长期记忆存储学习成果基于记忆的学习依赖记忆系统反思Ch4反思是学习的基础机制评估自身输出并改进工具使用Ch5SICA 通过工具修改代码工具能力决定改进范围多智能体Ch7SICA 的子智能体架构是多智能体协作的应用异常处理Ch12异步监督者检测异常行为防止学习过程失控规划Ch6SICA 的自我改进循环本质是一个持续规划过程