白话DeepSeek-R1论文（二）| DeepSeek-R1：AI “升级打怪”，从“自学成才”到“全面发展”！

最近有不少朋友来询问Deepseek的核心技术，今天开始陆续针对DeepSeek-R1论文中的核心内容进行解读，并且用大家都能听懂的方式来解读。这是第二篇趣味解读。

DeepSeek-R1：AI “升级打怪”，从“自学成才”到“全面发展”！

还记得我们上次聊到的 DeepSeek-R1-Zero 吗？ 那位纯靠“强化学习”就顿悟推理技能的 AI 奇才，是不是让你眼前一亮？ 但就像 “偏科” 的天才，R1-Zero 虽然推理能力惊艳，但在实际应用中还有些“小瑕疵”，比如说话有点“口齿不清”（语言混合），推理过程也像个“黑箱”，让人摸不着头脑。

为了让这位“推理天才”更实用、更接地气，DeepSeek 团队又推出了它的“升级版” —— DeepSeek-R1！ 这次，R1 不再是“闭门苦修”，而是“内外兼修”，就像学生从“自学”走向“系统学习”，能力更全面，表现更出色！

R1 的 “升级秘籍”： 冷启动数据 + 多阶段训练

如果说 R1-Zero 是“野蛮生长”，那么 R1 就是“精雕细琢”。 为了让 R1 更好用，研究人员给它准备了 “冷启动数据”，就像给孩子 “打好基础”，还设计了 “多阶段训练”，让它一步一个脚印，稳扎稳打地提升能力。

1. “冷启动数据”： 老师傅带入门，起跑线就领先！

想象一下，你想学一门新技能，是自己摸索着来，还是先找个老师傅带你入门？ 肯定是有老师傅指导，上手更快，方向更准！ DeepSeek-R1 的 “冷启动数据” 就相当于这位 “老师傅”。

研究人员精心准备了 少量但高质量的数据，里面包含了 人类专家编写的“思考链条”（CoT）样本。 这些样本就像“教科书”里的例题，一步步展示了如何进行高质量的推理。 通过学习这些 “例题”，R1 就好像 提前获得了推理的 “正确姿势”，不再像 R1-Zero 那样完全 “盲人摸象” 了。

举个例子： 就像教 AI 解数学题， “冷启动数据” 会告诉它： “遇到几何题，先画图；遇到应用题，先分析题意…” 这些都是人类总结出来的宝贵经验，能帮助 AI 更快地理解和掌握推理的 “套路”。

2. “多阶段训练”： 循序渐进，步步为营，打造全能 AI

光有 “入门指导” 还不够，想要成为高手，还需要系统地训练！ DeepSeek-R1 采用了 “多阶段训练” 策略，就像学生要经历小学、中学、大学等不同阶段的学习，逐步提升能力。 R1 的训练过程也分为四个阶段：

• 阶段一： “打基础” - 冷启动 SFT

  这个阶段就像 小学阶段，目标是 “入门”。 R1 使用前面提到的 “冷启动数据”，通过 监督微调 (SFT) 的方式，让模型 初步具备推理能力，并且让它的回答更流畅易懂。 就像小学生先学习基础的加减乘除和简单的语言表达。

• 阶段二： “攻难题” - 推理导向的 RL

  进入 中学阶段，就要开始 “攻克难题” 了！ 这个阶段，R1 沿用了 R1-Zero 的 强化学习 (RL) 方法，但更加 专注于提升数学、代码、科学、逻辑推理等核心能力。 同时，还加入了 “语言一致性奖励”，就像老师 “纠正发音”， 减少 R1-Zero 出现的 “语言混合” 问题，让它说更 “地道” 的话。

  举个例子： 这个阶段就像让 AI 大量刷 “奥数题”、“编程题” 和 “科学难题”， 并根据答案的正确性获得奖励， 从而不断提升解题能力。 同时，如果它在中文回答中突然冒出英文单词，就会受到 “惩罚”， 促使它使用更纯粹的中文。

• 阶段三： “扩知识面” - 拒绝采样 + SFT

  到了 大学阶段，就要 “拓展知识面”， 学习更广泛的知识了！ 这个阶段，R1 利用 阶段二训练出的模型，自己生成了 海量的推理训练样本 (约 60 万个)。 这就像让学霸自己出题给自己做，进一步巩固和提升推理能力。 同时，还加入了 约 20 万个非推理数据 (例如写作、问答等)， 让 R1 不仅会 “解题”，还会 “写文章”、“回答问题”， 成为 “通才”。

  “拒绝采样” 是一种筛选机制，就像 “优中选优”， 模型会生成很多答案，然后挑选出质量更高的答案进行学习， 从而提高训练效率。

• 阶段四： “全面发展” - 全场景 RL

  最后，进入 “工作实习” 阶段， 要让 R1 “全面发展”，适应各种真实场景的需求！ 这个阶段，R1 使用 更多样化的奖励信号 (推理任务用 “规则奖励”，通用任务用 “人类偏好奖励”) 和 更多样化的提示，进行强化学习训练。 目标是让 R1 不仅 推理能力强，还 “有用” (helpful) 且 “无害” (harmless)， 真正成为一个可靠的 AI 助手。

  “人类偏好奖励” 就像让用户来 “打分”， 告诉 AI 哪些回答更符合人类的喜好， 哪些回答不够好， 从而让 AI 更懂 “人话”， 更贴近用户需求。

R1 的 “成绩单”： 实力全面提升，堪称 “学霸” ！

经过 “冷启动数据” + “多阶段训练” 的 “魔鬼训练”， DeepSeek-R1 的能力实现了质的飞跃！ 在各种 “考试” 中都取得了令人瞩目的成绩：

• 推理能力更上一层楼： 在 AIME 2024 数学竞赛中，R1 的 pass@1 得分高达 79.8%， 甚至 略超 OpenAI 最新的模型 gpt-4-0125！ 在更难的 MATH-500 数据集上，也达到了 97.3% 的 pass@1 得分， 与 gpt-4-0125 持平！ 这证明 R1 的数学推理能力已经达到了 世界顶尖水平！

• 代码能力突飞猛进： 在 Codeforces 代码竞赛 中，R1 的表现 超越了 96.3% 的人类参赛者！ 这意味着 R1 不仅能 “理解” 代码，还能 “创造” 代码， 解决复杂的编程问题！

• 知识面更广，更 “博学”： 在 MMLU、GPQA Diamond 等知识类任务中，R1 也表现出色， 说明它掌握了 更广泛的知识领域， 能够回答各种各样的问题。

• 开放生成能力更强，更 “会说话”： 在 AlpacaEval 2.0 和 ArenaHard 等开放式生成任务中，R1 也取得了显著提升， 这意味着它的 语言表达能力更强， 能生成更流畅、更自然的文本， 更像一个 “真人” 在和你交流。

总结： DeepSeek-R1， 从 “推理天才” 到 “全能学霸” 的华丽转身！

DeepSeek-R1 的出现， 再次证明了人工智能技术的巨大潜力。 它不仅继承了 R1-Zero 强大的推理能力， 还通过 “冷启动数据” 和 “多阶段训练” 等创新方法， 弥补了之前的不足， 实现了 能力上的 “全面开花”。 它就像一位 从 “偏科天才” 成长为 “全能学霸” 的学生， 不仅擅长 “解难题”， 还能 “写作文”、“搞科研”， 真正具备了在各种场景下 服务人类的能力。

点赞并关注“明哲AI”，持续学习和更新AI知识！