【AI学习】2024年末一些AI总结的摘录

看到不少的总结，边摘录边思考。尤其是这句话：“人类真正的问题是：我们拥有旧石器时代的情感、中世纪的制度和神一般的技术”。

22024生成模型综述

来自@爱可可-爱生活
2024年见证了AI领域的重大飞跃。从OpenAI的主导地位到Claude的异军突起，从xAI到中国的DeepSeek和Qwen，整个行业呈现出百花齐放的态势。让我们梳理2024年的关键进展，并展望2025年的研究方向。

大语言模型： 架构创新与扩展范式

• 译码器Transformer仍是主流架构，但MLA等创新正在改变注意力机制
• 专家混合（MoE）模型重回焦点，DeepSeek等团队在推动其发展
• 词元化方案正从BPE向基于字节的方案过渡，期待Meta继续深耕

推理能力： 新范式带来的质变

• OpenAI的o系列引领推理新范式，证明了推理时计算的价值
• 开源社区通过DeepSeek r1和Qwen QwQ成功复现
• 蒸馏技术让基础模型也能获得推理能力的提升

图像生成： 走向统一的底层架构

• Diffusion Transformer成为主流方案
• Flow Matching取代传统扩散成为训练框架首选
• 自回归方法展现新的可能性

多模态与智能体： 下一个前沿

• 视觉语言模型走向早期融合
• 全模态模型（Omni-Modal）成为新趋势
• 智能体在特定场景展现潜力，但仍面临成本挑战

展望2025，我们很可能将见证：

1. 更多自主研发的中国模型崛起
2. 训练效率和量化技术的突破
3. 视频生成等新领域的重大进展
4. 更完善的评估体系建设

正如DeepSeek CEO梁文峰所说：“在颠覆性技术面前，封闭源代码创造的护城河是暂时的。真正的护城河在于团队——在这个过程中成长、积累知识，形成能够持续创新的组织和文化。”

这段话道出了开源社区和创新团队的核心竞争力。2025年，让我们继续见证AI领域更多突破性的发展。

“The State of Generative Models”

nrehiew.github.io/blog/2024/

2024年大语言模型的关键突破与反思

来自@爱可可-爱生活

2024年是大语言模型（LLM）技术普及与深化的一年。让我们回顾这一年中最重要的发展与洞察。

突破GPT-4的技术壁垒

• 18家机构的70多个模型性能超越了2023年3月版本的GPT-4
• Google的Gemini 1.5 Pro带来200万token的超长上下文和视频理解能力
• Anthropic的Claude 3系列成为许多用户的首选工具
• 技术门槛从“不可及”变成“可复制”

模型效率与成本的显著提升

• 推理成本降低超过90%，GPT-4从每百万token $30降至$2.50
• 更高效的训练方法使单机就能运行强大模型
• 环保影响大幅改善，单次调用能耗可忽略不计
• DeepSeek用不到600万美元就训练出了顶级模型

多模态能力成为标配

• 视觉理解从稀缺变得普及
• 语音交互和实时视频分析展现科幻未来
• 多模态应用场景快速扩展
• 用户体验更自然、直观

值得关注的新趋势

• 推理优化型模型（如o1系列）开创新方向
• 合成数据训练效果超出预期
• 一键生成应用成为普遍功能
• 但“AI Agent”仍未实质突破

仍待解决的挑战

• 最强大模型重回付费时代
• 使用门槛不降反升
• 知识差距持续扩大
• 基础设施建设的环境影响令人担忧

反思与展望

• 需要更多负责任的批评和讨论
• 技术普及需要更好的教育和引导
• 既要看到价值，也要警惕风险
• 2025年或将是应用落地年

这一年的发展表明，大语言模型正在从“实验室奇迹”走向“实用工具”，但要充分发挥其价值，我们还需要更多思考和探索。

‘Things we learned about LLMs in 2024 - A review of the past twelve months in the world of Large Language Models’

为什么“AI Agents”还没有真正到来？

来自@爱可可-爱生活

这个热门概念背后，藏着一个尴尬的现实。

首先是定义的混乱。当人们谈论“Agent”时，究竟在说什么？有人认为它应该能替我们完成具体任务，有人则把它理解为配备工具的LLM循环系统。你甚至能找到211种不同的定义！这种概念的模糊性，让整个讨论充满了误解和混乱。

更深层的问题在于AI的“轻信性”。想象一下：一个无法分辨真假的助手，如何能真正地为我们做出可靠决策？Google Search最近就闹了个笑话——它认真地描述了一部根本不存在的《疯狂动物城2》，原来是把同人小说当真了。

这种“轻信”也导致了提示注入问题的持续存在。自2022年9月我们就开始讨论这个问题，但2024年已经过去，似乎仍未看到实质性的突破。

渐渐地，我们意识到：真正有用的AI Agent可能得等到AGI（通用人工智能）实现之后。因为要构建一个能准确辨别信息真假的模型，这个门槛实在太高了。

所以，当我们谈论“Agent即将到来”时，也许应该先问问自己：在解决这些根本性问题之前，我们期待的究竟是真实的未来，还是一个美好的幻想？

2024 AI Timeline：2024年AI模型发布全景图

来自@爱可可-爱生活

纵观2024全年AI领域的重磅产品规划，一个激动人心的创新图景正在展开。

第一季度的主角无疑是Stable Diffusion和Gemini系列。SD家族将专注于图像生成领域的突破，而Google的Gemini则剑指多模态理解的新高度。值得关注的是Claude系列也将在3月份带来重要更新。

第二季度迎来了重量级的GPT系列升级。同时，AI基础设施领域也将出现重要革新，DeepSpark和Fireworks等产品的发布，预示着AI计算效率的新突破。

下半年的亮点集中在专业化AI工具的爆发。从代码生成到音频处理，从搜索到数据分析，各个细分赛道都将迎来新玩家。特别是在内容创作领域，Pika、Nova等工具的出现，将为创作者带来全新可能。

纵观全年，我们能清晰看到三大趋势：

1. 通用大模型走向精细化升级
2. 垂直领域AI工具加速落地
3. 基础设施持续优化升级

这份路线图不仅是产品发布计划，更像是一幅AI技术演进的全景画卷。对于开发者和产品经理来说，这绝对是一份值得收藏的参考时间表。

‘2024 AI Timeline - a Hugging Face Space by reach-vb’

伯克利CS满GPA毕业生找不到工作

来自@@宝玉xp

伯克利CS满GPA毕业生找不到工作，主要原因还是21~22年各公司对线上业务增长需求误判导致疯狂扩招 by fin
原文：x.com/fi56622380/status/1873144135064142058

---

反H1B的这群MAGA从论据到论点都不靠谱，难怪musk会发飙

伯克利CS满GPA毕业生找不到工作，主要原因还是21~22年各公司对线上业务增长需求误判导致疯狂扩招，两年招人超过之前十年，Meta4万变8万，Google也接近翻倍，非常惊人

之后发现业务需求没那么大，就算裁员15%也还有大量冗余，没那么多业务增长

另外的主要原因，除了经济周期+高息环境，还有印度和欧洲的薪资更低的技术中心崛起，以及CS毕业生十年增长了三倍造成供给端过剩

---

和大半年前写这篇引文的时候相比，伯克利CS毕业生找工作难度目前并没有任何好转，几个就业曲线仍然躺在地板上连动都不带动一下

我的感受是现在应该又多加了两个不利因素：

1.买GPU军备竞赛capex花销并不是之前预期的是短期一次性而是会持续

各家对LLM的潜力评估比一年前更好，capex持续增长，对招人预算是很大的压力，花钱招人不如花钱买GPU，这个趋势在2024全年非常明显，比如Meta在去年底今年年初的时候巨量吃进H100，招人名额砍的狠，到后面才开始分部门分业务priority慢慢恢复

2.各个科技公司都在战略上招更多LLM/AI skillset的人，因为这是唯一确定的增长点，AI部门headcount数量和包裹都给的非常慷慨(AI offer比一般offer高20~40%)，总招人预算增长不多的情况下，其他领域基本上会战略上收缩或者减缓扩张，凑headcount给AI部门，所以结构性部门调整的特征也很明显

今年互联网大厂新招的员工不多，据我的不完全统计10个里怕是6~7个跟LLM/AI项目组是相关的

半导体公司作为比互联网公司预算更紧张的领域，这个趋势今年非常明显，高通和AMD都是整体裁员3~4%，把有限的预算放进AI这样的确定性增长机会进行扩招

---

AI/LLM的辅助coding对程序员效率的提升会不会对当前大厂CS 就业有严重影响？

至少目前的情况下这不是主要因素

现在各个互联网大厂只要是跟genai相关的sde组都非常累，从上到下timeline压力非常大，肯定不会愿意开发速度减慢，如果有AI工具产生的效率提升，也不愿因此裁员

因为各个VP/SVP的压力都巨大，巴不得多要资源多要人减少项目上线的时间线risk，在这上面卡人卡资源风险太大

---

那么长期来看以后的CS就业会不会因为LLM效率提升而降低需求呢

大厂CS工作和startup/小项目在LLM的辅助提升效果上可能并不一样

大厂的业务项目复杂度和规模普遍来说要高几个数量级，稳定性鲁棒性严格，design review/CR流程严格，一口气提升巨大不现实。小型项目在快速试错，原型搭建上效率提升会非常显著，效率翻倍甚至翻数倍也是可能的

虽然大厂内部LLM工具链做的完整，但整体来说效率提升（和完全不用相比）并不高，太多的debug和coding都是业务逻辑相关

以我的感受，一般大厂高级程序员(L5/E5/SDE3为例)平均50%工作时间在coding上，coding部分能提升10_{40%效率，一个熟练使用目前GPT/Claude工具链的大厂高级程序员来说，在现有熟练业务}15%整体效率提升是一个比较合理的估计(新业务新领域上手效率提升多一些)

至于某些公司宣称的啥“特定场景”提升55%效率，PR宣传而已，笑笑就好

LLM在closed domain上的效果要好得多，因为有明确的reward函数，这次的o3数学上惊艳在reward函数上也是有秘密的 但open ended question上，目前的这种reasoning模式效果要差很多

即便是software engineering这样看起来LLM已经进度巨大的部分，也有太多的open ended task，task在各个维度上直接和间接需求以及legacy都是什么，从各个其他team和上下level的resource，priority，dependencies，bottleneck都是什么，这些看似close loop的问题实际上是open ended的，每一个决策看似close loop，实际上在这个“看似封闭”的问题中往往暗含大量“开放式”不确定性，用close loop思维和open ended思维做出的结果差异是很明显的

人的介入，本质上就是把open ended questions简化成closed loop question，或者在出现open ended scenario的时候介入，把搜索空间收敛起来

agentic flow也就是在模拟把open ended question简化成closed domian的过程，随着算力的进步效果会慢慢变好，这个过程也会和人一起协同进化，但本质上是人把更高抽象层的开放问题简化分拆给AI

可预见的未来内，人+AI一定比AI要强，不管AI进化到何种程度

这一代的genAI/LLM效果有多好，完全取决于使用的人，因为需要依赖人把open ended task变成closed loop tasks，从这一点来说，和过去的自动化工具没有任何差别。LLM在可预见未来内对于大厂程序员的整体效率平均提升20~30%应该是没有什么问题的，LLM用的最熟练的程序员肯定远不止这个效率提升，但程序员们对genAI使用的平均水平还要再打折扣

所以说LLM在大厂规模化取代程序员，在可预见未来范围内不太现实，20% headcount扩张对于互联网公司长期平均来说就是两年的招聘扩张额度

这是开源节流中的节流部分影响(降本增效)，但开源可能才是影响就业更重要的因素

CS就业的好坏更本质上还是取决于创造的疆域(价值)，现在还处于llm实际应用没有深耕的初级阶段，等到了深耕阶段，需要海量相关开发人员scale up，在各个领域降低成本和创造价值，就像互联网革命里Google和Facebook在15年前还是小公司一样，需要的sde大量扩张都是业务开始scale up/深耕的阶段

疆域的拓展一般是指数型，也就是初期增量看起来很弱，像是存量表现，经过长时间累积增量才会显著

刻舟求剑的说，2000至2004年互联网企业都刚创立不久，不需要那么多sde（互联网的玩法摸索也花了二十年），所以sde也经历了寒冬，大家都在转行画电路板layout，sde的北美就业直到近十年之后的2013年才开始彻底爆发，会写bubble sort就有offer，到2022才戛然而止。

Jim Fan大佬对于AI 的新年寄语

来自@黄建同学

6 个章节：机器人硬件、具身人工智能（机器人大脑）、计算硬件、视频生成和世界建模、LLMs、AI4Science。

第 1 章 机器人硬件

我们是最后一代没有先进机器人的时代。以后所有移动的物体都将是自主智能的。

1）高端人形机器人的崛起：世界是为我们而建的。所有设施、器具和工具都是围绕我们的体型设计的。

• Tesla Optimus：很少有人形机器人公司有勇气在野外进行现场互动演示。Tesla 在“We, Robot”活动上做到了。第三代手，22 自由度，领先于对手；
• 1X Neo：友好的neighborhood人形机器人，旨在大规模部署在家庭中；
• 波士顿动力公司 e-Atlas：重量级冠军，360 度关节解锁一些疯狂的体操；
  -Figure：从原型到车厂部署的快速迭代速度；
• Fourier Intelligence：GR-1 机器人是少数实现大规模生产（1000 台）并销往世界各地的机器人之一；
• Clone：“西部世界”风格的仿生肌肉和肌腱设计，为人类如何实现提供了一个全新的视角。
  还有许多其他企业如雨后春笋般涌现，数不胜数。

2）廉价机器人硬件的兴起：比汽车便宜、可扩展性强，在不久的将来大多数中产阶级都能负担得起。

• Unitree G1 人形机器人：售价约 4 万美元，重 77 磅，高 50 英寸。体型虽小，但敏捷性极强；
• Unitree B2-W：一款拥有四个轮子的机器狗，其机动性超越地球上大多数动物；
• ALOHA：非常便宜的开源斯坦福机器人，配有 2 个夹爪。可以远程操作，完成煎蛋或折叠衣物等复杂动作。

3）Apple Vision Pro：作为数据收集设备，它在机器人领域发挥着有趣的作用。它可以实时解析你的头部和手部姿势，并控制机器人模仿你的动作。

第 2 章 具身人工智能（机器人大脑）

1. Tesla FSD v12：史上最大的物理 AI 数据飞轮，压缩成强大的光子动作神经网络。十年来自动驾驶问题的范式转变。

2）NVIDIA 启动 GR00T 项目，这是一项旨在为通用机器人打造 AI 大脑的登月计划。Jensen 走上 SAP 中心的舞台，背景中有 10 个人形机器人。

3）HOVER：我们的团队训练了一个 1.5M 的基础模型，该模型学习如何协调人形机器人的运动，捕捉我们的小脑每毫秒进行的“潜意识处理”。

4）DrEureka：我们的团队训练了一只机器狗，让它在瑜伽球上保持平衡并行走，这完全是在模拟中进行的，然后将零样本转移到真实硬件上。LLM 会自动编写奖励函数并调整参数，这样我们就可以一边看 Netflix 一边完成工作。

5）pi0，来自初创公司 Physical Intelligence：一种机器人视觉-语言-动作 (VLA) 模型，可执行令人印象深刻的多步骤任务，例如折叠衣物。使用 ALOHA 设置进行廉价的数据扩展。

6）OpenVLA：斯坦福大学关于开源 VLA 模型的研究，该模型在 Open X-Embodiment (OXE)数据集上进行训练，该数据集汇总了来自世界各地实验室的机器人运动轨迹。

第 3 章 计算硬件

1. 扩大规模：NVIDIA 推出了 Blackwell 架构，这是该领域的一个新猛兽。DGX GB200 在单个机架中实现了 1 Exaflop 的计算能力。

2. 缩小尺寸：Jetson Nano Super，售价 249 美元的迷你盒子可提供 67 TOPS 的 AI 计算能力，专为在机器人等边缘设备上运行小型 LLM 而设计。这是 NVIDIA 的树莓派时刻！

3. Google Willow Chip：量子计算机是多元宇宙的 GPU。5 分钟内解决了随机电路采样 (RCS)，而普通计算机需要 10 的 10 次方年才能解决。

第 4 章 视频生成和世界建模

1）Sora：2 月宣布，震惊世界，最终于 12 月发布，由于等待时间过长而失去了一些魅力。这是同类产品中第一个高分辨率长视频生成产品。Sora 是一个文本调节的视觉世界软模拟。该模型通过一些去噪和梯度数学来学习复杂的渲染和直观的物理。

2）Veo：由于 OpenAI 推迟发布，谷歌凭借更精确的物理和细粒度的物体动力学上演了一场伟大的回归。

3）行动驱动的世界模型：

• GameNGen：是的，你可以在任何地方运行 DOOM，即使在扩散模型中也是如此；
• Oasis：是的，你可以在任何地方运行 Minecraft，即使在扩散模型中也是如此；
• GENIE-2：在扩散模型内使用操纵杆控制运行更多游戏。

4）World Labs（由李飞飞领导的初创公司）：具有强几何一致性的生成式 3D 基础模型的精彩演示。

第 5 章 LLMs

能力边界

1. Claude Sonnet-3.5:很少有人期待 Anthropic 的 1 号作品，但强大的 Sonnet 却超出了所有人的预期。

2. Gemini 1.5 pro，10M 上下文长度：使用 500 页教程、一本词典和 400 个并行示例，仅从上下文中学习将英语翻译成卡拉曼语（新几内亚的使用者不到 200 人）。学习是在快速神经激活中即时发生的，而不是缓慢的梯度下降。

3）o1（项目“Strawberry”）：推广推理时间扩展并找到广泛部署的方法。正如 Sutton 在《苦涩的教训》中所说，只有两种技术可以无限扩展计算：学习和搜索。是时候将重点转移到后者了。

4）o3：强化学习的回归。给我一个奖励函数，我将改变世界。o3 的本质是放宽单点强化学习超级智能（例如 AlphaGo），以覆盖有用问题（例如数学和编码）空间中的更多点。

5）真正的 AGI 测试是完成以下序列：
4o -> o1 -> o3 -> (?)

人机界面是一个被严重低估的话题。LLM 能力范围远远领先于 UIUX 设计，可以充分发挥这种能力的潜力。

6）实时语音模型的兴起，例如 GPT-4o（高级语音模式）。它是传统三阶段流程的单阶段提炼：音频->文本（自动语音识别或“ASR”）、文本->响应（LLM）、响应->音频（文本转语音或“TTS”）。

7. NotebookLM：对大语言模型 (LLM) UX 的最佳重新构想之一：podcast-ify *anything *.降低进入门槛：无需提示，无需阅读。只需上传文件并聆听 2 个 token 流展开即可。

开源社区
8) llm.c：Andrej Karpathy 使用纯 C 语言处理 token。无需 Python、无需框架、无需依赖。只需原始数学与裸机对话。他用代码写诗。

9）Llama-3：GPT-4 的力量尽在你的掌中。

10. DeepSeek：今年 OSS LLM 最大的黑马。表明资源限制迫使你以惊人的方式重塑自我。

第 6 章 AI4Science

1）诺贝尔物理学奖：
今天，我们都是物理学家。人工智能博士——请阅读我的品牌重塑指南。机器学习现在是“统计力学”。你现在有资格获得最高奖项了。

2）诺贝尔化学奖：我敢再说一次诺贝尔奖……玩笑归玩笑，祝贺 Demis 和 AlphaFold 团队。这是一生中的一次突破。先解决人工智能，然后用人工智能解决其他一切！

3）Neuralink：脊髓损伤患者现在可以通过意念控制鼠标浏览网页、直播、玩《文明 VI》甚至在 Nintendo Switch 上玩《马里奥赛车》。Neuralink 将生物神经脉冲映射到人工神经脉冲，然后将像素映射到光标动作。太被低估了。

结束语

有很多伟大的人工智能时刻，我无法在这篇文章中一一列举。难以置信，ChatGPT 首次亮相已经过去了 2 年，Transformer 论文发表也已经过去了 7 年。炒作、承诺和担忧很多。我尽我所能为我的观众提高信噪比。

最后我想引用威尔逊的一句话：

“人类真正的问题是：我们拥有旧石器时代的情感、中世纪的制度和神一般的技术。”

好消息是，我们可以开发技术，这意味着我们也可以定义它在我们的机构、社会和文化中扮演的角色。人工智能是人类未来不可避免的一部分。如果我们选择使用正确的力量，它可以成为一股巨大的善意力量。

大家新年快乐！！