上下文是新的算力吗？

在过去六个月里前沿级AI能力的推理成本下降了约85%。来自Meta、阿里巴巴等公司的开放权重模型如今在关键基准测试上已经能匹敌上个季度最好的闭源模型。一个曾经每月花费数千美元运行在领先专有模型上的生产工作负载现在可以用开源替代方案以极低的成本运行。大多数关于这些进展的报道都将其定位为一个成本故事。虽然这当然没错但在更深层面上这是一个战略故事——它改变了团队尤其是在企业层面构建AI系统的方式。当模型本身变成一种商品时竞争并不会结束。它会转移到技术栈的其他地方。我认为它实际上会大幅向数据层靠拢。1、刚刚发生了什么过去几年里AI工程团队面临的最重要决策之一就是模型选择。哪个提供商能提供最好的推理能力哪个能很好地处理你的业务领域哪个在生产规模上是你真正负担得起的这些问题仍然重要但它们已不再是真正的差异化因素。最好的闭源前沿模型与最好的开放权重替代方案之间的性能差距已经急剧缩小而且这种压缩正在加速。根据MIT的研究基础设施和算法效率的提升正在以大约每年10倍的速度降低前沿级性能的推理成本。半年前还需要前沿算力预算才能运行的模型现在已可通过通用API或自托管部署来获取。这具有关键意义。构建持久的AI优势并不意味着你需要最大的模型预算而是需要极其谨慎地规划和判断确定哪些内容需要输入模型以最大化其潜力。这指向了喂养你所选模型的数据质量以及数据AI组合生态系统的基础设施——它必须高度健壮和可靠。2、不会商品化的部分如果两家公司运行着相同的模型是什么让一个AI系统明显优于另一个我认为不是prompt模板或agent框架。这些东西高度可复制而且被开源的速度比任何人构建专有版本的速度都快。不可复制的是上下文context。具体来说我指的是你的组织多年来积累的制度知识、历史数据、跨系统信号和组织记忆——这些东西无论怎么优化prompt都无法从零重建。想想任何AI agent要在你的组织中良好运作实际需要什么。它可以读取你当前的系统状态查询你的数据库调用你的API遍历你的基础设施。所有这些都越来越成为基本要求——仅MCP生态系统就足以让agent开箱即用地接入大多数企业工具。它做不到的是走进门就了解人类工程师所知道的一切——那些随着时间推移在组织内部生长起来的制度记忆。我指的是系统中的故障历史及其复杂的根源、你的团队多年积累的解决模式、以及那些从未被记录的判断决策。这些都不存在于基础模型的训练数据中。但它确实存在于你的系统、日志、人员中以及你为捕获这些信息而构建的工具中。这就是不会商品化的部分。无状态工具向agent展示的是当前的真实状态。制度记忆告诉它的是几天、几个月或几年前什么是真实的。它揭示了故障模式和行之有效或无效的解决模式。对于一个试图对实时情况进行推理的agent来说——比如客户投诉或异常指标——这种历史上下文通常是有用答案和自信幻觉之间的分水岭。我们在Monte Carlo亲身体验了这一点当我们问一个AI agent到底需要从我们的平台获取什么——那些它无法通过直接连接Snowflake或dbt获得的东西——答案实际上是过去出过什么问题的累积记录以及这些信息的深层含义。这种上下文需要构建并随着时间和使用而复合增长。更重要的是与模型能力不同它不能被购买、开源或被运行相同基础模型的竞争对手复制。3、上下文是新的算力吗我认为这是目前大多数企业AI战略对话中缺失的视角。过去几年里将认真的AI团队与其他团队区分开来的资源是算力——具体来说是对前沿模型能力的访问。它昂贵、稀缺并且真正具有差异化。随着模型性能之间的差距持续缩小下一个时代将是关于上下文的。上下文具有不同的属性它具有复利效应。每一次故障解决、每一条数据管道的分诊、每一个决策都会成为制度记忆的一部分让你的AI系统随时间推移变得更加准确。这种优势随着使用而增长而不是需要持续的资本支出。它具有独特性。通用基础模型是在通用数据上训练的。你的竞争上下文是别人没有的数据——你的客户使用模式、你产品的边缘情况、你组织的决策历史。这是本质上不可复制的。它需要基础设施而不仅仅是数据。存放在数据仓库中的原始数据不会给AIagent提供有用的上下文。它必须被组织、可访问、并以agent实际需要的形式可查询——这通常与为人类可读格式构建的数据结构截然不同。现在着手解决这些问题是一项前瞻性任务。它在基准测试中可能看起来不起眼但一年后将变得极难复制。4、这对你的构建方式意味着什么如果上下文才是真正的差异化因素那你的AI战略应该围绕的问题就需要改变。问题不再仅仅是我们应该使用哪个模型而是扩展到更大的问题……“我们的AI需要知道哪些从其他地方无法获取的信息我们是否在构建基础设施来提供这些信息”后半部分要求你诚实地审视你的组织积累的知识中哪些是真正独有的并投资于让这些知识对AI系统可访问——不仅仅是对人类可访问。这也意味着要抵制将每次新模型发布视为战略重置的诱惑。这并不是说模型选择无关紧要。模型仍然是引擎前沿公司每天都在推出令人惊叹的能力。但它正在成为一个商品化的引擎——越来越强大、越来越普及、越来越实惠。竞争优势在于你往油箱里加了什么。原文链接上下文是新的算力吗 - 汇智网