机器学习能否学到真实概率？从校准、博弈到直接可观测性的理论边界与实践启示

1. 项目概述在构建一个声称能够预测未来或评估风险的AI系统时我们常常会听到这样的承诺“我们的模型能够学习到事件的真实概率。” 无论是预测明日的降雨、评估贷款的违约风险还是诊断疾病的概率这个承诺都极具吸引力。它暗示着模型不仅仅是在拟合数据中的模式而是在逼近世界运行背后那个客观的、唯一的真相。但作为一名与数据和模型打了十几年交道的从业者我不得不停下来问一个更根本的问题机器学习真的能学到那个“真实”的概率吗或者说在什么意义上我们可以说一个模型学到的概率是“真实”的这远非一个纯理论的哲学思辨。当我们将一个预测概率为80%的医疗诊断模型投入临床辅助决策或是一个预测违约概率为5%的信贷模型用于自动审批时我们实际上是在赌这个概率值反映了客观现实。如果这个“真实概率”本身在理论上就是机器学习无法触及的那么我们所有基于模型概率的决策都建立在流沙之上。最近一篇题为《机器学习能否学习真实概率》的论文arXiv:2407.05526对这个问题进行了深刻的、形式化的探讨其结论既揭示了希望的边界也划定了无法逾越的鸿沟。在这篇文章里我将结合自己多年的实战经验为你拆解这篇论文的核心思想探讨其理论内涵并分析它对实际机器学习项目带来的启示与挑战。我们将看到问题的答案紧密围绕着一个核心概念展开真实概率对于机器而言是否“直接可观测”。2. 核心概念辨析主观概率、客观概率与“学习”的定义在深入探讨机器能否学习之前我们必须先厘清几个关键概念。混淆它们是许多关于概率机器学习讨论产生误解的根源。2.1 主观概率 vs. 客观概率这是概率论中一个经典的分野但在机器学习语境下其含义尤为关键。主观概率这反映的是智能体可以是人也可以是机器对某个事件发生的信念程度。它本质上是内省的、依赖于认知状态的。例如一个交易算法基于历史数据和市场情绪模型判断某支股票明天上涨的“信心”有70%。这个70%是算法基于其内部模型和当前信息状态产生的一个数值不同的算法或同一算法在不同时间完全可能给出不同的值。主观概率的核心在于一致性coherence即一套信念不能自相矛盾例如不能同时认为A发生的概率是0.7非A发生的概率也是0.7。德菲尼蒂De Finetti和萨维奇Savage的理论为这种基于偏好和决策的主观概率提供了坚实基础。客观概率这试图描述的是世界本身固有的、独立于任何观察者信念的倾向性或规律性。例如一枚质地均匀的硬币在理想抛掷条件下正面朝上的客观概率是0.5。这个0.5不是任何人的信念而是由硬币的物理属性质量分布、对称性和抛掷环境重力、空气阻力共同决定的。频率学派试图用长期重复试验中的极限频率来定义它而倾向性propensity学派则将其视为单次事件中蕴含的客观倾向。论文中讨论的“真实概率”正是指这种客观概率。注意在机器学习实践中我们几乎总是在处理主观概率。贝叶斯模型中的后验分布、神经网络softmax层输出的类别概率、乃至逻辑回归给出的风险评分都是模型基于训练数据和模型假设所形成的“信念”。我们通常假设在模型足够好、数据足够多且具代表性的理想条件下这个主观概率会收敛到某个客观概率。但“假设”不等于“保证”。论文的核心工作正是要探究在何种条件下这种收敛即学习到真实概率在理论上能够成立。2.2 机器“学习”的真实概率意味着什么论文对“机器学习”给出了一个兼具计算性和认识论epistemic的定义。这一定义远超了常见的“最小化损失函数”或“提高测试集准确率”。计算成功机器必须能够通过明确的、有限的指令算法对目标函数这里是真实概率函数P进行有效计算。这意味着学习过程最终必须能归结为一个可计算的过程。认识成功机器通过计算获得的结果必须大多数时候是正确的并且机器自身必须确信其大多数时候是正确的。这模仿了人类知识获取的特征知识不仅是真信念还需要某种确证justification。将这两点结合起来论文提出了学习成功准则如果一台机器通过学习取得了计算成功那么它最终获得的东西必须在大多数时候是对我们世界的真实表征并且这一点必须被机器自身所确信。这个定义非常严格。它排除了“瞎猫碰上死耗子”式的偶然正确也要求机器对自己的学习成果有“自知之明”。这引出了机器能够学习真实概率的一个必要条件如果一台机器学习了真实客观概率 P(A|B)那么它的主观概率 Π(A|B) 必须等于 P(A|B)。换句话说机器关于事件A发生的信念主观概率必须与A在给定条件B下发生的客观可能性真实概率一致。这是一个非常直观的要求如果你声称“知道”某事发生的概率那么你的信念就应该与之匹配。3. 校准连接学习与预测的桥梁那么我们如何判断一台机器的主观概率是否等于真实概率呢在无法直接窥见“真实概率”这个柏拉图式理念的情况下我们只能通过机器的预测表现来间接评估。这就引入了校准的概念。3.1 什么是校准良好的预测一个预测系统是校准良好的直观上讲就是在所有它预测概率为α的事件中这些事件实际发生的长期频率应该接近α。例子一个天气预报系统声称“明天降雨概率30%”。我们收集所有它做出“30%”预测的日子观察这些日子中实际下雨的比例。如果这个比例长期稳定在30%左右那么这个预测就是校准良好的。形式化地设机器在时刻t基于历史信息B_t对事件A_{t1}做出的概率预测为 Π(A_{t1}|B_t) α。我们定义一个指示变量ξ_t当预测值为α时ξ_t1否则为0。再定义p_k为前k次预测为α的事件中实际发生的经验频率。校准良好的性质可以表述为当k趋于无穷时p_k以概率1收敛于α。3.2 自我确信的校准 vs. 真实保证的校准这是论文中一个至关重要的区分自我确信的校准机器相信自己的预测是校准良好的。即在机器自身的主观概率测度Π下p_k → α的概率为1。这源于Dawid (1982)的著名定理一个贝叶斯预测者无论其先验如何都几乎必然在其自身的主观信念下认为自己的预测序列是校准良好的。这有点像一个人坚信自己的判断总是合理的但这无法保证他的判断符合客观现实。真实保证的校准预测实际上是校准良好的。即在客观真实概率测度P下p_k → α的概率为1。这意味着预测不仅在机器自己看来是合理的在客观现实中也经得起检验。论文的核心定理之一定理4.6指出如果一台机器学习了真实概率P(A|B)为α那么它的预测在真实概率P的意义下必然是校准良好的。也就是说学习成功必然蕴含着真实保证的校准。这个定理为我们提供了一个强有力的检验标准如果我们发现一个模型的预测序列无法在真实世界中达到校准例如它所有预测“80%”的事件实际只发生了50%那么我们就可以断定它不可能已经学到了该事件的真实概率。3.3 校准的脆弱性与奥克斯反例然而达到真实保证的校准是极其困难的。Oakes (1985) 提出了一个著名的反例揭示了校准的脆弱性。设想自然Nature以一种“恶意”的方式生成数据每当机器预测概率为α时自然就以一个系统性的、不同的概率f(α)来让事件发生。例如f(α) α 0.5 (当α≤0.5时)f(α) 1 - α (当α0.5时)。在这种情况下无论机器的预测策略是什么其预测序列在真实世界中都不可能是校准良好的。这个反例的深刻含义在于只要自然有可能即使概率很小以这种“恶意”方式行事那么机器就无法在主观上100%确信自己的预测是校准良好的。因为那个“恶意世界”的可能性无论多么微小都会使得在机器自身的主观概率中p_k不收敛于α的概率大于0。这就破坏了自我确信的校准进而根据定理4.6使得学习真实概率成为不可能。4. 预测博弈自然与机器的对决为了更深入地分析“学习真实概率”的可能性论文构建了一个预测博弈的框架。在这个框架中两个玩家对弈机器和自然。机器在每个时刻t基于已有信息B_t输出一个对事件A_{t1}的主观概率预测Π(A_{t1}|B_t) α_t。自然掌握着世界的真实概率法则P。在每个时刻t它根据P(A_{t1}|B_t)来决定事件A_{t1}是否发生。博弈的胜负规则很简单如果机器预测的概率α_t与自然使用的真实概率P(A_{t1}|B_t)相等则机器得分或平局如果不相等则自然得分。机器学习真实概率的目标可以看作是希望在这个无限重复的博弈中自己的预测能够长期与自然的“出招”保持一致。4.1 博弈结构对学习的关键影响论文通过精细的分析引理4.15指出学习能否成功与博弈的时序结构密切相关自然先动如果自然先揭示了P(A_{t1}|B_t)的值机器随后观察并输出相同的值α_t。那么P(P(A|B)α) 1。在这种情况下真实概率对机器是直接可观测的学习在理论上成为可能。机器先动如果机器必须先给出预测α_t然后自然再决定P(A|B)。那么自然总是可以选择一个不同的值使得P(P(A|B)α) 0。学习不可能成功。同时行动如果双方同时做出选择那么存在一个混合策略纳什均衡使得0 P(P(A|B)α) 1。自然以一定的概率偏离机器的预测。在这种情况下机器无法确定自己的预测是否与真实概率一致。这个分析将“学习真实概率”的问题转化为了一个信息可及性的问题机器能否在做出预测之前或之时观测到真实概率的值4.2 自然的“恶意性”与学习的根本限制基于博弈分析论文引入了自然的“恶意性”概念自然对预测α是恶意的如果对于固定的预测值α真实概率P(A|B) ≠ α 的情况在时间序列中至少无限经常infinitely often, i.o.发生。自然是普遍恶意的如果对于机器可能做出的任何预测值α自然对该α都是恶意的即存在非零概率偏离。自然是选择性恶意的存在某些“友好”的α_0自然对其不是恶意的即偏离只发生在有限次但对其他α则是恶意的。论文的核心结论定理4.20推论4.30可以概括如下如果自然是普遍恶意的那么机器无法学习任何真实概率。如果自然是选择性恶意的那么机器仅当它能确信并识别出那个“友好”的α_0并且自然的“友好”阶段确实会到来即存在一个停止时间t_s此后自然不再对α_0表现出恶意时才能学习到关于α_0的真实概率。如果机器无法确信这个“友好”阶段会到来它依然无法学习。这引出了全文最关键的定理定理4.36一台机器能够学习真实概率P(A|B)为α当且仅当这个真实概率对机器而言是直接可观测的。5. “直接可观测性”学习可能性的最终判据那么什么是“直接可观测”的真实概率论文的定义回归到了概率的频率主义解释的根源von Mises, 1957。5.1 直接可观测性的定义一个真实概率P(A|B)对机器是直接可观测的需要满足两个条件总体可得存在一个事件A的实例事件令牌构成的序列总体这个序列在原则上可以被机器获取。经验分布即真实概率机器通过计算这个总体中事件A发生的经验频率得到的结果恰好就是真实概率P(A|B)。换句话说当真实概率就是某个可获取数据总体的经验分布时它就是直接可观测的。最典型的例子就是独立同分布i.i.d.数据流。在这种情况下下一个数据点的分布就是总体分布机器可以通过计算历史数据的经验频率来“观察”到这个真实概率。5.2 理论与现实的残酷映射定理4.36将学习的可能性严格限定在“直接可观测”的范围内。这对机器学习实践产生了深远而严峻的影响独立同分布i.i.d.假设的不可放松性论文证明机器可以放松数据之间的独立性假设来学习真实概率但无法放松同分布如平稳性、遍历性假设。因为同分布性保证了我们可以将时间序列上的经验频率视为对同一总体分布的估计即保证了某种形式的直接可观测性。一旦数据生成过程不是平稳的例如存在概念漂移那个“总体”就变得模糊不清真实概率也就不再直接可观测。因果推断与反事实的困境许多我们关心的真实概率是反事实的或干预性的。例如“服用这种药后病人康复的概率”。这个概率无法通过观察历史数据的经验频率直接获得因为对于同一个病人我们无法同时观测到“服药”和“未服药”两种状态。这种概率通常不是直接可观测的因此根据此理论机器学习模型无法从纯观测数据中“学习”到它。这为基于观测数据的因果发现设置了根本性的限制。在线学习与对抗环境的挑战在在线学习或强化学习场景中环境自然常常会对智能体的策略做出反应例如股票市场对交易算法的反应游戏对手对玩家策略的适应。这正对应了“机器先动”或“同时行动”的博弈结构。在这种情况下环境本质上是“恶意”或至少是“反应性”的真实概率随着机器策略的变化而变化不再是固定的、可直接观测的量。因此在这些场景中模型学到的更多是特定策略下的平衡状态而非一个静态的、客观的真实概率。模型不确定性 vs. 认知不确定性在贝叶斯深度学习中我们常区分偶然不确定性数据固有的噪声和认知不确定性模型因缺乏知识而产生的不确定性。根据此理论模型或许能较好地刻画偶然不确定性如果数据生成过程平稳但很难说它准确地学到了表征认知不确定性的“真实概率分布”因为后者往往涉及对未知领域的推断缺乏一个可直接观测的“总体”。6. 对机器学习实践的启示与应对策略理论揭示了界限但实践仍需前行。我们无法因为真实概率难以捉摸就放弃概率预测。以下是基于这些理论认识在实际项目中可以采取的策略6.1 重新审视概率输出的解释我们必须彻底改变对模型输出概率的解释方式从“客观真理”到“校准信念”不再将模型输出的概率值解释为客观真实概率的估计而是将其解释为模型在给定训练数据和建模假设下经过良好校准的主观信念。我们的目标从“学习真实概率”转变为“构建一个在特定评估分布上校准良好的预测系统”。明确适用范围任何概率预测模型都必须附带其有效性范围的明确说明。例如“本模型输出的违约概率在2020-2023年A国消费信贷申请人的数据分布上进行了校准。若数据分布发生显著变化如经济周期、政策调整预测的校准性可能失效。”采用保守主义在风险敏感领域如医疗、金融当认识到真实概率不可直接获知时应倾向于采用更保守的、考虑最坏情况或模型不确定性的概率估计方法如贝叶斯模型平均、深度集成、证据深度学习等而不是单纯依赖一个点估计或单一模型的概率输出。6.2 强化校准评估与监测既然真实保证的校准是学习成功的必要条件那么持续、严格地评估预测的校准性就成为项目中的强制性环节。使用全面的校准评估工具不仅看整体的校准曲线Calibration Curve还要分位数、分亚组如不同年龄段、不同地区进行评估。工具包括ECEExpected Calibration Error、Brier Score分解等。设置校准性监测预警在生产环境中持续监控模型预测的校准性。可以设置滑动窗口定期计算近期预测的校准误差一旦超过阈值即触发警报提示可能出现了数据分布漂移或模型失效。后处理校准对于已训练好的模型可以使用Platt缩放、等渗回归等方法对其输出的概率进行后处理以在验证集上优化校准性。这相当于主动将模型的主观信念调整到与当前观测到的经验频率一致。6.3 拥抱不确定性量化承认我们无法获知某些真实概率恰恰凸显了不确定性量化的重要性。我们的目标不应是给出一个看似精确但可能误导人的概率数字而是诚实地反映模型认知的局限。报告预测区间而非单点概率对于回归问题报告带有置信区间的预测对于分类可以报告概率的置信区间通过贝叶斯方法或Bootstrap获得。区分认知不确定性与偶然不确定性使用能够量化这两种不确定性的模型如贝叶斯神经网络、蒙特卡洛Dropout、深度集成。当模型面对与训练数据差异很大的输入时应表现出高的认知不确定性即输出概率模糊或不同模型间差异大从而向用户发出“此预测不可信”的信号。设计拒绝机制允许模型在认知不确定性过高时“拒绝做出预测”转而将决策交给人类专家或更复杂的流程。这比给出一个错误校准的高置信度预测要安全得多。6.4 领域适应与因果思考当目标环境与训练环境存在分布差异时即真实概率不可直接观测需要主动干预。主动进行领域适应如果怀疑部署环境的数据分布已变化应收集新的目标域数据即使是无标签的采用领域自适应技术如DANN、对抗性适应来调整模型使其在目标域上重新达到校准。从关联到因果对于关键决策不能满足于学习关联性的概率。应尽可能利用领域知识构建因果图设计实验如A/B测试或利用自然实验来估计干预效果即因果概率。虽然完全学习反事实概率可能不可能但通过因果框架我们可以更清晰地知道所估计概率的条件和局限。7. 总结在可知与不可知之间前行回顾全文我们探讨了一个机器学习的基础性问题机器能否学习真实概率理论分析给出了一个清晰而严格的答案只有当真实概率对机器直接可观测时学习才是可能的。这通常要求数据来自一个平稳的、遍历的生成过程使得经验频率可以作为概率的可靠估计。这一结论并非给机器学习判了死刑而是为我们划定了理性的边界。它告诫我们不应将模型输出的概率奉为圭臬视为不容置疑的客观真理。尤其是在动态变化、智能体与环境交互、或涉及反事实推理的场景中那个唯一的“真实概率”可能本质上是机器学习模型无法触及的。作为一名实践者我的体会是这份理论上的清醒认识恰恰是负责任的AI实践的开端。它要求我们保持谦逊承认模型的认知边界明确概率输出的解释范围和假设条件。重视校准将预测校准性作为与准确率、精度同等重要甚至更核心的评估指标。量化不确定性不仅给出预测还要给出预测的不确定性为决策提供更全面的信息。持续监测与适应建立机制来探测分布变化和校准失效并准备好调整或更新模型。最终机器学习的力量不在于它能够发现某种柏拉图式的“真实概率”而在于它能够从数据中提炼出在特定上下文中有用、且经过良好校准的信念并帮助我们在这个充满不确定性的世界中做出更明智的决策。理解其能力的边界正是为了在边界之内更加坚实、可靠地构建我们的智能系统。