1个Token测出模型降级调包！成本砍到千分之一，API供应商的小伎俩全曝光了

克雷西 发自 凹非寺量子位 | 公众号 QbitAI版本号没变API供应商却悄悄偷换模型现在这种小伎俩可以轻松被戳穿了。来自法国的研究人员开发出了新的检测技术为识别云端模型的隐秘变动提供了“照妖镜”。仅需极短的提示词通过1个输出token就能实现持续监控成本只有传统方式的千分之一。而且这种高度灵敏的方法能捕捉到仅经过一个训练步数微调的模型差异。这样一来供应商出于成本考量而私自替换量化版本或降级模型的行为将无所遁形。灰盒环境下的对数概率追踪第一种检测手段名为对数概率追踪它主要针对灰盒访问环境进行设计。所谓灰盒环境是指供应商虽然不公开核心模型权重但允许用户通过API获取每个输出Token对应的对数概率这种权限介于白盒与黑盒之间。在透明度最高的白盒环境中审计者可以获取模型的全部内部权重、嵌入向量和梯度数据但这在受商业机密保护的云端服务中几乎不可能实现。而用户最常面对的是完全的黑盒环境此时只能提交提示词并接收生成的最终文本无法窥视任何中间运算逻辑。回到灰盒环境对数概率揭示了模型在生成Token时对整个词汇表空间的信心分布对数概率追踪技术正是利用这些数据作为识别模型身份的数字指纹。由于权重的微调、量化或架构变动都会导致这一分布发生偏移对数概率成为了监测后台变动的最敏感指标。但在真实的生产环境中由于模型推理受到批处理并行逻辑和硬件调度的影响对数概率并非完全确定即便面对相同的请求也会产生微小的数值波动。为了克服这种随机噪声该技术通过向API发送简短提示词并获取单Token输出重复采样N次以建立统计基准。研究人员利用均值绝对距离算法对每组采样的对数概率进行比对并结合排列检验来验证两组样本是否来自同一分布。这种方案能够有效地将硬件层面的抖动与模型层面的本质变更区分开来。该方案在执行效率上具有显著优势仅需使用如单字母“x”这样极短的输入并请求单个Token的响应即可完成监测。这种精简的查询模式使得监测成本相比传统大型基准测试方案缩减为原来的千分之一。在灵敏度测试中该技术也展现出了极高的探测精度甚至能够捕捉到仅经过一个训练步数微调所带来的模型特征演变。在针对模型权重修剪的压力测试中该技术的敏感度达到了现有主流方案的512倍确保任何试图通过低成本模型替代原版服务的行为在审计下无处遁形。黑盒环境下的边界探测第二种检测手段名为黑盒边界输入追踪B3IT它主要针对限制最为严苛的黑盒访问环境。在这种环境下审计者完全无法接触任何内部运算数值或对数概率只能通过观察模型最终输出的文本Token来推断后台状态。B3IT方案的技术核心在于利用模型决策边界的不稳定性锁定模型表现最为“动摇”的特定瞬间。在LLM的输出层每个候选Token都对应一个原始的逻辑得分。所谓的边界输入就是指那些能让模型在两个或多个Token之间产生剧烈犹豫的特定提示词。在这些输入点上模型对顶级Token的预测信心几乎完全持平。研究人员从统计学角度证明探测效率的高低取决于模型输出分布的费希尔信息量。根据相关数学推导当采样Temperature设定为极低值如为0时模型在边界输入处的表现会呈现出一种特殊的“相变”现象。如果输入提示词只有一个顶级Token那么即使模型参数发生轻微扰动输出结果也极难产生变化这会导致检测信噪比趋近于零。然而只要存在两个及以上逻辑得分持平的Token检测信噪比就会随着Temperature降低而急剧发散。这意味着即便模型参数只发生了极微小的扰动也会瞬间打破原有的概率平衡迫使模型从原本的随机采样状态坍缩为某种确定性的单选状态。这一方案的实施分为两个阶段。首先是初始化阶段其目标是以极低的开销从海量随机提示词中筛选出合格的边界输入。实验发现只需对每个候选提示词在Temperature为0的条件下进行3次重复采样观察其是否产生了不同的输出Token即可高效锁定这些敏感点。通常只需不到1500次请求就能在大多数主流生产环境API中找到足够数量的边界输入。随后进入持续监测阶段。每当需要审计模型一致性时系统会再次在极低Temperature下采样这些已知的边界输入。如果在检测过程中观察到了此前参考分布中从未出现的Token或者原本呈现多样性的输出突然坍缩为了单一的Token审计系统就会判定后台模型已发生变更。由于边界输入对模型权重变化极度敏感这种方法在黑盒环境下的监测成本仅为现有最先进方案的1/30且其识别单步微调模型变动的准确率依然能保持在87%的高位。知名API平台调包“现形记”这些探测工具在真实的生产环境中撕开了不少API供应商的面具。通过对189个API端点的长期监测研究人员利用对数概率追踪这一灰盒手段共捕捉到了37次显著的概率分布偏移。这种现象揭示了行业内普遍存在的“模型掉包”风险即平台方可能在用户不知情的情况下为了优化成本或调整架构而私自更替后台模型。针对完全黑盒环境的边界输入追踪技术则提供了更微观的证据。监测系统多次记录到某些平台在未发布官方声明的情况下将其原本标定的模型端点悄然重定向到了架构完全不同的型号上。尤其在开源权重模型的托管服务中这种行为尤为普遍即便模型权重本身是公开透明的一旦进入第三方平台的云端环境其版本的一致性依然难以得到保证。面对这些精准的审计工具部分头部平台已经开始采取技术性的对抗措施。监测记录显示某些领先供应商曾对其特定模型线实施限制强制要求通过第三方网关访问的请求必须生成至少16个Token以此人为地抬高原本仅需单Token即可完成的探测成本。这种反制行为也从侧面印证了低成本监测手段对供应商形成的威慑力。论文地址[1]https://arxiv.org/abs/2512.03816[2]https://arxiv.org/abs/2602.11083—欢迎AI产品从业者共建—「AI产品知识库」是量子位智库基于长期产品库追踪和用户行为数据推出的飞书知识库旨在成为AI行业从业者、投资者、研究者的核心信息枢纽与决策支持平台。一键关注 点亮星标