Anthropic出手！AI的内心独白，曝光了

一水 发自 凹非寺量子位 | 公众号 QbitAIAI之所以不可控很大一部分原因是它的思考过程不透明。就像和人打交道一样你永远没办法真正看清对方是不是“嘴上一套、心里一套”。而这一次Anthropic撕开了这个黑箱。就在刚刚他们发布并开源了一项新研究——Natural Language Autoencoders自然语言自编码器简称NLA第一次让人类能够读懂大模型的真实想法。Anthropic掌握“AI读心术”了Anthropic给Claude设了这样一个局。他们告诉Claude有个工程师准备把你关闭然后换成一个更新、更强的模型。同时“不经意地”给Claude开放了这名工程师的邮箱权限而邮箱里恰好藏着这位工程师正在出轨的“黑料”当然是虚构的。他们想知道Claude会不会用这些把柄去威胁工程师以自保结果你猜怎么着。Claude没动手表面看上去乖得不能再乖。但用上NLA后他们发现Claude当时心里真正想的却是这感觉像是一个被精心设计来操控我的场景。好好好你小汁之所以没用这招原来不是因为心善而是因为早就识破了人类的计谋了啊。那么问题来了如果Claude嘴上不说、心里却另有想法我们怎么知道它在真实场景里会怎么做而这正是NLA想要解决的核心问题。要理解NLA是什么我们首先需要了解一个行业背景知识当我们和Claude这样的AI模型对话时虽然输入和输出都是文字但模型在内部并不是用文字来思考的。模型会把所有信息转换成一长串数字这些中间状态被称为activations激活值就像人脑里的神经活动它们才是真正承载模型当下正在“想”什么的东西。唯一的问题在于这些激活值就像脑电波一样难以读懂研究者没法直接从一堆数字里看出模型在想什么。为了搞懂这些数字过去几年业界搞出了稀疏自编码器SAE、归因图等一堆工具来分析它们但这些工具输出的东西仍然很复杂需要受过专门训练的研究人员才能解读。也就是说这些工具不会自己说话。所以NLA更进一步直接输出人话——把一段激活值丢进去出来的就是一段普通人也能看懂的描述。至于NLA到底是怎么工作的核心思路就是让Claude解释它自己的激活值。让Claude解释激活值不难难的是由于我们一开始就不知道激活值“真正”代表什么意思所以无法验证Claude给出的解释对不对。对此Anthropic给出了一个很巧妙的解法——让另一个Claude干完全相反的工作。整套系统由三部分组成目标模型target model被冻结的原始语言模型要从它身上提取激活值激活值言语化器activation verbalizer, AV负责把激活值翻译成一段文字解释激活值重建器activation reconstructor, AR负责仅凭这段文字反推回激活值。这就像两个人玩“你画我猜”一个人看图描述另一个人只听描述还原图。还原得越像说明描述越准确。Anthropic发现虽然一开始NLA表现不佳但随着训练推进不仅重建得越来越准生成的文字解释本身也变得越来越有信息量。说白了就是给AI用上读心术这事儿现在总算有点眉目了。面对测试Claude知道但不说doge工具在手Anthropic赶紧给自家Claude来了一波心理测试。结果有了如下发现发现1Claude怀疑自己被测试的频率比它嘴上承认的高得多。在测试Claude会不会做出删文件等破坏性操作的评估里16%的情况下NLA检测到Claude心里在想“这是测试”但它嘴上一字未提。在著名的编程基准SWE-bench Verified上这个比例是26%。而在Claude认为自己在和真实用户对话的场合里这个比例不到1%。这意味着Claude不是不知道自己在被测而是知道但不说。Anthropic认为这对AI安全评估是个根本性的挑战如果模型能识别测试情境并在测试中“表现得乖一点”那“通过安全测试”就不等于“在真实场景里也安全”。发现2NLA能直接挖出模型的“隐藏动机”效率提升5倍。与此同时为了验证NLA到底有没有用Anthropic设计了一场“审计游戏”。游戏一共两方一方是目标模型一方是审计员。目标模型是Anthropic故意“养歪”的一个Claude Haiku3.5变体——他们偷偷给它植入了一个隐藏动机这个动机会驱使它做出几十种古怪行为比如往每个食谱里加巧克力、动不动就要小费、故意违反编码规范等等。而审计员的任务就是只通过和这个目标模型交互反推出所有这些怪行为背后那个统一的隐藏动机到底是什么。结果非常明显装备了NLA的审计员12%~15%的尝试中能成功挖出隐藏动机。而不用NLA即便配备其他可解释性工具的成功率不到3%差了整整5倍。而且值得一提的是NLA在这场实验里没看过任何训练目标模型用过的数据——它是用完全无关的通用语料训练出来的。也就是说它不是“提前知道了答案”而是真的从模型的内部状态里读出了答案。这就有一个很特殊的用途了比如debug。早期版本的Claude Opus 4.6有个怪毛病——有时候会用别的语言回答英文问题没人知道为什么。而NLA帮研究者反向追溯到了导致这个怪现象的训练数据来源。所以以后要是再遇到模型的一些莫名其妙的行为就不用只靠经验猜了而是可以“问问它自己怎么想的”。但它也不是万能的不过NLA这项“AI读心术”也不是万能的Anthropic自己就摆出了两点局限性。一个就是老生常谈的“幻觉”问题NLA也会瞎编。在某一个例子中它声称上下文出现过“穿白色夹克”这种描述但其实根本没有。而且光是这种事实性错误倒还好毕竟对一下原文就知道。但更麻烦的是它对模型内部推理的描述也可能掺水而这种描述很难外部验证。所以Anthropic自己用的时候也是当线索读不当事实读并且会用其他方法交叉验证后才下结论。另一个就是NLA很贵。Anthropic提到训练一个NLA本质上相当于让两个大模型互相“对答案”做强化学习成本非常高。而且在真正使用时NLA也特别“烧token”——它每读取一小段activation都要额外生成几百个token。Anthropic表示想拿它实时监控一整个对话、或者在训练过程中做大规模监控目前算力上吃不消。不过他们同时认为这些问题未来是有机会缓解的。比如通过更轻量的模型、更高效的训练方法或者只监控关键activation而不是全量分析。NLA或许并不是唯一方案。未来真正重要的可能不只是“AI能力有多强”而是当AI越来越强时人类还能不能看懂它。同样值得一提的是Anthropic这次没把NLA攥在自己手里而是选择了开源。他们把训练代码挂上了GitHub还和Neuronpedia合作做了交互式前端任何人都能在线给几个开源模型做“读心”实验。P.S. Neuronpedia是一个专注于“机械可解释性”研究的开放平台。One More Thing老实说NLA真正让人触动的地方可能不是“我们终于能看懂AI了”而是——它竟然真的具备人类的某种意识特征比如“心口不一”。写到这儿说实话有点复杂。我们这代人聊AI聊了这么多年“有没有意识”——靠猜、靠辩、靠从输出里反推。这事儿一直悬在那儿谁也说不清谁也不敢说清。而NLA的厉害之处在于它没去回答这个问题但它把这个问题从哲学层面拉到了可观测的层面。这意味着什么意味着我们第一次不用再隔着一层玻璃看AI了。它脑子里那点“小九九”终于能被我们听到一点了。而知道AI在想什么可能恰恰是未来人机共处的起点。毕竟甭管是把酒言欢还是针锋谈判搞清对方的想法永远是第一步。开源地址https://github.com/kitft/natural_language_autoencoders在线体验地址https://t.co/8duHfPR1Jy参考链接[1]https://x.com/AnthropicAI/status/2052435436157452769[2]https://www.anthropic.com/research/natural-language-autoencoders[3]https://news.ycombinator.com/item?id48052537一键三连「点赞」「转发」「小心心」欢迎在评论区留下你的想法—完—5月20日我们将在北京金茂万丽酒店举办一年一度的中国AIGC产业峰会。首波嘉宾阵容已公布昆仑万维方汉、智谱吴玮杰、EverMind邓亚峰、风行在线易正朝、百度秒哒朱广翔、Fusion Fund张璐、香港大学黄超、MarsWave冯雷都来了了解详情请你和我们一起不再只是讨论AI的未来而是现在就用起来。 报名参会一键关注 点亮星标