Shannon 没有想到的事——当信息论遇上有限算力

从一个日常经验开始你有没有过这种体验——打开一本教科书前三页还能跟上到第四页突然看不懂了。每个字你都认识但连在一起就变成了噪音。你翻回去重读还是不行。于是你合上书换了一本入门版同样的知识换一种讲法突然就懂了。信息没有变。书里写的还是同一件事。变的是你能不能处理它。现在问一个稍微奇怪的问题那本你看不懂的教科书对你来说信息量是多少Shannon 的信息论会说和入门版一样多。信息量是数据本身的属性和谁在读无关。但你的直觉说不对。那本我看不懂的书对我来说信息量接近于零——因为我什么都没学到。你的直觉是对的。Shannon 的理论也没错。矛盾出在一个被忽略了 78 年的假设上。同一本书不同的读者看到完全不同的信息量Shannon 漏掉了什么Claude Shannon 在 1948 年创立了信息论。这是 20 世纪最伟大的数学成就之一——它定义了信息是什么证明了压缩、预测和理解在数学上是同一件事奠定了整个现代通信工业的基础。我在之前的 信息论文章 里花了一整篇来讲这件事在 开篇语 里把压缩即智能这五个字当作这个系列的基石。但 Shannon 解决的问题是通信——我这端有一段数据怎么通过一根嘈杂的电话线传到你那端不丢失、不出错。对这个问题来说谁在收不重要——你是人还是机器收到的比特数是一样的。所以 Shannon 隐式地假设了观察者有无限的计算能力。这个假设在通信领域完全无害甚至很优雅。但今天的核心问题变了。不再是怎么传数据而是——给一堆数据能从里面学到多少有用的东西这是一个根本不同的问题。在这个问题里谁在学变得至关重要。同样的数据GPT-2 和 GPT-4 学到的东西不同人类和 LLM 学到的也不同。甚至同一个人精力充沛和疲惫不堪时从同样的数据中学到的也不同。Shannon 的框架里没有地方放学习者的能力这个变量。78 年来这不是问题——因为我们主要在做通信。但自从 LLM 出现这个缺失就开始挡路了。2026 年 1 月CMU 和 NYU 的六位研究者Finzi, Qiu, Jiang 等人在一篇名为From Entropy to Epiplexity的论文中arXiv: 2601.03220正式补上了这个缺口。在讲他们怎么补的之前我想先让你感受一下这个缺口到底有多大。三个让人不安的事实事实一从无中创造有2017 年 12 月 5 日DeepMind 发了一篇论文。AlphaZero——一个从零开始、仅靠自我对弈的 AI——用 4 小时学会了国际象棋然后击败了人类花 40 年调教出来的最强引擎 Stockfish。AlphaZero 的输入是什么国际象棋的规则——几百行代码几 KB 大小。它的输出需要数十兆字节权重才能存储的超人棋力。那些前所未见的弃子攻击、匪夷所思的开局创新——象棋界的人看到后说这不像机器下的棋这像是来自外星文明。问题来了这些知识从哪里来的Shannon 的信息论说确定性变换不能增加信息。规则进去规则出来信息量守恒。AlphaZero 没有从外部获取任何数据。所以按 Shannon 的理论它不应该产生新信息。但几十兆字节的超人棋力显然不是没有新信息。AlphaZero 的棋局从简单规则中涌现的超人直觉事实二顺序不应该重要但它重要论文里引用了一段 Ilya SutskeverOpenAI 联合创始人的话让我印象很深你在读一本推理小说。读到某一页文字揭示了凶手的身份。如果模型能预测出那个名字……那它一定是从前面的线索中推理出了谁是凶手。但写书的人不需要做这个推理。作者先选好了凶手再倒过来编织线索。写作方向和阅读方向是反的——一个轻松写意一个烧脑至极。写作方向和阅读方向是相反的——一个轻松写意一个烧脑至极同样的故事从结局倒着读和从开头正着读包含的信息一样吗Shannon 说一样。信息量和顺序无关这是信息论的基本性质。H(X, Y) H(X) H(Y|X) H(Y) H(X|Y)但做 LLM 训练的人都知道英语文本正着建模比倒着建模效果好得多。更极端的例子——两个大素数 p 和 q算乘积 N p × q 一秒搞定反过来给你 N 让你分解整个密码学工业建立在这件事算不出来的基础上。同样的信息调换一下方向学习难度天壤之别。事实三学生可以比老师更聪明Conway 的生命游戏——可能是最著名的涌现案例。规则简单到只需要三行对每个细胞 活邻居 3 → 活 活邻居 2 且自己活 → 活 否则 → 死但从这三行规则出发会涌现出滑翔机一种会斜向移动的结构、枪周期性发射滑翔机的装置、甚至理论上的通用计算机。Conway 的生命游戏Gosper 滑翔机枪——简单规则涌现复杂行为如果你训练一个 LLM 来预测生命游戏的演化它必须学到这些涌现概念——否则它没法做出好的预测。但这些概念完全不在那三行规则里。模型学到的内部程序比生成数据的程序复杂得多。这违反了模型最多只能学到数据源的水平这个直觉。同一串数字你看到了什么这三个事实指向同一个裂缝。要理解它先看一个你每天都在经历的现象。你手机上的每一次加密通信——微信消息、银行转账、HTTPS 网页——都依赖伪随机数生成器。原理很简单给一个短短的种子比如数字 42通过确定性算法吐出一长串看起来完全无规律的数字。如果 Shannon 本人来看这串数字他会说信息量等于种子的长度几十个 bit 而已。因为存在一个程序能完美重现整个序列——种子加算法搞定。但如果你把这串数字交给世界上最强的 AI让它看前一万个数字预测第一万零一个它做不到。不是模型不够大不是训练不够久。而是在有限时间内不存在任何算法能区分这串伪随机数和真正的随机数。这是现代密码学的基石——如果谁能做到你的银行账户、你的微信聊天记录、全世界的加密系统全部裸奔。同一串数字两个观察者看到了完全不同的东西对有无限算力的 Shannon 观察者这串数字几乎不包含信息一个短种子而已。对有限算力的你我和 LLM这串数字就是完全随机的每一位都是全新的、不可预测的信息。同一个对象。同一串 bit。因为观察者的算力不同包含多少信息完全不同。这就是 Shannon 漏掉的东西信息不是数据的固有属性而是数据和观察者之间的关系。损失曲线里藏着答案论文提出的核心概念叫epiplexity认知复杂度。名字有点唬人但直觉非常简单——简单到可以用一张图说清楚。核心直觉损失曲线的两部分 结构 随机如果你训练过 AI 模型或者哪怕只是看过训练过程的截图你一定见过这样的损失曲线一开始 loss 很高然后慢慢下降最后趋于平稳。论文说这条曲线天然地把数据里的信息切成了两半。上半部分——loss下降的那部分面积——是模型通过训练真的学到了的东西。语法规则、逻辑关系、因果常识……所有让模型变聪明的结构性知识。论文给它起了个名字epiplexity。下半部分——loss不再下降后的残余——是模型学完了所有能学的之后仍然无法预测的随机噪声。明天的天气精确到每一朵云的形状、下一个用户会打什么错别字——这些信息量巨大但没有可学习的规律。论文叫它时间有界熵。Shannon 的经典理论只看总面积——它不区分这两部分。但对实际的 AI 训练、对人类学习来说我们真正关心的只有蓝色区域——那些能被学到、能被复用、能被迁移到新任务的结构。一个直觉类比你读一本书。书里的信息分两种——你读完后记住并理解的部分epiplexity和你怎么也记不住的随机细节比如第 137 页第 3 行第 5 个字时间有界熵。总信息量一样但前者才是你真正学到的。回到那三个不安的事实有了 epiplexity前面那三个让人不安的事实就都有解释了。计算可以创造结构论文用细胞自动机做了一个漂亮的实验。什么是细胞自动机想象一排格子每个格子只有黑白两种颜色。每一步每个格子根据自己和左右邻居的颜色按一个固定规则翻转。规则极其简单——只有一行逻辑。但不同的规则产生了天壤之别的结果同一种确定性变换产生完全不同的信息结构规则 15简单的条纹像壁纸图案。模型一眼看穿。就像一首只有 Do Re Mi 三个音符的练习曲——没什么可学的。规则 30一片混沌看不出任何规律。模型训练到天荒地老也无法降低 loss。这就是我们刚才说的伪随机数的原型——确定性过程产生了对有限观察者来说完全随机的结果。信息量巨大但全是噪声。规则 54最有意思——复杂但不混乱。你仔细看能看到一些粒子在移动、碰撞、产生新粒子。模型的 loss 缓慢但稳定地下降。它在一点一点发现这些隐藏的规律。这就是高 epiplexity 的数据——充满了值得学习的结构。三种规则的输入完全相同程序复杂度也几乎一样。但对有限算力的模型来说它们创造出了截然不同的可学信息。所以 AlphaZero 不神秘了。国际象棋的规则很简单但通过海量计算自我对弈这个确定性过程为有限观察者创造了大量结构性信息。Shannon 说信息没有增加——对无限算力的上帝来说确实如此。但对我们这些有限观察者来说那些弃子攻击和开局创新就是被计算挖掘出来的、全新的结构。困难的方向教会你更多论文在国际象棋上做了一个让我拍案叫绝的实验。同一批棋谱两种喂法•正序先给棋步1.e4 e5 2.Nf3...再给最终棋盘状态•逆序先给最终棋盘状态再给棋步正序就像看直播——沿着棋步走最终棋盘可以一步步算出来。逆序就像推理小说倒着读——给你结局让你反推过程。国际象棋实验更难的顺序 → 更多结构 → 更强迁移结果逆序更难学loss 更高。但模型学到了更多的结构性信息epiplexity 更高。更惊人的是在下游任务上——解棋局谜题、评估局面优势——逆序模型的迁移效果碾压正序。为什么正序模型可以偷懒——它只需要学会模拟规则的正向执行。但逆序模型没有捷径。它被逼着去理解棋局的内在逻辑。这种被逼出来的深层理解恰好是下游任务需要的。这个发现有一种禅意学得越痛苦的方向越可能是正确的方向。因为痛苦意味着你不能走捷径必须建立真正的理解。涌现超越规则生命游戏的实验更直接。论文做了一个对比给模型足够的算力逐步展开中间状态 → 模型找到了暴力模拟的笨办法epiplexity 暴跌——因为它只需要记住那三行规则反复执行就行。限制模型的算力→ 模型被迫学习涌现出来的高层规律粒子的运动、碰撞、产生epiplexity 持续上升。当算力不够暴力求解时模型必须变得比数据的生成过程更聪明。这就是涌现——我在 《为什么矩阵和激活函数就能涌现智能》 里讨论过这个现象。epiplexity 给了我们第一个精确测量涌现的工具。一个改变我理解的发现到这里epiplexity 可能还只是一个有趣的理论概念。但接下来这个实验结果直接让我重新理解了 AI 训练这件事。论文把 10 亿 token 的三种数据放在一起分解它们的信息构成不同数据的信息构成谁是值得学的数据源结构性信息epiplexity占比随机信息占比自然语言OpenWebText约 37%约 63%国际象棋Lichess约 5%约 95%图像CIFAR-5M 1% 99%你没有看错。图像数据中超过 99% 的信息都是噪声。想想看一张猫的照片这件事。照片里有什么信息每一根猫毛的精确走向、背景墙上每一个像素的确切颜色、光影的微妙渐变——这些信息量巨大但你需要知道这些吗你只需要知道这是一只猫。那根关键的信息——猫——在全部像素信息中占的比例微乎其微。而自然语言呢水在零度以下会——下一个词几乎确定是结冰。这个可预测性不是噪音这是人类文明几千年积累下来的结构化知识——因果关系、物理规律、常识推理全部编码在语言的结构里。三种自然数据的信息分解语言中的结构性信息大约是图像的 10000 倍。四个数量级。这就解释了一个 AI 领域所有人都注意到但没人能解释清楚的现象为什么 GPT 在文本上预训练后能做数学、写代码、控制机器人——因为它吸收了天量的可迁移结构。而在图像上预训练的模型迁移能力弱得多——因为它的大部分学习带宽浪费在了记忆不可迁移的随机像素上。一个颠覆性的实践结论传统 AI 研究的核心问题是模型选择——给定数据什么架构最好、什么超参数最优。但 epiplexity 说也许你问错了问题。真正的关键是数据选择。论文验证了这一点。一种叫 ADO 的数据选择策略会动态调整训练数据的采样分布优先选择 loss 下降更快的数据子集。这个策略无意中在最大化 epiplexity——它在自动筛选结构信息密度最高的数据。结果更好的下游表现更强的泛化能力。Chinchilla 定律 告诉我们要用多少数据。Epiplexity 回答下一个问题要用什么数据。这和你有什么关系如果你读到这里心想这是 AI 研究者的事和我没关系——恰恰相反。你就是一个有限算力的观察者。你的大脑有 860 亿个神经元处理速度大概几百赫兹——和 GPU 的万亿次运算相比微不足道。你一辈子能读的书、能经历的事、能处理的信息都是严格有限的。但你依然能理解世界。怎么做到的你做的事情恰好就是 epiplexity 描述的事情在有限的算力下从海量数据中提取结构。你不会去记每片落叶的纹路那是时间有界熵——随机的、不可学习的噪声但你会学到秋天叶子会变黄那是 epiplexity——可复用的结构性知识。你不会记住每顿饭的每一口味道但你会学到盐放多了会咸。你不会记住每次对话的每一个字但你会学到这个人说话靠不靠谱。这不就是人类智能的核心吗在有限的生命里从看似混沌的世界中提取出尽可能多的规律。甚至——你此刻阅读这篇文章的过程就是一个活生生的例子。这篇文章有几千字包含大量信息。但你不会也不需要记住每个字。你会记住的是几个关键结构信息量取决于观察者、语言比图像更值得学、困难的学习方向可能更好。这些就是这篇文章对你的 epiplexity——你从这些文字中真正提取出来的结构。如果我写得太学术、太抽象你读着读着跟不上了——那一刻发生的事情恰好就是 epiplexity 为零的状态信息量巨大但对你这个有限算力的观察者来说全部变成了噪声。你什么都没学到阅读就中断了。这就是为什么好的教育如此重要。好的老师本质上就在做 epiplexity 最大化。他们不会让学生死记硬背那是喂低 epiplexity 的数据——记了就忘的随机细节。他们用精心选择的例子、由浅入深的顺序、恰到好处的难度让学生在有限的学习时间里提取到最多的结构。论文里逆序学国际象棋反而学得更深的发现和教育学里一个著名理论惊人地吻合——适度的困难desirable difficulty促进深层学习。太简单的材料学生不需要建立新的认知结构就能应付太难的材料超出处理能力变成噪声。只有在够得着但要跳一跳的难度区间里大脑才会被迫建立新的理解框架——也就是提取新的结构性信息。所以这篇论文说的不只是 AI 的事。它说的是所有有限智能体——不管是 LLM 还是人类——如何从世界中获取知识。兴趣被低估的算力加速器但论文没有讨论、而框架却完美解释的一个东西是——兴趣。想一件你真正着迷的事。可能是编程可能是做菜可能是打篮球可能是养花。回忆一下你沉浸其中的状态时间消失了注意力像激光一样聚焦每一个细节都在你脑子里留下清晰的纹路。再想一件你毫无兴趣的事。也许是大学里一门被迫选的课。老师在讲台上说的每句话都是合法的中文句子但你的大脑就是拒绝处理它们。一个小时过去了笔记本上是空的脑子里也是空的。同样的数据。同样的你。唯一的区别是——兴趣。从 epiplexity 的角度看兴趣做了一件很具体的事它临时升级了你的硬件。当你感兴趣时大脑会分配更多的注意力、更多的工作记忆、释放更多的多巴胺这会增强突触可塑性也就是记忆力。用论文的语言说你从一个算力较低的观察者变成了一个算力更高的观察者。同一份数据你能提取出更多的结构。那本在凌晨两点备考时让你昏昏欲睡的统计学教材——当你在工作中遇到一个真正需要回归分析才能回答的问题时再去翻它同样的公式突然变得清晰、有力、有用。数据没变。你的算力变了。因为兴趣和需求给了你更强的处理能力。天赋出厂配置不同的观察者更深一层为什么有人天生着迷于音乐有人着迷于数学有人着迷于语言也许答案是——每个人的大脑架构让不同类型的数据对你呈现出不同的 epiplexity。一个有音乐天赋的孩子听到一段旋律时他的听觉皮层能从中提取出非音乐人根本听不见的结构——和弦走向、节奏变化、调性张力。不是因为声波不同是因为观察者不同。同样一段音频对他来说充满了可学的结构高 epiplexity对另一个人来说就是好听的背景音低 epiplexity。反过来那个听不出和弦色彩的人可能看一眼代码就能感受到架构的优雅和冗余——这是程序员的音乐天赋。所谓天赋也许就是你的大脑对某种数据天生有更高的结构提取效率。这不是鸡汤。这是一个可以指导行动的洞察。学习的正反馈循环兴趣和天赋会触发一个强大的正反馈循环兴趣 → 更多注意力更高算力 → 提取更多结构 → 理解加深 → 原来还有这么多有意思的东西 → 更强的兴趣 → ……这就是为什么有些人在某个领域越学越快——不是他们变聪明了是循环在加速。每一轮提取出的结构都成为下一轮提取的脚手架。就像论文里说的国际象棋逆序实验——前面学到的深层结构让后面的学习变得更高效。反过来如果一开始就被迫学习你不感兴趣的东西低算力状态提取不到结构低 epiplexity感觉全是噪声于是更没兴趣恶性循环。这解释了一个每个人都经历过但很难说清的现象为什么学不进去的感觉和学得飞快的感觉差别那么大。不是意志力的问题是你此刻的有效算力决定了你能从这份数据中提取多少结构。好的内容创作者在做什么如果你接受了这个框架那好的老师和好的内容创作者在做什么就很清楚了——他们同时在做两件事第一选择高 epiplexity 的数据。不是所有信息都值得传达。好的内容只传递结构——那些读者听完之后能记住、能复用、能迁移到其他场景的东西。冗余的细节、不必要的术语、为了显示专业性的复杂表述——这些都是噪声。第二提升读者的有效算力。怎么提升激发兴趣。用故事代替定义用悬念代替目录用这和你有什么关系代替本文将讨论以下三个方面。当读者的好奇心被点燃时他们的注意力集中了处理能力上升了——同样的内容他们能从中提取出更多的结构。所以一篇好文章的目标不是传递信息——而是最大化读者的 epiplexity。传递的信息要富含结构同时要让读者处于最佳的接收状态。这也许是我写这个系列文章以来找到的最精确的一句话好的写作 高结构密度 × 高读者算力。前者靠选材和提炼后者靠兴趣和共鸣。接下来会发生什么这篇论文不是终点而是起点。它打开了几个方向对 AI 训练来说——数据选择将从凭直觉和经验走向有理论指导。不是所有数据都值得拿来训练。高 epiplexity 的数据自然语言 图像应该被优先使用。合成数据的设计不再是盲目的——目标是创造高结构信息密度的训练材料。对理解智能本身来说——epiplexity 提供了第一个将计算能力和信息放在同一个框架里的数学工具。Shannon 把信息论从通信中抽象出来这篇论文把学习者的算力重新放了回去。这可能催生一个新的数学分支——计算感知的信息论compute-aware information theory。对我们理解自身来说——它既是一种谦逊也是一种力量。谦逊在于我们永远是有限的观察者。世界中存在大量信息但我们能提取出来的结构永远只是其中一小部分。这不是失败这是物理现实。力量在于正是因为知道了这个边界在哪里我们才能优化在边界之内能做的事。Shannon 告诉工程师通信极限在这里结果是整个通信工业逼近了那个极限。Epiplexity 告诉我们你的学习能力的极限在这里——下一步就是想办法逼近它。写在最后Shannon 在 1948 年画出了信息传输的数学地图。78 年来这张地图指引了整个数字文明。但这张地图有一个隐含的假设使用地图的人拥有无限的视力能看清地图上的每一个细节。现实是我们都是近视的。这篇论文做的事情是给这张地图加上了一个新的维度——观察者的能力。同一张地图戴不同度数的眼镜看到的细节不同能走通的路也不同。这不是否定 Shannon。这是说Shannon 画了一张完美的、上帝视角的地图。但我们需要的是一张为近视的人画的地图——一张告诉你以你的视力这条路你能看清那条路对你来说只是模糊的噪点的地图。人类几千年来做的事——创造语言、发现定律、建立数学、发展科学——本质上都是同一件事用有限的大脑从看似混沌的世界中一点一点地提取结构。LLM 做的也是同一件事。只是用不同的方式在不同的尺度上。智能的本质不是知道一切而是在算力的边界上尽可能多地理解世界的结构。论文信息Marc Finzi, Shikai Qiu, Yiding Jiang, Pavel Izmailov, Andrew Gordon Wilson, J. Zico Kolter.From Entropy to Epiplexity: Rethinking Information for Computationally Bounded Intelligence.arXiv:2601.03220, January 2026.参考https://github.com/shikaiqiu/epiplexityAI-lab学习笔记 | 压缩即智能