Yann LeCun 说 LLM 要过时？我用开源框架在 7 天复现「世界模型」雏形

文章目录前言为什么 LLM 是街溜子背书王世界模型让 AI 从读死书变成过生活七天复现计划从理论到跑通代码Day 1环境准备与认识 JEPADay 2手写 Masking 策略核心脏活Day 3搭建双塔架构Siamese TwinsDay 4-5训练与调参地狱Day 6验证它是否真懂物理Day 7接入机器人控制终极试炼残酷现实为什么世界模型还不敢接管你的世界未来已来当 AI 开始想象结语选择你的阵营目前国内还是很缺AI人才的希望更多人能真正加入到AI行业共同促进行业进步增强我国的AI竞争力。想要系统学习AI知识的朋友可以看看我精心打磨的教程 http://blog.csdn.net/jiangjunshow教程通俗易懂高中生都能看懂还有各种段子风趣幽默从深度学习基础原理到各领域实战应用都有讲解我22年的AI积累全在里面了。注意教程仅限真正想入门AI的朋友否则看看零散的博文就够了。前言当 AI 还在背单词时婴儿已经学会重力了去年冬天我在咖啡厅目睹了一个让我怀疑人生的场景。隔壁桌一个还在流口水的小屁孩把勺子从餐椅上扔了下去看着它落地然后咯咯笑。重复了三次他似乎已经掌握了东西会往下掉这个宇宙真理。与此同时我手机里装的某款大模型——烧了几十亿度电、啃完互联网所有文本的巨兽——面对我提出的如果把玻璃杯推下桌子会怎样可能会一本正经地告诉我“根据热力学第二定律玻璃杯将经历熵增过程并转化为量子态玻色-爱因斯坦凝聚物”。这就是 Yann LeCun 在 2025 年底那场著名的 MIT 演讲里痛批的现状“LLM 能通过律师资格考试但清不了一张餐桌。”这位图灵奖得主、深度学习教父、Meta 前首席 AI 科学家在去年 11 月走进扎克伯格办公室递辞呈时留下一句话“这玩意儿我自己干能更快更便宜更好。”四个月后他的新公司 AMI Labs 宣布融资 10.3 亿美元估值 35 亿——整个公司只有 12 个人零产品零收入只有一套叫 JEPA 的架构理论。投资人的名单亮瞎眼NVIDIA、贝佐斯、埃里克·施密特、马克·库班……他们赌的不是另一个 ChatGPT。他们赌的是世界模型World Models——一种不背课文、而是像婴儿一样通过观察世界来学习的 AI。为什么 LLM 是街溜子背书王先别急着喷我贬低 LLM。我自己也是靠 GPT 写代码养家的但必须承认 LeCun 戳中了一个尴尬事实大语言模型本质上是个超级记忆力好的街溜子。它读过全人类写的所有书但从未真正生活过。当你问它草莓里有几个 r它会自信满满地回答两个因为它见过无数次strawberry这个拼写却从未真正看过草莓数过那三颗该死的 r。更致命的是因果推理的缺失。LeCun 举过那个经典例子LLM 知道玻璃和破碎这两个词经常一起出现但它不明白为什么——它不知道重力、不知道材质脆性、不知道动能转化它只统计了词语共现概率。2024 年的数学证明已经实锤LLM 作为通用问题求解器必然会幻觉因为它们基于统计模式匹配而非对物理现实的真实理解。这就是为什么你的 AI 助手会在代码里自信地引用不存在的 API会建议病人每天吃一块石头补充矿物质会把红色描述成一种可以听得见的味道。世界模型让 AI 从读死书变成过生活LeCun 的野心是造出一种完全不同的 AI不是从文本学习而是从视频、传感器、物理交互中学习。这种 AI 要内化一个世界模型——一个对现实的内部模拟器能预测如果我推这个杯子它会掉下去碎掉而不是预测推杯子之后下一个词是碎。这就是JEPAJoint Embedding Predictive Architecture联合嵌入预测架构。听着拗口其实逻辑贼简单传统生成式 AI比如 Sora的做法是看一帧视频预测下一帧的每一个像素——这相当于要求 AI 成为一台高精度复印机把世界每个细节包括风吹动的每片叶子都复刻出来成本爆炸且没必要。JEPA 的做法更像人脑它把视频帧编码成一个抽象表征representation——想象成一种思维速写只保留关键信息物体位置、运动方向、因果关系然后预测的是下一帧的速写会长什么样。它不重建像素只重建理解。Meta 在 2024 年开源的V-JEPA就是这个思路看一段视频遮住后面的帧让模型预测被遮住部分的抽象特征而非具体画面。实验表明这种方法训练效率比生成式视频模型高 6 倍而且学出来的表征对下游任务比如动作识别、物体追踪异常好用。最新的V-JEPA 2更进一步不仅能理解视频还能做规划——输入把杯子放到桌上这个目标它能在内部模拟不同动作序列的后果选出最优执行方案。这才是真正的世界模型不仅理解世界还能在其中想象未来。七天复现计划从理论到跑通代码说了半天玄学概念是时候上手开干了。下面这七天路线图基于 Meta 官方开源的 I-JEPA图像版和 V-JEPA视频版代码以及社区最新的复现教程目标是让你在自己的机器上跑出一个能理解物理世界的最小原型。Day 1环境准备与认识 JEPA别被那些高大上的论文吓到JEPA 的核心代码其实就几十行。先去 GitHub 把官方仓库拉下来gitclone https://github.com/facebookresearch/ijepa.gitcdijepa环境要求很亲民Python 3.9PyTorch 2.0单张 A100 就能跑虽然 3090 也能凑合就是慢点关键概念预习JEPA 有两个编码器Encoder一个叫 Context上下文一个叫 Target目标。Context 看的是可见区域Target 是被遮住的区域。模型的任务是用 Context 的表征预测 Target 的表征——注意是表征一堆数字向量不是像素。Day 2手写 Masking 策略核心脏活这是 JEPA 的灵魂。你需要随机遮住图片的某些块patches但得遮得巧妙——不能遮太简单比如全遮背景也不能全遮主体。参考这个社区优化版的 Multi-Block Masking Collator核心逻辑是随机采样 4 个不同大小、不同长宽比的遮罩块既保留足够的上下文context又设置有挑战性的预测目标targetimporttorchimportrandomimportmathfromtypingimportTupleclassMultiBlockMaskCollator:def__init__(self,img_size224,patch_size16,num_targets4):self.num_patches_sideimg_size//patch_size# 14x14 gridself.num_targetsnum_targetsdefsample_block_size(self,scale:Tuple[float,float],aspect_ratio:Tuple[float,float]):# 随机采样遮罩块面积占全图15%-20%和长宽比0.75-1.5target_arearandom.uniform(*scale)*(self.num_patches_side**2)arrandom.uniform(*aspect_ratio)hint(round(math.sqrt(target_area/ar)))wint(round(math.sqrt(target_area*ar)))returnh,wdef__call__(self,batch):# 对每个样本生成 context 和 target 的索引# context 是可见区域target 是被遮住的预测目标pass# 具体实现参考开源仓库这个遮罩策略直接决定模型能不能学到有用的物理表征。遮得好模型被迫理解物体的连续性遮得不好模型学会的就是填色游戏。Day 3搭建双塔架构Siamese TwinsJEPA 的核心架构长得像个双子塔两个 Encoder一个处理 Context一个处理 Target。注意Target Encoder 是不梯度更新的靠动量更新momentum update这是为了防止模型作弊——直接复制过去就算预测了。importtorch.nnasnnclassJEPA(nn.Module):def__init__(self,vit_modelvit_base):super().__init__()# Context 编码器带预测头self.context_encoderVisionTransformer(model_namevit_model)self.predictorPredictorTransformer()# 轻量级的预测网络# Target 编码器动量更新不直接训练self.target_encoderVisionTransformer(model_namevit_model)defforward(self,context_images,target_images):# 获取上下文表征context_reprself.context_encoder(context_images)# 预测目标表征在抽象空间做预测而非像素空间predicted_targetself.predictor(context_repr)# 计算与真实目标表征的距离能量函数withtorch.no_grad():actual_targetself.target_encoder(target_images)lossnn.functional.mse_loss(predicted_target,actual_target)returnloss这里的关键是我们比较的是两堆向量的相似度而非两张图片的像素差异。这让模型专注于学玻璃会碎这种物理规律而不是学玻璃碎片有 37 个像素宽这种无用细节。Day 4-5训练与调参地狱找个小数据集开始炼比如 ImageNet-1K 的子集或者自己录点视频如果你有 V-JEPA 的需求。训练时最诡异的参数是那个能量函数Energy Function的 margin——LeCun 是能量模型Energy-Based Model的死忠粉他训练 JEPA 不是最小化交叉熵而是最小化好预测的能耗与坏预测的能耗之间的差距。坑点预警JEPA 对 batch size 敏感太小256容易学崩表征坍塌成常数向量。如果显存不够记得开 gradient checkpointing。训练 loss 曲线应该呈现奇妙的**“震荡下降”**——不像普通分类任务那么平滑因为模型在挣扎今天学会物体恒存性明天发现阴影会动又推翻重来。这恰是世界模型的魅力它在构建对物理因果的理解而非死记硬背标签。Day 6验证它是否真懂物理训完别急着欢呼得测测这模型是真懂世界还是又一个作弊狂。LeCun 推荐的测试叫线性探测Linear Probes冻结 JEPA 编码器只训练一个线性分类头看它在下游任务物体检测、深度估计、动作识别上的表现。如果 JEPA 学好了物理表征即使只加个线性层它也能在 Something-Something-v2动作识别数据集上取得不错成绩——因为它已经理解了推、拉、掉落、遮挡这些物理概念。另一个土味测试喂给它一段**反物理视频**——比如球向上滚、水往高处流。JEPA 应该给出高能量值预测误差大因为它没见过这种违反物理规律的事。而 LLM 可能会告诉你“根据牛顿第零定律水可以往高处流如果它有梦想。”Day 7接入机器人控制终极试炼这是最能区分玩具和工具的一步。用训好的 V-JEPA 2 做动作规划fromtransformersimportAutoVideoProcessor,AutoModel# 加载预训练的 V-JEPA 2modelAutoModel.from_pretrained(facebook/vjepa2-vitl-fpc64-256)processorAutoVideoProcessor.from_pretrained(facebook/vjepa2-vitl-fpc64-256)# 目标把杯子放到桌上用视频帧描述目标状态goal_videoload_video(cup_on_table.mp4)goal_embeddingmodel.get_vision_features(processor(goal_video))# 当前状态current_videoget_robot_camera_feed()current_embeddingmodel.get_vision_features(processor(current_video))# 用交叉熵方法CEM优化动作序列actionsoptimize_actions_with_cem(current_embedding,goal_embedding,model)如果这七天你熬过来了你会得到一个奇怪的东西它不会写诗不会陪你唠嗑但它看一段 10 秒视频就能告诉你那个红杯子大概 0.5 秒后会掉下桌子——这种对物理未来的直觉正是 LeCun 认为的 AGI 基石。残酷现实为什么世界模型还不敢接管你的世界别被 AMI Labs 那 10 亿美金融资冲昏头脑LeCun 自己承认当前系统还远未达到人类水平智能。世界模型有几个要命的坑算力黑洞视频数据比文本大几个数量级。训 LLM 吃文本一本《红楼梦》也就几 MB训世界模型吃视频一分钟 1080p 视频就是 1GB。Meta 的 V-JEPA 用了 64 张 A100 训了两周才有个雏形。评估困难你怎么知道模型理解了重力你只能看它预测准不准但预测不准可能是因为没理解也可能只是风把落叶吹歪了。没有标准化考试能测物理常识这让学术圈至今扯皮不休。商业化的尴尬LLM 立刻能卖——写文案、编代码、陪聊天全是来钱快的活儿。世界模型目前的最佳应用场景是机器人研发和工业仿真——这赛道周期长、投入重、客户挑剔不像 ChatGPT 那样能三个月回本。但这就是 LeCun 离开 Meta 单干的原因。他说得很直白“在 Meta我不得不跟着行业卷 LLM但那是条死路。我想造的是能理解物理世界的 AI不是更会忽悠的复读机。”未来已来当 AI 开始想象2026 年的风向标已经很明显。NVIDIA 押注 Cosmos 世界模型平台Fei-Fei Li 的 World Labs 融资 10 亿搞空间智能LeCun 的 AMI Labs 再砸 10 亿。钱流向哪里聪明人的时间就流向哪里。想象这样一个场景你戴着 AR 眼镜看厨房AI 在后台跑着一个世界模型。它看到你把鸡蛋放在桌边立刻预测到 3 秒后鸡蛋会滚落于是在你视网膜上投影一条红线“危险往左推 5 厘米。”这不是基于规则编程而是 AI 真的在脑海里想象了未来。或者医疗场景AMI Labs 的第一个合作方是 Nabla医疗 AI因为医院里的幻觉真的会杀人。世界模型可以内建一个**“人体物理模拟器”**理解器官、血流、药物代谢的因果链而不是只是背诵医学文献里的统计学相关性。这种 AI 不擅长陪你聊莎士比亚但它不会建议你把电池和硬币一起吞下去——因为它知道短路会发生什么。结语选择你的阵营现在的 AI 圈像极了 2007 年的智能手机大战。一边是 OpenAI、Anthropic 代表的**“Scaling 派”只要 GPU 够多LLM 就能一路飙到超智能。另一边是 LeCun 的结构派**没对世界的基本理解堆再多参数也是空中楼阁。作为开发者你不用急着站队。去 GitHub 上拉下facebookresearch/jepa的代码花七天跑一遍上面的流程。当你看到模型在抽象空间里预测出球的运动轨迹时那种震撼不同于第一次见 GPT 写诗——这是见证某种原始智能的苏醒。LeCun 说“通往超智能的路 via LLM 是 complete bullshit永远行不通。”这话可能过于绝对但他确实指出了一个被忽视的方向智能的起源不是语言而是世界。就像那个扔勺子的小屁孩人类最初学会的是重力。目前国内还是很缺AI人才的希望更多人能真正加入到AI行业共同促进行业进步增强我国的AI竞争力。想要系统学习AI知识的朋友可以看看我精心打磨的教程 http://blog.csdn.net/jiangjunshow教程通俗易懂高中生都能看懂还有各种段子风趣幽默从深度学习基础原理到各领域实战应用都有讲解我22年的AI积累全在里面了。注意教程仅限真正想入门AI的朋友否则看看零散的博文就够了。