ASI-Evolve: 让AI自己搞研究、自己做实验、自己迭代进化 -- 这事靠谱吗？

你有没有想过一个问题我们每天都在用AI做各种事情但AI研究本身——设计更好的模型架构、清洗更高质量的数据、发明新的训练算法——还是得靠人类研究者一行行写代码、一轮轮跑实验、一遍遍分析结果。这个过程有多慢一个博士生探索一种新的注意力机制可能要花几周写代码调试跑一轮实验等几天出结果分析完再改设计又是一两周。而人脑能并行探索的假设空间极其有限——你同时能认真思考的方案也就两三个。那如果让AI来做这件事呢不是让AI帮你补全几行代码那种浅层辅助而是让AI完整地走完提出假设 - 设计方案 - 跑实验 - 分析结果 - 再提新假设这个闭环上海交通大学 GAIR-NLP 团队Pengfei Liu组最近放出了 ASI-Evolve一个面向 AI-for-AI 研究的 Agent 框架。1773 轮架构探索发现了 105 个超越 DeltaNet baseline 的线性注意力架构数据清洗 pipeline 平均涨 3.96 分MMLU 涨了 18.64 分RL 算法设计上AIME24 直接从 20.00 拉到 31.67。看到这些数的时候我的反应是如果这些结果是可复现的那这个方向的意义可能比大多数人想的要大。但也有几个地方让我皱眉——后面会聊。 论文信息标题ASI-Evolve: AI Accelerates AI作者Weixian Xu, Tiantian Mi, Yixiu Liu, Yang Nan, Zhimeng Zhou, Lyumanshan Ye, Lin Zhang, Yu Qiao, Pengfei Liu通讯作者机构上海交通大学 / 上海人工智能实验室 / GAIR-NLP日期2026年3月31日链接arXiv:2603.29640 | GitHub 这篇论文在解决什么问题AI 研发有三大核心支柱数据、架构、算法。每个方向的进步都依赖反复的假设-实验-分析循环。问题在于这个循环几乎完全依赖人力假设空间受限人脑能并行探索的方案数量很少实验周期长一个想法从构思到验证可能需要数周知识难以沉淀跨迭代的经验积累依赖个人直觉很难系统化传承之前的工作已经在不同层面尝试过让 AI 参与科研。DeepMind 的 FunSearch2023, Nature用 LLM 进化方法在函数空间搜索解决了组合优化问题AlphaEvolve2025更进一步能跨越数百行代码进化整个代码库优化了 Google 数据中心调度、TPU 电路设计还打破了矩阵乘法 56 年的记录。但这些工作有一个共同特点它们解决的是有明确评分函数的优化问题。给你一个函数能自动算分然后迭代改进。ASI-Evolve 想做的事更野一点——它瞄准的是 AI 研发本身涉及架构设计、数据清洗流程、强化学习算法这些反馈信号复杂、评估维度多元的问题。用论文的话说是要实现closed-loop AI research。ASI-Evolve 总览图AI加速AI研发的三大方向——数据、架构、算法并向数学、生物医学等领域迁移ASI-Evolve 的整体定位以AI的三大核心组件数据、架构、算法为研究对象通过 Agent 闭环实现自动化发现并验证了向数学和生物医学领域的可迁移性。 框架设计五个模块如何协作ASI-Evolve 的核心是一个learn-design-experiment-analyze循环由五个模块组成ASI-Evolve 框架流程图展示 Cognition、Researcher、Engineer、Analyzer、Database 五个模块的协作流程框架的五个核心模块Cognition 注入先验知识Researcher 生成候选方案Engineer 执行实验Analyzer 提炼分析报告Database 存储进化历史。逐个来看Cognition Base认知库– 这是系统的知识基础。把人类的先验知识设计原则、文献中的启发式规则编码进来用 embedding 索引在生成假设时检索相关知识。说到这个FunSearch 和 AlphaEvolve 都没有显式的知识注入模块它们主要靠 LLM 自身的隐式知识。ASI-Evolve 加这个模块的动机很直接AI 研发的搜索空间太大了纯靠随机探索效率太低需要用人类知识来暖启动。Researcher研究者– 从数据库中采样已有方案节点检索 Cognition 中的相关知识然后生成完整的候选程序附带自然语言的设计动机说明。采样策略支持 UCB1、Random、Greedy、MAP-Elites。Engineer工程师– 执行候选程序的实验返回结构化指标。支持 early rejection墙钟时间限制和快速测试。这个模块还包含静态检查 agent、调试 agent 和新颖性检查过滤重复方案。Analyzer分析器– 这个模块我觉得是 ASI-Evolve 跟前置工作拉开差距的关键。它不是简单地把实验分数传回去而是把多维度的实验信号多个指标、日志、traces蒸馏成紧凑的、面向决策的分析报告存起来供后续检索。这解决了一个实际问题AI 研发的反馈不像圆填充问题那样只有一个标量分数你需要理解为什么这个架构在 MMLU 上涨了但在 HellaSwag 上掉了。Database数据库– 持久化存储进化过的解决方案包括动机、代码、结果、分析和元数据。支持灵活的采样策略。 实验一架构设计 – 1773 轮探索105 个超越 baseline 的架构这是论文篇幅最大、也是我认为最有说服力的一组实验。任务在线性注意力架构空间中搜索baseline 是 DeltaNet一种结合了 delta rule 更新的线性注意力模型在 sub-quadratic 架构中表现不错。多阶段评估流程探索阶段~20M 参数2000步训练10 个核心 benchmark 各 500 样本验证阶段~340M 参数大规模验证~1.3B 参数100B token 训练1773 轮探索之后系统发现了 105 个超越 DeltaNet 的架构。从中选了 5 个代表性架构做大规模验证架构开发集平均泛化集平均核心创新DeltaNet (baseline)55.76%44.74%固定分配PathGateFusionNet56.42%44.99%层级路由本地/上下文处理动态切换ContentSharpRouter57.28%45.19%内容感知路由 可学习温度参数FusionGatedFIRNet56.73%45.40%独立 sigmoid 门替换 softmax 路由HierGateNet56.31%45.09%两阶段门控 动态可学习 floor 值AdaMultiPathGateNet56.89%45.23%token 级控制BalancedSparseGate最好的架构涨了 0.97 个点——论文说这是近 3 倍于近期人类设计改进的增益。坦率讲0.97 个点的绝对值不算炸裂但考虑到这是在 1.3B 规模、100B token 训练下的结果而且是自动发现的这个效率还是挺能打的。更值得关注的是这些架构收敛出来的设计模式——自适应、多尺度路由根据输入内容动态调整计算预算。这不是人类已知的最优做法而是系统自己摸索出来的方向。 实验二数据清洗 – MMLU 涨了 18 个点应用到 Nemotron-CC 数据集覆盖 STEM 领域的 672B token训练 3B 参数模型500B token指标原始数据ASI-Evolve 清洗后提升平均分40.1744.133.96MMLU27.4946.1318.64CSQA20.3139.1218.80MedQA26.7740.2513.48说实话MMLU 涨 18 个点这个数让我愣了一下。后来想想这是跟原始未清洗数据比而不是跟精心人工清洗的版本比所以这个基线选得比较低。不过 3.96 的平均提升还是实打实的。有意思的是系统自动发现的清洗策略收敛到了以清洗为主的方案有针对性地去除 HTML 残留、重复内容、PII加上格式标准化和领域感知的保留规则。这跟人类的经验基本一致——数据质量提升清洗比增强更管用。 实验三RL 算法设计 – 300 轮进化出三个新算法在 4B 和 14B 参数模型上基于 GRPO 框架做 RL 算法进化。300 轮之后发现了 3 个表现优异的算法14B 验证阶段结果指标基线进化后最优提升AMC3267.580.012.5AIME2420.0031.6711.67OlympiadBench45.9250.965.04三个算法的核心创新各有不同Pairwise Asymmetric Optimization用 tanh 归一化的成对奖励差异 非对称裁剪 高影响梯度 Dropout防止关键词过拟合Budget-Constrained Dynamic Radius基于百分位数的归一化 全局更新预算数学上保证策略更新幅度在预定义范围内这些不是简单的超参微调而是算法结构层面的创新。我觉得这是整篇论文最让人兴奋的部分——AIME24 从 20 涨到 31.67这在数学推理任务上是相当可观的提升。 框架对比与消融实验跟谁比Circle Packing 任务先看一个标准 benchmark——26 个圆在 1x1 正方形中的 circle packing 问题框架最优得分步数底层模型AlphaEvolve2.6359-GeminiOpenEvolve2.6343460-LoongFlow2.6360--SkyDiscover2.636089-ASI-Evolve2.6359717GPT-5-mini17 步就达到 SOTA 级别的分数而 OpenEvolve 需要 460 步。效率差了一个数量级。框架对比图ASI-Evolve vs GEPA vs OpenEvolve 在 circle packing 任务上的进化曲线。ASI-Evolve 起步快OpenEvolve 上升慢且方差大框架对比实验Qwen3-32BASI-Evolve蓝色在前 50 步就冲到接近最优区域GEPA紫色稍慢但最终接近OpenEvolve青色明显落后且方差更大。底层模型影响模型对比图Qwen3-32B vs GPT-5-Mini 的进化曲线高度一致Qwen3-32B 和 GPT-5-Mini 在中后期的进化趋势高度一致说明框架设计比底层模型选择更重要。这个结论对实际部署很有参考价值——不一定非得用最强的闭源模型。采样策略对比采样算法对比图UCB1 最快达到高分区域方差最低UCB1 策略在有认知先验时表现最佳能最快到达高分区域Random 起步快但后劲不足MAP-Elites 保持多样性但在强先验下反而更慢。UCB1 GPT-5-mini 的组合在 17 步就发现了 2.63597而 MAP-Elites 需要 79 步。这说明在有好的先验知识注入时exploration-exploitation 的权衡比纯粹的多样性保持更重要。消融实验Cognition 和 Analyzer 各管什么消融曲线Full Method vs No Cognition vs No Analyzer消融实验清晰地展示了两个核心模块的互补作用Cognition 负责快启动Analyzer 负责持续爬坡。这张图信息量很大去掉 Analyzer系统靠 Cognition 能获得不错的初始分数但之后进入长时间的平台期改进幅度很小。这说明 Analyzer 的结构化反馈对于持续突破至关重要。去掉 Cognition起步更慢早期改进不稳定但系统通过自主试错最终还能爬上来。这说明系统的进化能力并不完全依赖人类先验——只是效率低很多。两个组件的功能互补很清晰Cognition 解决冷启动Analyzer 解决持续进化。 跨领域迁移药物-靶点相互作用预测论文还做了一个有意思的验证——把架构搜索能力迁移到生物医学领域。从 DrugBAN药物-靶点相互作用预测的 baseline出发进化任务场景指标DrugBANASI-Evolve提升域内BindingDBAUROC94.1596.061.91域内BindingDBF186.8989.842.95冷启动-未见药物AUROC--6.94冷启动-未见蛋白AUROC--3.56冷启动-两者都未见AUROC--4.36冷启动场景涨了 6.94 个点的 AUROC这个提升幅度在生物医学领域是相当不错的。发现的最优架构引入了 Sinkhorn 注意力基于最优传输的双随机约束和 Top-k 稀疏门控——这些设计人类研究者不一定能想到但从机制上看确实合理。 我的判断亮点三条线同时验证不是只在某个子任务上刷分。数据、架构、算法三个方向都跑通了而且都有可观的提升。Analyzer 模块的设计是真正有洞察的。之前的进化框架包括 AlphaEvolve主要靠标量分数做反馈ASI-Evolve 把多维度实验信号压缩成决策导向的分析报告再反馈这对于复杂的 AI 研发任务来说更合理。底层模型可替换性好。Qwen3-32B 和 GPT-5-mini 最终效果接近说明框架设计才是核心不是靠堆最强模型。消融做得扎实两个核心组件的功能互补关系交代得很清楚。让我皱眉的地方架构搜索的起点选择。用 DeltaNet 作为 baseline 然后搜索线性注意力空间——这个搜索空间的定义本身就包含了大量人类先验。系统并没有从零开始发现线性注意力这个方向它是在人类已经框定好的空间里做局部优化。所谓AI accelerates AI准确说应该是AI 在人类指定的方向上加速搜索。数据清洗实验的 baseline 问题。跟原始未清洗数据比涨 18 个点但更有意义的对比应该是跟人类设计的清洗 pipeline比。论文没给这个对比这让数据的说服力打了折扣。计算成本披露不足。1773 轮架构探索、300 轮 RL 算法进化——每轮需要多少 GPU 时间总计花了多少 API 调用费这些信息对于判断AI 加速是否真的比人类更高效至关重要但论文里几乎没提。如果 1773 轮探索花了等价于一个团队半年的 GPU 预算那加速的含金量就要重新评估了。circle packing 任务的位置有点尴尬。这个任务更适合展示进化框架的基础能力但跟AI-for-AI的核心叙事关系不大。用它跟 AlphaEvolve 比步数效率我觉得有点取巧——因为 ASI-Evolve 有 Cognition 模块做知识注入起点就比别人高步数少不完全说明框架更好。closed-loop AI research这个说法偏大。现在的系统还是在人类定义好的评测框架下做优化。真正的闭环 AI 研究需要 AI 能自己发现问题、定义研究方向、设计评测标准——这些 ASI-Evolve 都还做不到。 工程启发如果你也在做类似的 AI 自动化研发系统这篇论文有几个设计决策值得参考知识注入和进化能力要分开设计。Cognition 管冷启动效率Analyzer 管持续改进能力。消融实验证明两者缺一不可。反馈信号要做蒸馏不要直接甩数字。多维度的实验结果需要经过分析提炼才能有效指导下一轮假设生成。这个思路在任何涉及复杂评估的自动化系统中都适用。采样策略的选择取决于先验质量。先验强就用 UCB1快速利用先验弱就用 Random 或 MAP-Elites广泛探索。多阶段评估是省计算的关键。20M - 340M - 1.3B 的三阶段筛选大部分方案在小规模就被淘汰了避免在大规模上浪费资源。 总结ASI-Evolve 给出了一个比较完整的 AI-for-AI 研究框架的设计范式在架构、数据、算法三个方向都展示了可观的自动化发现能力。Cognition Analyzer 的双模块设计是核心创新消融实验验证了其有效性。但AI 加速 AI这个叙事目前还是偏理想化的。系统依然需要大量人类先验来定义搜索空间和评测标准计算成本也缺乏透明度。它更像是一个高效的自动化研发助手而不是一个能独立做研究的 AI 科学家。不过话说回来从 FunSearch 到 AlphaEvolve 再到 ASI-Evolve这条线的进展速度是肉眼可见的。如果你在做模型架构搜索、数据 pipeline 优化或者 RL 算法设计这个框架的思路——特别是 Analyzer 的设计——值得认真看看。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】