警惕你身边做AI for Science的人

警惕你身边做AI for Science的人他们手持显卡账单口称改变人类命运用一张模型架构图解释一切用一篇Nature子刊圆所有谎言。我先声明我不是反对AI也不是反对科学。我反对的是那种特定的人。他们活在一个由benchmarks、影响因子和投资人PPT共同构建的平行宇宙里把AI4S当成一张万能的免死金牌插在任何需要解释的地方。这篇文章写给所有曾经在组会上睡着、在学术会议上出神、或者在听完某个demo之后不知道为何感到空洞的人。你的直觉是对的。一、画饼的艺术他们说的话你一定听过。我们用大模型重新定义了蛋白质折叠的范式。我们的模型在零样本条件下超越了人类专家。我们正在做的事会在五年内颠覆整个XX领域。这些话有一个共同点没有时间节点没有可证伪的预测没有失败案例只有宏大叙事和精心修饰的图表。他们擅长把一个很窄的任务包装成改变文明进程的使命把一个在受控数据集上表现尚可的模型描述成通用智能的雏形。更精妙的是他们学会了用复杂性和前沿性来抵御一切质疑。你问这个模型在真实世界里验证过吗 他回答你不了解这个领域的挑战性。你问误差范围是多少 他回答这是一个新范式传统评估标准不适用。你问有没有失败的实验 他回答Science is hard你懂的。于是你沉默了因为你不想显得无知。⚠ 识别手册第一条凡是声称自己的工作无法用传统标准评估的人请重点观察。科学的本质就是可检验性。拒绝被评估不是谦逊是护身符。二、数据的幻觉AI for Science最迷人的武器是图表。一条漂亮的loss曲线一个颜色鲜艳的attention可视化一张蛋白质结构的三维渲染。这些东西有一种天然的视觉权威感让人觉得有这么多数字肯定是真的。但很少有人问测试集是怎么切分的训练数据和测试数据有没有泄漏那个超越人类专家的baseline是哪个人类专家在什么条件下做的对比更隐蔽的问题是他们的模型解决的是科学问题还是科学问题的一个极度简化的代理任务把一个分类任务说成理解了XX的分子机制把一个回归模型说成发现了XX的规律这中间有一道巨大的鸿沟而大多数听众缺乏专业背景来识别这道鸿沟的存在。他们最怕的问题只有一个你的模型预测了什么然后被实验验证了吗三、生态与激励不能只怪做这件事的人。整个系统都在激励这种行为。期刊需要影响因子影响因子需要新颖性新颖性最简单的来源是我们第一个把大模型用在了XX问题上。投资机构需要故事故事需要宏大愿景宏大愿景不需要被立即验证。学术机构需要排名排名需要高引用高引用来自热门赛道的早期入场。于是每个人都在合理地做着不合理的事。结果是大量计算资源、聪明的人才、宝贵的时间被投入到了在知名数据集上多刷两个点这件事情上。那些真正困难的科学问题那些没有公开数据集、没有清晰评估标准、需要十年才能知道对不对的问题反而无人问津因为它们出不了论文。他的所有论文都在同一个数据集上验证且这个数据集由他自己的组发布。他总在讲未来五年从未回顾上一个未来五年承诺了什么。他把合作者的工作归纳进自己的叙事但从不明确贡献比例。他的demo永远在最好的条件下运行失败案例从不出现在PPT里。他对质疑的标准反应是这个问题问得很好但你可能还不太了解这个领域。四、我们失去了什么最大的损失不是那些没有被验证的论文不是那些烧掉的GPU时间而是被带跑偏的期待值和被扭曲的科学文化。当一个领域充满了夸大其词的声音真正在做严肃工作的人就会被淹没。他们没有华丽的可视化图没有可以截图发推特的demo只有严谨但枯燥的实验记录和诚实的误差分析。于是他们拿不到经费找不到学生在下一个会议上坐在角落里听别人讲那些华而不实的工作然后继续默默地做真正重要的事。当然AI for Science并非全是泡沫。AlphaFold是真实的突破它改变了结构生物学的工作方式有真实的实验验证有可量化的影响。问题不在于AI用于科学这件事本身而在于AlphaFold被当成了一张可以无限复制的免费门票仿佛只要往proposal里加上大模型XX领域就自动获得了改变世界的资格。⚠ 给你一个简单的测试问他你的工作预测了什么然后被实验证实了如果他滔滔不绝地讲了五分钟还没有给出一个具体例子你可以礼貌地看表了。一个真正在解决科学问题的人哪怕只有一个小小的验证案例也会如数家珍地告诉你。空洞才需要宏大来掩盖。尾声我们能做什么不要让对方用复杂性来压制你的常识。科学的核心逻辑假设、实验、验证是朴素的不会因为换了一个神经网络架构就变得不适用。问清楚对比基线是什么问清楚失败案例是什么问清楚如果这个模型是错的你会怎么知道。这些问题不需要任何专业背景只需要基本的诚实。最后说一句公道话很多做AI for Science的人并不是有意欺骗。他们只是生活在一个系统性激励了过度乐观主义的环境里久而久之连自己也信了。这不是坏人的问题这是一个文化问题。而文化问题需要每一个参与者、问问题的人、评审论文的人、分配经费的人、写新闻稿的人共同去纠正。下次有人给你看一个令人叹为观止的AI for Science的demo先深吸一口气然后微笑着问他那这个结论有没有被湿实验室的人重复出来过看他的表情你就全明白了。本文所描述的现象为行业普遍现象之批评并非针对任何具体个人或机构。科学进步需要乐观主义但也需要诚实。两者并不矛盾。