人工智能在科学领域需要设立防护措施，避免对它不加批判地采用

耶鲁大学人类学研究生院主任Lisa Messeri、和普林斯顿大学的心理学家M. J. Crockett 发给《自然》期刊的论文中阐述人工智能正在迅速加速科学产出但也有可能缩小研究范围削弱判断力削弱科学家的培训方式。科学界正以惊人的速度采用人工智能工具尤其是大型语言模型LLM。过去三年LLM辅助论文写作大幅增长研究人员也试图将半自主智能体纳入他们的工作流程。然而人工智能在科学领域的快速且不加批判的采用也带来了重大风险。几个问题已经显现使用人工智能工具的论文关注的是更狭窄的研究问题在某些情况下科学价值被评估较低4而非依赖人工智能的研究则更为重要。为什么过度依赖人工智能驱动的建模对科学有害此外随着人工智能自动化日常科学任务早期职业研究人员培训机会流失的担忧大多未被解决且常常未被承认。传统上科学培训将事实和方法的正式教学与通过动手入门级工作逐步获得隐性知识相结合。科学与技术研究领域的学者多次证明仅靠科学文本并不能完全传达知识;相反关键的知识深植于研究社区并通过学徒制和实践传递。这种默契——例如什么是“合理”数据或难以在方法部分表达的技术细节或结果是否与现有文献一致——对于研究者未来有效监督AI辅助工作流程至关重要。如果人工智能系统越来越多地取代入门级科学劳动力学员可能永远无法掌握这些技能可能导致下一代科学家无法负责任地监督人工智能驱动的研究。这些趋势要求科学家正视科学机构的宗旨。人们的目标仅仅是建立科学事实的集合还是培养一个活生生、不断发展的科学知识者社区如果人工智能工具加速了前者的目标同时威胁到了后者科学家们应如何前进借助关于人工智能对科学实践影响的新兴证据提出重点介绍主要风险并概述潜在的解决方案。人工智能行业积极向科学家推销LLM产品视其为提高生产力的技术。一些研究人员接受了这一承诺称赞这些产品能够“强化”他们的学术写作能力。人工智能是否导致科学中的可重复性危机如果人们将生产力理解为科学论文的产出人工智能产品无疑兑现了这一承诺并产生了深远的影响。除了生产力提升有证据表明使用人工智能工具的科学家获得的引用次数更多晋升为首席研究员的速度也比未使用者更快以英语为母语的人受益尤为明显。值得注意的是人工智能产品的职业优势最明显体现在数量指标上如发表次数和引用次数。这些措施无法解释这些利益是源于科学贡献还是源于与某个炒作领域的联系。因此若将这些指标视为科学的胜利而忽视了生产力提升的质量将是错误的。越多不一定越好而且越来越多的证据表明大型语言模型推动的科学生产力提升往往是有代价的。最明显的是“人工智能垃圾”被引入文献包括无意义的人工智能生成图像和幻觉引用。多项研究记录了大量依赖LLM辅助写作的论文出现令人担忧的趋势。《科学组织》杂志审核了2021年1月至2026年1月期间收到的全部6,957篇投稿并指出LLM辅助论文的科学质量较低以期刊接受这些作品的可能性衡量。另一项研究从2024年人工智能会议收集的264,125篇论文中以及2023-24年在三个预印本服务器arXiv、bioRxiv和SSRN上发布的投稿中发现在LLM辅助论文中良好的写作不再是科学质量的准确启发式以发表结果和同行评审评分衡量。人工智能能有常识吗了解这些信息将是实现机器智能的关键这对科学事业造成了“风险因为大量表面上令人信服但科学上令人失望的研究可能会淹没文献”。目前尽管大家一致认为这些污染不应该发生但目前尚无明确的解决方案来应对这些污染。在研究流程中实施的人工智能工具也在以更微妙的方式限制科学理解例如缩小了研究人员关注的范围。分析在涵盖生物学、医学、化学、物理学、材料科学和地质学的4130万篇研究论文中研究表明人工智能的采用似乎“促使作者趋向于解决已知问题的相同方案而非创造新问题”。这预示了人工智能可能对知识生态系统产生连锁反应的可能性。人工智能在科学领域的最宏大愿景涉及半自主或完全自主的“人工智能科学家”这一愿景的最新原型在科学界和业界都获得了高度赞誉。人工智能科学家的开发者们总是迅速安慰说他们的意图“不是取代人类科学家而是增强和加速他们的工作”。因此这些产品应由一位技术娴熟的科学家监督能够负责任地指导和检查人工智能的输出。专家质疑如果没有清晰阐述负责任科学家如何培养区分好坏AI结果的专业知识这一愿景是否能够实现。