港科大等联合发布让实验室变身“智能侦探“的贝叶斯优化教程

想象一下如果有一位超级聪明的侦探助手能够记住你做过的每一次实验、分析每一个结果的规律然后准确告诉你下一步最应该尝试什么——这听起来像科幻小说但实际上已经成为现实。来自香港科技大学广州、华为诺亚方舟实验室、中国科技大学、清华大学、香港大学以及伦敦大学学院的研究团队在2026年4月发表了一篇详尽的教程论文系统性地介绍了如何用贝叶斯优化这一数学工具让科学发现过程变得像拥有智能助手一样高效准确。这篇发表在arXiv预印本平台的论文编号为arXiv:2604.01328v1为广大科研工作者提供了从理论到实践的完整指导。从古希腊的亚里士多德开始科学家们一直在寻找更好的发现真理的方法。就像侦探破案一样科学家需要观察现象、提出假设、设计实验、分析结果然后修正理论。这个过程看似简单但在实际操作中往往充满随意性和低效率。许多科学家就像没有经验的侦探完全凭直觉和运气来决定下一步调查方向结果往往浪费大量时间和资源甚至错过重要线索。研究团队指出现代科学面临的搜索空间往往庞大得令人咋舌。比如在设计一个催化剂时需要考虑的参数可能有数十个每个参数又有不同的取值范围所有可能的组合数量甚至超过了可观测宇宙中原子的数量。如果用传统的试错方法就算科学家们干上几辈子也探索不完。更要命的是每次实验都需要消耗大量时间、金钱和材料容不得太多无效尝试。这就是贝叶斯优化大显身手的地方。简单来说贝叶斯优化就像给科学家配了一个超级智能的实验助手。这个助手有两项核心技能第一它会建立一个数字双胞胎模型来模拟实验对象就像侦探在脑海中构建案件的全貌一样。这个模型不仅会预测实验结果还会老实地告诉你它对哪些地方有把握对哪些地方还很困惑。第二基于这个模型助手会精心设计下一个最有价值的实验既不会浪费时间重复已知的结果也不会盲目地在黑暗中摸索。为了让读者更好地理解这个过程研究团队用了一个生动的故事来比喻。想象科学家就像在寻找传说中的永明催化剂一样。面对实验室墙上密密麻麻的化学元素周期表科学家Leo感到无从下手因为可能的组合实在太多了。资深研究员Aris教授提醒他传统的做法是再试一次但这样很容易陷入局部最优的陷阱。研究工程师Sarah则提出了一个关键问题如何把不确定性转换成具体的实验指导最终他们通过贝叶斯优化找到了答案用代理模型来量化不确定性用获取函数来平衡探索和开发让自动化实验室能够高效地在搜索空间中导航。研究团队特别以抗体发现为例展示了贝叶斯优化的实际应用。抗体设计面临的挑战相当于在天文数字般的序列组合中找到能够强力结合特定抗原的钥匙。传统方法就像大海捞针而贝叶斯优化则像拥有了磁铁能够智能地缩小搜索范围。在一个名为AntBO的框架中系统首先建立一个高斯过程模型来理解序列与结合能力的关系然后在信任区域内进行获取避免建议那些在数学上最优但生物学上不可行的序列。实验结果显示AntBO在评估不到50个序列后就能找到高亲和力的候选抗体这在数十亿种可能性中简直是奇迹般的效率。整个贝叶斯优化的工作流程可以总结为六个关键步骤就像一套标准的侦探破案程序。首先是把科学挑战转化为优化问题明确定义设计空间、约束条件和目标函数。这就像案件开始时侦探需要明确案情范围、调查边界和破案目标。接着建立目标评估过程确定如何衡量成功程度。如果真实实验成本太高可以先用现有数据训练一个虚拟陪练来模拟真实实验的结果。第三步是构建初始知识库和更新机制。这个知识库就是我们的代理模型它像一个会学习的助手从少量初始实验中获取基础知识然后随着新数据的加入不断更新自己的理解。第四步定义选择下一个实验的策略也就是获取函数。这个函数需要在两个目标间取得平衡探索那些还没充分研究的区域避免错过突破性发现以及开发那些代理模型认为最有前景的区域优化已知的最佳候选。第五步是执行迭代优化循环。这个循环完美地模仿了经典的科学方法用代理模型预测潜在实验的结果通过获取函数选择最有价值的实验实际进行实验或查询预设的评估函数然后将新结果反馈给代理模型进行更新。这个过程会重复进行直到达到目标或用尽资源。最后一步是综合知识和可操作结果从代理模型中提取基于模型的见解比如温度如何影响产量同时确定最优的实验条件。贝叶斯优化之所以如此强大关键在于它将科学发现的哲学本质进行了数学化表达。从历史角度看科学方法经历了四个主要发展阶段就像侦探技术的演进过程。最初的演绎发现就像古代的占卜师完全依靠逻辑推理从已知原理推导新知识不需要实际观察。后来的归纳发现像现代的数据分析师通过系统收集经验数据来发现模式和规律。然后发展出假设-演绎发现这就像现代侦探的标准程序提出假设、推导可测试的预测、用实证数据验证、根据一致性检查来改进或否定假设。而贝叶斯假设-演绎发现则代表了最新的科学方法论它像拥有人工智能辅助的超级侦探。这种方法不再把信念看作非黑即白的确定性判断而是在整个假设空间中量化信念的程度并通过贝叶斯推理来不断更新这些信念。结果得到的后验分布既提供了稳健知识的总结也为决策制定提供了指导。在技术实现层面贝叶斯优化的核心在于两个关键组件的协作。代理模型充当数字双胞胎的角色通常采用高斯过程来实现。高斯过程可以想象成一个非常谦虚但博学的专家它不仅会给出预测结果还会诚实地告知自己的不确定程度。在数据稀少的区域模型会坦承自己知识有限通过高方差来表达这种认知不确定性。这种诚实的态度正是贝叶斯认识论的核心特征。获取函数则执行演绎步骤将当前信念转化为具体行动。它像一个策略规划师需要在两种基本的科学驱动力之间取得平衡开发测试模型预测最可能成功的假设和探索在未知区域测试假设以挑战和完善当前范式。这个平衡行为确保每个昂贵的实验都经过精心选择以提供最大可能的价值从而以数据高效的方式加速目标导向的科学发现。研究团队通过五个不同领域的案例研究来展示贝叶斯优化的广泛适用性。第一个案例是光催化制氢催化剂设计这就像在十维空间中寻找完美的化学配方。设计空间包含十种不同材料的浓度参数每个参数在0到5之间连续变化。即使粗略地将每个参数以1为步长离散化候选组合数量也达到6的10次方这是一个天文数字般的搜索空间。研究团队用随机森林模型从经验数据集构建了模拟评估器使得可以在不进行实际昂贵实验的情况下测试优化效果。第二个案例聚焦高熵合金纳米酶的配方优化。这类材料由五种不同金属元素组成面临的挑战是优化元素配比以最大化催化效率。由于决策变量代表组成比例它们受到所有比例之和必须等于1的约束条件限制。此外为确保形成真正的五组分高熵合金每个元素都被限制在0.05到0.35的范围内。这种有界单纯形设计空间对大多数软件来说都不是直接支持的需要通过可逆的重新参数化变换将其映射到超矩形空间。第三个案例是电解水分解的电催化剂设计这代表了混合变量优化的典型挑战。设计空间同时包含分类变量如金属类型、载体材料和连续变量如退火温度、催化剂负载量创建了一个高度非平稳的性能景观在分类配置之间存在离散跳跃。这种异质参数空间为标准的、为连续平稳目标函数优化的贝叶斯优化实现带来了显著挑战。第四个案例展示了高维有机合成的优化问题。基于Buchwald-Hartwig高通量实验数据集研究团队将原本530维的DFT衍生特征空间简化为20个最重要的特征然后在这个降维空间中进行优化。虽然联合优化530个特征对于没有潜在结构先验知识或梯度信息的黑盒目标来说是不现实的但通过特征选择和降维这个问题变得可以处理。最后一个案例涉及分子发现这需要在非传统空间如用SMILES字符串表示的分子上进行优化。由于经典的代理模型和获取函数主要为连续向量空间设计难以处理具有复杂结构约束的大型组合离散空间研究团队采用了领域特定的特征提取方法将复杂的科学对象映射到适合代理建模的向量空间。在理论基础方面研究团队详细阐述了如何将科学发现框架化为优化问题。科学实验本质上涉及选择行动或设计然后观察结果。这个过程可以用数学语言精确描述未知机制产生观察结果科学探究旨在发现三个层次的知识。首先是假设层面的知识即识别支配所研究系统的可能假设类别。其次是解释性知识确定哪个假设最好地解释了我们的经验。最后是可操作知识决定如何在未知机制下选择行动以优化奖励函数。聚焦于可操作发现的最终目标科学过程可以正式化为一个优化问题在给定约束条件下最大化关于设计-结果对的奖励函数。这种表述突出了贝叶斯优化如何扩展超越纯粹的解释驱动发现不仅解决是什么和为什么的问题还指导如何行动。在代理模型的构建方面高斯过程成为贝叶斯优化中最广泛采用的选择。高斯过程可以想象成一个诚实的预言家它不仅会告诉你未来可能发生什么还会坦率地承认自己在哪些方面缺乏把握。从技术角度来看高斯过程是函数上的概率分布其中核函数编码了关于函数性质如平滑性、周期性的假设。对于任何有限的输入子集相应的函数值遵循多元高斯分布这使得高斯过程能够为未知函数提供不确定性量化的预测。核函数的选择至关重要它决定了高斯过程如何理解输入之间的相似性。常用的选择包括径向基函数核假设函数无限可微且非常平滑、马特恩核允许控制平滑程度、线性核适用于近似线性的底层函数和周期核适合建模季节性效应等周期函数。对于结构化或离散对象还可以定义专门的核函数如字符串核通过计算共享子串或模序来衡量序列相似性和费雪核利用生成概率模型来定义相似性。在获取函数的设计上研究团队介绍了几种经典策略。期望改进函数衡量的是在当前最佳观察基础上的预期改进幅度它会同时考虑改进的概率和改进的幅度。改进概率函数则专注于超越当前最佳结果的可能性虽然直观但可能过度开发除非引入改进阈值。上置信界函数通过将后验均值和标准差的加权组合来明确权衡探索和开发其中权重参数控制探索-开发的平衡。汤普森采样采用了另一种策略直接从后验代理模型中采样函数然后选择该函数的最大值点。在算法的实际实现中研究团队提供了详尽的编程指导。他们使用HEBO库来演示如何定义支持多种变量类型的设计空间。数值变量适用于可以连续控制的参数如化学实验中的反应温度。对于跨越多个数量级的参数如浓度或速率常数对数尺度变量更为有效确保在不同尺度间平衡探索。整数变量表示必须是整数的离散数值如催化剂层数。分类变量代表无序的离散选项如溶剂选择与整数不同分类变量之间没有固有的数值排序。目标函数的定义和评估是实现的核心环节。由于目标函数涉及真实世界的评估评估函数的实现取决于具体的实验或仿真设置。在HEBO中目标函数被实现为接受一批设计点并返回相应标量值的Python函数。这种批处理接口支持高效的并行评估这在现代科学工作流程中很常见。对于开发和测试阶段研究团队建议使用模拟评估器这是一个模仿真实黑盒函数行为的代理函数通常实现为简单的解析表达式或拟合模型。在处理复杂实验设计时贝叶斯优化面临几个独特的挑战。批量决策制定对高通量实验平台特别重要因为在许多科学应用中并行评估多个候选设计是可行且理想的。核心挑战是选择一组候选点这些点能够最大化优化目标的集体价值。理想的批次应该在开发当前代理模型采样有前景的候选点和探索不确定区域以改进全局模型之间取得平衡同时避免冗余或高度相关的点。异方差性和非平稳性是真实科学实验中经常遇到的问题。传统贝叶斯优化通常假设简单的独立同分布高斯噪声和平稳协方差来进行不确定性估计。然而在实际科学实验中这些假设经常被违反。测量噪声可能在仪器范围的边界处增加或者取决于所测量样品的质量。当底层系统在输入空间的不同区域表现出不同行为时非平稳性经常出现如材料中的相变或生物反应中的突然变化。上下文决策制定在许多真实科学实验中也很重要因为不是所有影响结果的因素都能被实验者直接控制。一些变量如环境条件、操作员效应或批次间变异性可能是可观察但不可操作的。在材料科学中环境温度或湿度可能会波动并影响测量结果但只有合成参数可以设置。在生物学中患者特异性因素或细胞系差异可能是可观察但不可控制的。将人类专业知识整合到优化循环中是另一个重要考虑。在许多科学领域专家知识对于指导实验设计和解释至关重要。虽然原则上可以将这种专家知识编码到贝叶斯优化框架中但实际实现可能极其困难。专家直觉往往是隐性的、上下文相关的或者难以数学化。因此完全自动化的贝叶斯优化可能无法充分利用宝贵的人类见解或者可能做出领域专家认为不合理或不可信的决策。研究团队通过五个案例的实验验证了贝叶斯优化的效果。在所有测试的科学发现任务中贝叶斯优化方法始终优于随机搜索在相同的固定实验预算下获得了更优的目标值。具体来说在光催化制氢催化剂设计任务中经过200次试验后随机搜索的最终悔恨值为21.8而贝叶斯优化达到了9.2。在高熵合金纳米酶配方任务中随机搜索的悔恨值为244贝叶斯优化为153。在氧析出电催化剂设计中随机搜索的过电位为245毫伏贝叶斯优化为219毫伏。在Buchwald-Hartwig反应中随机搜索的悔恨值为47贝叶斯优化为9.9。在分子QED优化中随机搜索的QED分数为0.881贝叶斯优化达到了0.918。实验结果揭示了几个重要模式。首先状态最先进的HEBO框架在所有场景中都一致优于随机搜索。标准的贝叶斯优化在连续、约束和高维连续任务中相对随机搜索提供了稳健的改进但在混合变量的氧析出电催化剂设计任务中未能优于随机搜索。对于所有基于贝叶斯优化的方法优于随机搜索的任务性能差距在后期迭代中特别明显其中自适应策略继续识别改进的解决方案而随机搜索则停滞不前。HEBO在所有情况下都能在相同迭代次数后获得比标准贝叶斯优化更低的悔恨值或更低的过电位并且在早期迭代中也表现出更快的收敛速度。这种性能改进可以归因于HEBO的核心设计特征支持非平稳目标函数稳健处理异方差噪声以及通过动态权衡期望改进、改进概率和下置信界标准来平衡探索和开发的多目标获取函数。这种早期阶段的效率对科学实验特别有价值因为每次迭代都会产生显著的实验成本早期收敛可以在时间和资源方面带来实质性节约。在分子优化任务中基于描述符的贝叶斯优化展现出了处理离散结构空间的能力。通过将离散的SMILES字符串映射到化学上有意义的连续空间使高斯过程代理模型能够从已知的高QED分子泛化到有前景的未测试结构而不是在可能分子配置的庞大离散空间中进行盲目采样。这突出了贝叶斯优化框架适应多样科学问题类型的灵活性当与适当的领域知识预处理相结合时。研究的理论贡献同样重要。通过GP-UCB算法研究团队提供了严格的遗憾界限分析。对于有限设计空间在高概率下GP-UCB的累积遗憾最多以O(√T βT γT )的速度增长其中γT 是最大信息增益项。对于紧致连续空间在函数具有连续四阶导数的条件下类似的界限成立。这些理论保证表明随着更多函数评估的进行GP-UCB的平均遗憾趋于零建立了该算法最终能识别近最优解决方案搜索效率随时间增长。从实际应用的角度来看这项研究为科研工作者提供了完整的实施指南。无论是实验化学家希望加速工作的实用编程示例开发领域特定贝叶斯优化方法的研究人员需要的数学基础还是普通读者对不确定性感知决策制定的原理性见解这个教程都提供了分层次的内容。通过桥接人工智能中的贝叶斯优化进展与自然科学的实际实施该研究最终赋予跨学科研究人员更高效地设计实验的能力从而实现更有原则、更快速的科学发现。研究团队特别强调了贝叶斯优化与传统科学方法的深层联系。这种联系不仅仅是表面的类比而是一种根本的哲学一致性。正如科学家通过假设检验来更新对自然规律的理解一样贝叶斯优化通过实验数据来更新对目标函数的信念。代理模型就像科学理论一样提供了对现象的当前最佳解释而获取函数则像实验设计原则一样指导如何收集最有价值的新证据。这种深层联系意味着贝叶斯优化不仅是一个实用工具更是科学方法在数字时代的自然延伸。它将人类科学家数千年来积累的探索智慧编码成算法使得机器能够像经验丰富的科学家一样思考和决策。更重要的是这个过程是透明和可解释的——科学家可以随时检查代理模型的思考过程理解为什么系统建议某个特定的实验这种透明性对于建立科学信任和确保结果的可重现性至关重要。研究团队的实验设计体现了严格的科学标准。为了确保结果的可比性和可靠性所有实验都遵循一致的协议。每个案例都使用模拟评估器作为目标函数这些评估器基于真实的经验数据集训练而成既避免了真实实验的成本又保持了问题的现实性。每种策略都进行200次迭代使用20个初始随机样本来初始化代理模型并用16个不同的随机种子重复实验以确保统计稳健性。实验结果的一致性特别值得注意。在所有测试案例中先进的贝叶斯优化框架都表现出了对随机搜索的一致性能优势而标准贝叶斯优化实现则显示出任务依赖的性能它们在大多数场景中提供稳健改进但在更具挑战性的混合变量设置中表现不佳。这种模式揭示了一个重要见解虽然贝叶斯优化的理论框架广泛适用于科学发现但在软件和实现层面的实际应用确实面临一些重要限制。HEBO框架的优异表现可以归因于其针对真实科学优化问题的专门设计。它原生支持混合变量设计空间对不同类型变量使用适当的核函数能够高效建模不同类型实验参数之间的复杂关系。它使用先进技术处理异方差噪声和非平稳协方差函数包括输入和输出变换使其对真实实验室实验中经常遇到的非理想条件更加稳健。它还使用MACE获取函数这是几个规范获取函数的多目标综合比任何单一获取函数更稳健地平衡探索和开发。从更广阔的视角来看这项研究标志着科学研究方法论的一个重要转折点。传统的科学发现往往依赖于科学家的直觉、经验和试错这种方法虽然推动了几个世纪的科学进步但在面对现代科学的复杂性时显得越来越力不从心。现代材料科学、化学合成、药物发现等领域面临的参数空间往往具有极高的维度和复杂性传统方法的效率已经无法满足快速发展的需求。贝叶斯优化的出现改变了这一局面。它不是要取代人类科学家而是要增强他们的能力让他们能够从繁琐的参数调试和重复实验中解放出来专注于更高层次的科学思考和创新。这种人机协作的新模式有可能极大地加速科学发现的步伐特别是在那些对快速发现需求迫切的领域如可持续能源、生物医学和气候科学。研究团队也诚实地承认了当前方法的局限性。虽然贝叶斯优化的理论框架广泛适用于科学发现但在软件和实现层面确实存在一些重要的实际限制。许多真实世界的科学问题需要非平凡的步骤如设计空间变换、维度降低或领域特定的特征工程才能用现有的贝叶斯优化工具有效优化。这些步骤通常需要机器学习或优化方面的强背景而许多实验科学家并不具备这种背景。标准高斯过程的立方时间复杂度也限制了其在大规模、数据丰富的科学场景中的应用。虽然存在稀疏高斯过程近似、变分推理或可扩展的非高斯过程代理模型等高级缓解策略但这些高级技术对于扩展贝叶斯优化到高数据体系至关重要在本教程中没有详细覆盖。展望未来研究团队设想了一个贝叶斯优化在科学研究中发展和采用的路线图。近期的紧急优先事项是降低实验科学家采用贝叶斯优化的门槛通过开发具有内置领域知识的专门贝叶斯优化工具包消除手动特征工程的需要并通过与常见实验室自动化工具的原生集成实现实验设计、执行、数据分析和迭代优化的完全闭环。中期而言研究团队看到了方法论创新的重要机遇以解决当前贝叶斯优化方法在复杂科学环境中的局限性。这包括将第一原理领域知识深度整合到代理模型中开发稳健的人在环路贝叶斯优化框架以及设计能够原生处理非理想实验场景的贝叶斯优化方法。长期来看研究团队相信贝叶斯优化将成为开放、协作和自主科学发现新范式的基础组件。结合用于文献挖掘和知识推理的大型语言模型以及用于实验执行的机器人系统贝叶斯优化将充当端到端科学AI代理的实验设计大脑。这些代理将能够自主地制定科学假设、设计和执行实验来测试它们、分析结果并完善假设以人类单独研究无法实现的方式加速发现的步伐。这项研究的科学意义远远超出了其作为优化工具的实用性。从根本上说贝叶斯优化代表了科学发现方法的范式转变从直觉驱动的手动试错转向概率性的、系统性的以及日益自动化的庞大科学搜索空间探索。迭代的贝叶斯优化工作流程不仅仅是一个算法而是科学方法本身的计算结晶。代理模型充当实验系统的概率数字双胞胎编码我们对底层自然规律的演变信念状态获取函数正式化下一个实验的设计平衡现有知识的开发与未知领域的探索新实验数据更新我们的信念完善模型并指导下一次迭代。这种一致性意味着贝叶斯优化不会取代人类科学家的作用而是增强他们的直觉和专业知识让他们能够专注于高层次的科学思考而不是实验设计和试错的繁琐机制。由贝叶斯优化实现的发现过程自动化有潜力极大地加速科学进步的步伐特别是在可持续能源、生物医学和气候科学等快速发现需求迫切的领域。通过弥合AI方法论进展与自然科学应用之间的差距这项研究旨在让有原则的、高效的实验设计对每个科学研究者都变得可及。对于化学、材料科学和相关领域的实验科学家它提供了一个可以用最少编程经验集成到现有实验室工作流程中的易用工具消除了直觉试错的低效率确保每个昂贵的实验都能提供最大信息和价值。对于机器学习方法开发者它突出了科学发现的独特、未充分探索的挑战代表了未来方法论创新的高影响方向。对于普通读者它提供了一个窗口让人看到科学研究的新范式其中概率推理和系统自动化正在改变我们探索自然世界的方式。QAQ1贝叶斯优化到底是什么东西A贝叶斯优化就像给科学家配了一个超级智能的实验助手。这个助手会记住你做过的每次实验结果分析其中的规律然后准确告诉你下一步最应该尝试什么。它的特别之处在于既会预测结果还会诚实地告诉你哪些地方它还不确定从而帮你在开发已知好方法和探索未知新可能之间找到最佳平衡。Q2为什么贝叶斯优化比传统试错方法效果好A传统方法就像没有经验的侦探完全凭直觉和运气决定调查方向。而贝叶斯优化像经验丰富的老侦探每次实验都会更新对整个案件的理解然后基于这种理解来设计最有价值的下一个实验。实验结果显示它能将所需实验数量减少60%到85%这在科研成本高昂的今天意义重大。Q3普通科研工作者能用贝叶斯优化吗A完全可以。研究团队提供了详细的编程教程和现成的软件工具如HEBO即使编程经验有限的研究者也能快速上手。关键是要学会把自己的科学问题转化为优化问题明确定义实验参数空间、约束条件和优化目标然后按照标准流程执行就行了。