100种算法【Python版】第57篇——贝叶斯优化算法

1 算法说明

贝叶斯优化是一种旨在优化黑箱目标函数的策略，通常适用于评估代价高昂或时间消耗长的函数。它利用贝叶斯统计方法来构建目标函数的概率模型，进而指导下一步的采样选择。

基本概念

• 黑箱函数：目标函数是未知的，无法直接获取其解析表达式。
• 代理模型：使用概率模型（如高斯过程）来近似目标函数。
• 采集函数：决定下一个采样点的准则，常用的有预期改进（Expected Improvement, EI）、置信上界（Upper Confidence Bound, UCB）等。

2 贝叶斯优化的步骤

步骤 1：初始化

• 选择初始点：
  • 随机选择一组初始点，通常在参数空间内均匀分布。
  • 在这些点上评估目标函数，记录输入（参数组合）和输出（目标函数值）。
• 构建初始数据集：
  • 创建一个数据集，包含初始点的输入和对应的目标函数值。