当前位置： 首页 > news >正文

Optuna发布 4.0 重大更新：多目标TPESampler自动化超参数优化速度提升显著

news 2025/12/15 5:34:41

Optuna这个备受欢迎的超参数优化框架在近期发布了其第四个主要版本。自2018年首次亮相以来，Optuna不断发展，现已成为机器学习领域的重要工具。其用户社区持续壮大，目前已达到以下里程碑：

  • 10,000+ GitHub星标
  • 每月300万+ 下载量
  • 16,000+ 代码库使用
  • 5,000+ 论文引用
  • 18,000+ Kaggle的code使用

Optuna 4.0的开发重点包括：

  1. 用户间功能共享: 引入OptunaHub平台，便于共享新的采样器和可视化算法。
  2. 优化生成式AI和多样化计算环境:- 正式支持Artifact Store，用于管理生成的图像和训练模型。- 稳定支持NFS的JournalStorage，实现分布式优化。
  3. 核心功能增强:- 多目标TPESampler的显著加速- 新Terminator算法的引入

主要新特性

OptunaHub: 功能共享平台

OptunaHub (hub.optuna.org) 作为Optuna的官方功能共享平台正式发布。它提供了大量优化和可视化算法，使开发者能够轻松注册和分享他们的方法。这个平台的推出预计将加速功能开发，为用户提供更多样化的第三方功能。

Artifact Store: 增强实验管理

Artifact Store是一个专门用于管理优化过程中生成文件的功能。它可以有效处理：

  • 生成式AI输出的文本、图像和音频文件
  • 深度学习模型的大型快照文件

这些文件可以通过Optuna Dashboard进行查看。Optuna 4.0稳定了文件上传API，并新增了artifact下载API。同时Dashboard新增了对JSONL和CSV文件的支持。

JournalStorage: 支持NFS分布式优化

JournalStorage是一种基于操作日志的新型存储方式，它简化了自定义存储后端的实现。其中，

JournalFileBackend

支持多种文件系统，包括NFS，可以实现跨节点的分布式优化。这对于难以设置传统数据库服务器的环境尤其有用。

使用示例：

 importoptunafromoptuna.storagesimportJournalStoragefromoptuna.storages.journalimportJournalFileBackenddefobjective(trial: optuna.Trial) ->float:...storage=JournalStorage(JournalFileBackend("./journal.log"))study=optuna.create_study(storage=storage)study.optimize(objective)

新Terminator算法

为解决超参数过拟合问题，Optuna引入了新的Terminator算法。它可以在超参数过拟合之前终止优化过程，或者帮助用户可视化过拟合开始的时间点。新版本引入了预期最小模型遗憾（EMMR）算法，以支持更广泛的用例。

约束优化增强

Optuna 4.0增强了约束优化功能，特别是：

  • study.best_trial和study.best_trials现在保证满足约束条件
  • 核心算法（如TPESampler和NSGAIISampler）对约束优化的支持得到改进

多目标TPESampler的加速

多目标优化在机器学习中扮演着越来越重要的角色。例如，在翻译任务中，我们可能需要同时优化翻译质量（如BLEU分数）和响应速度。这种情况下，多目标优化比单目标优化更为复杂，通常需要更多的试验来探索不同目标之间的权衡。

TPESampler（Tree-structured Pareto Estimation Sampler）是Optuna中一个强大的采样器，它在多目标优化中展现出了优秀的性能。与默认的NSGAIISampler相比，TPESampler具有以下优势：

  1. 更高的样本效率，特别是在1000-10000次试验的范围内
  2. 能够处理动态搜索空间
  3. 支持用户定义的类别距离

在之前版本的TPESampler在处理大量试验时存在性能瓶颈，限制了其在大规模多目标优化中的应用。

性能提升

Optuna 4.0对多目标TPESampler进行了显著优化：

  • 三目标优化场景下，200次试验的速度提高了约300倍
  • 能够高效处理数千次试验的多目标优化

这一改进主要通过优化以下算法实现：

  1. WFG（加权超体积增益）计算
  2. 非支配排序
  3. HSSP（超体积子集选择问题）

TPESampler的工作原理

TPESampler基于树形Pareto估计（TPE）算法。在多目标优化中，它的工作流程如下：

  1. 将观察到的试验分为非支配解和支配解两组
  2. 为每个参数构建两个概率分布：一个基于非支配解，另一个基于支配解
  3. 使用这些分布来指导下一个试验点的选择，倾向于选择可能产生非支配解的参数值

这种方法允许算法在探索（寻找新的有希望的区域）和利用（优化已知的好区域）之间取得平衡。

使用TPESampler进行多目标优化示例

以下是使用TPESampler进行多目标优化的简单示例：

 importoptunadefobjective(trial):x=trial.suggest_float("x", -5, 5)y=trial.suggest_float("y", -5, 5)objective_1=x**2+y**2objective_2= (x-2)**2+ (y-2)**2returnobjective_1, objective_2sampler=optuna.samplers.TPESampler()study=optuna.create_study(sampler=sampler, directions=["minimize", "minimize"])study.optimize(objective, n_trials=100)

在这个例子中，定义了一个具有两个目标的优化问题。TPESampler被用作采样器，study被设置为最小化两个目标。

基准测试结果

测试环境：

  • Ubuntu 20.04
  • Intel Core i7-1255U CPU
  • Python 3.9.13
  • NumPy 2.0.0

测试结果如图所示：

可以看到：

  • Optuna 4.0中双目标优化性能接近单目标优化
  • 三目标优化在200次试验时，运行时间从约1,000秒减少到约3秒
  • 新版本在3-5个目标的情况下仍保持高效

TPESampler vs. NSGAIISampler

虽然NSGAIISampler是Optuna中默认的多目标优化采样器，但TPESampler在某些情况下可能更为有效：

  1. 大规模优化：在1000-10000次试验的范围内，TPESampler通常表现更好
  2. 复杂搜索空间：对于具有条件参数或动态搜索空间的问题，TPESampler更为灵活
  3. 高维参数空间：TPESampler在处理高维参数空间时通常更有效

选择合适的采样器还应该基于具体问题和计算资源。可以尝试两种采样器，比较它们在特定问题上的性能。

结论与展望

Optuna 4.0通过引入新功能和优化现有算法，大幅提升了其在复杂优化任务和多样化计算环境中的适用性。特别是多目标TPESampler的性能提升，为处理更复杂的优化问题铺平了道路。

TPESampler的显著加速使得Optuna能够更有效地处理大规模多目标优化问题。这一改进对于需要同时优化多个目标的复杂机器学习任务（如大型语言模型的训练）具有重要意义。

在官方的发布中Optuna团队还提到后面的工作：

  1. 扩展问题设置的适用范围
  2. 通过OptunaHub支持更多创新算法
  3. 进一步优化性能和用户体验
  4. 改进TPESampler和其他采样器在更广泛场景下的性能

研发团队鼓励用户尝试新版本的多目标TPESampler，Optuna有望在未来版本中提供更强大、更灵活的超参数优化解决方案。

https://avoid.overfit.cn/post/8d9596779bcc44a79f2a53a2a8d02e24

相关文章：

Optuna发布 4.0 重大更新：多目标TPESampler自动化超参数优化速度提升显著

Optuna这个备受欢迎的超参数优化框架在近期发布了其第四个主要版本。自2018年首次亮相以来，Optuna不断发展，现已成为机器学习领域的重要工具。其用户社区持续壮大，目前已达到以下里程碑： 10,000 GitHub星标每月300万 下载量16,00…...

编程日记 2024/9/8 1:46:22

https和harbor仓库跟k8s

目录 https 做证书 harbor仓库 https https是加密的http，它的端口是443，它的协议是tcp协议。建立连接和普通的tcp是一样的，都是三次握手和四次挥手，但是它三次握手之后有一个步骤：SSL或者TLS握手的过程&#xff0c…...

编程日记 2024/9/8 1:44:20

云计算之网络

目录 一、VPC：云网络的基石 1.1 VPC产品介绍 1.2 vswitch交换机 1.3 vrouter路由器 1.4 产品架构 1.5 常见问题解答及处理 1.5.1 VPC内如何查询某个IP归属? 1.5.2 网络ACL阻断导致ECS访问CLB不通 1.5.3 EIP秒级突发/分布式限速丢包 1.5.4 NAT网关的流量监…...

编程日记 2024/9/8 1:43:19

MySQL Workbench 的入门指南

前言 MySQL Workbench 是一个官方的图形化工具，用于开发、管理和设计 MySQL 数据库服务器。它提供了丰富的功能，可以帮助数据库管理员、开发者以及DBA们高效地工作。下面是一个MySQL Workbench的入门指南，介绍如何安装和使用它。 安装 MyS…...

编程日记 2024/9/8 1:41:16

【SpringBoot】使用Nacos服务注册发现与配置管理

前提：需要提前部署好nacos服务，这里可以参考我的文章：Windows下Nacos安装与配置 0. 版本信息 Spring Boot3.2.8Spring Cloud2023.0.1Spring Cloud alibaba2023.0.1.0nacos2.3.2本地安装的nacos2.3.0 Spring Boot、Spring Cloud、Spring Clo…...

编程日记 2024/9/8 1:40:15

Leetcode面试经典150题-210.课程表II

这个题是图的问题，因为图的拓扑排序在实际应用中有非常多的用途图，所以最近考的越来越多 解法都在代码里，不懂就留言或者私信 看这个题之前一定要好好看看207题我写的题解，也许207看懂了的话，210只是一个coding问题了…...

编程日记 2024/9/8 1:38:13

视频汇聚平台LntonAIServer视频质量诊断功能--偏色检测与噪声检测

随着视频监控技术的不断进步，视频质量成为了决定监控系统性能的关键因素之一。LntonAIServer新增的视频质量诊断功能，特别是偏色检测和噪声检测，进一步强化了视频监控系统的可靠性和实用性。下面我们将详细介绍这两项功能的技术细节、应用场景…...

编程日记 2024/9/8 1:37:11

Vue 使用接口返回的背景图片和拼图图片进行滑动拼图验证

一、背景 前两天发了一篇 vue-monoplasty-slide-verify 滑动验证码插件使用及踩坑_vue-monoplasty-slide-verify 引用后不显示-CSDN博客 这两天项目又需要通过接口校验，接口返回了背景图片和拼图图片，于是在网上找了一篇帖子，vue 图片滑动…...

编程日记 2024/9/8 1:35:08

1-7 掩膜的运用 opencv树莓派4B 入门系列笔记

目录 一、提前准备 二、代码详解 num_pixels np.sum(mask 255) contours, _ cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) c max(contours, keycv2.contourArea) x, y, w, h cv2.boundingRect(c) M cv2.moments(contours[0]) if contours…...

编程日记 2024/9/8 1:33:03

EG边缘计算网关连接华为云物联网平台（MQTT协议）

需求概述 实现一个流程：EG8200mini采集Modbus RTU数据，通过MQTT协议连接华为云物联网平台 Modbus RTU采集此处不做过多赘述，可参考其他案例（串口读取Modbus传感器数据）介绍。下文默认已经采集到Modbus RTU数据。 要…...

编程日记 2024/9/8 1:29:59

List中常见的方法和五种遍历方式

有序&#xff1a;存取的顺序一致 有索引&#xff1a;可以通过索引操作元素 可重复&#xff1a;存储的元素可以重复 package mylist;import java.util.ArrayList; import java.util.List;public class A01_LIstDemo1 {public static void main(String[] args) {List<String…...

编程日记 2024/9/8 1:28:57

华为 HCIP-Datacom H12-821 题库 (8)

有需要题库的可以看主页置顶 1.在 DHCP 运行过程中&#xff0c;如果客户端 IP 地址在相约过去 87.5%还没有完成续约的话&#xff0c;客户将发送什么报文进行再次续约&#xff1f; A、DHCP discover 广播报文 B、DHCP release 单播报文 C、DHCP request 广播报文 D、DHCP reques…...

编程日记 2024/9/8 1:27:56

12. GIS地图制图工程师岗位职责、技术要求和常见面试题

本系列文章目录&#xff1a; 1. GIS开发工程师岗位职责、技术要求和常见面试题 2. GIS数据工程师岗位职责、技术要求和常见面试题 3. GIS后端工程师岗位职责、技术要求和常见面试题 4. GIS前端工程师岗位职责、技术要求和常见面试题 5. GIS工程师岗位职责、技术要求和常见面试…...

编程日记 2024/9/8 1:25:54

ORACLE 统计信息的备份与恢复

备份 --需要先创建统计信息基础表 exec dbms_stats.create_stat_table(USER1,STAT_TIMESTAMP); --导出某个用户的所有统计信息 exec dbms_stats.export_schema_stats(USER1,STAT_TIMESTAMP);--测试(插入100条&#xff0c;更新统计信息&#xff0c;略) select num_rows,last_ana…...

编程日记 2024/9/8 1:24:53

2. GIS数据工程师岗位职责、技术要求和常见面试题

本系列文章目录&#xff1a; 1. GIS开发工程师岗位职责、技术要求和常见面试题 2. GIS数据工程师岗位职责、技术要求和常见面试题 3. GIS后端工程师岗位职责、技术要求和常见面试题 4. GIS前端工程师岗位职责、技术要求和常见面试题 5. GIS工程师岗位职责、技术要求和常见面试…...

编程日记 2024/9/8 1:23:51

Spark MLlib模型训练—文本算法 LDA(Latent Dirichlet Allocation)

Spark MLlib模型训练—文本算法 LDA(Latent Dirichlet Allocation) Latent Dirichlet Allocation（LDA）是一种用于主题建模的生成式概率模型，广泛应用于文本分析和自然语言处理。LDA 的目标是从一组文档中发现潜在的主题，并将每个文档表示为这些主题的概率分布。它通过推断…...

编程日记 2024/9/8 1:22:50

C++ ─── List的模拟实现

目录 ​编辑 一&#xff0c; List的模拟实现 二&#xff0c;代码实现 三、list和vector的区别 一&#xff0c; List的模拟实现 List 是一个双向循环链表,由于List的节点不连续&#xff0c;不能用节点指针直接作为迭代器&#xff0c;因此我们要对结点指针封装&#xff0c;来…...

编程日记 2024/9/8 1:20:48

Spring Boot详解

好的&#xff01;Spring Boot 是一个基于 Spring 框架的项目&#xff0c;它为简化配置、快速启动项目而生。它使得构建独立运行、生产级别的 Spring 应用变得非常简单&#xff0c;让开发者专注于业务逻辑而不再被繁琐的配置所困扰。接下来&#xff0c;我将从以下几个方面为你详…...

编程日记 2024/9/8 1:18:46

Proxfier+burpsuite抓包配置问题

1、burp证书配置 导出证书 后缀为cer 打开浏览器设置 搜索证书--》点安全 管理证书 在圈起来的三个地方添加证书 2、Proxifer配置 配置代理服务器 配置ip和port 配置代理规则 注意画圈部分...

编程日记 2024/9/8 1:14:42

sqli-lab靶场学习（一）——Less1-4

前言 最近一段时间想切入安全领域&#xff0c;因为本身有做数据库运维工作&#xff0c;就打算从sql注入方向切入。而sql注入除了学习日常书本上的概念外&#xff0c;需要有个实践的环境&#xff0c;刚好看到sqli-lab这个靶场&#xff0c;就打算先用这个来学习。 安装部署 网上…...

编程日记 2024/9/8 1:13:40

家政维修平台实战20：权限设计

目录 1 获取工人信息2 搭建工人入口3 权限判断总结 目前我们已经搭建好了基础的用户体系&#xff0c;主要是分成几个表&#xff0c;用户表我们是记录用户的基础信息&#xff0c;包括手机、昵称、头像。而工人和员工各有各的表。那么就有一个问题&#xff0c;不同的角色&#xf…...

编程新知 2025/12/14 1:11:38

零基础在实践中学习网络安全-皮卡丘靶场（第九期-Unsafe Fileupload模块）（yakit方式）

本期内容并不是很难&#xff0c;相信大家会学的很愉快&#xff0c;当然对于有后端基础的朋友来说&#xff0c;本期内容更加容易了解&#xff0c;当然没有基础的也别担心&#xff0c;本期内容会详细解释有关内容 本期用到的软件&#xff1a;yakit&#xff08;因为经过之前好多期…...

编程新知 2025/12/9 14:35:12

Yolov8 目标检测蒸馏学习记录

yolov8系列模型蒸馏基本流程&#xff0c;代码下载&#xff1a;这里本人提交了一个demo:djdll/Yolov8_Distillation: Yolov8轻量化_蒸馏代码实现 在轻量化模型设计中&#xff0c;**知识蒸馏&#xff08;Knowledge Distillation&#xff09;**被广泛应用&#xff0c;作为提升模型…...

编程新知 2025/12/14 3:26:26

华为OD机考-机房布局

import java.util.*;public class DemoTest5 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseSystem.out.println(solve(in.nextLine()));}}priv…...

编程新知 2025/12/12 12:06:40

MySQL JOIN 表过多的优化思路

当 MySQL 查询涉及大量表 JOIN 时&#xff0c;性能会显著下降。以下是优化思路和简易实现方法&#xff1a; 一、核心优化思路 减少 JOIN 数量 数据冗余&#xff1a;添加必要的冗余字段&#xff08;如订单表直接存储用户名&#xff09;合并表&#xff1a;将频繁关联的小表合并成…...

编程新知 2025/10/17 22:08:13

Golang——9、反射和文件操作

反射和文件操作 1、反射1.1、reflect.TypeOf()获取任意值的类型对象1.2、reflect.ValueOf()1.3、结构体反射 2、文件操作2.1、os.Open()打开文件2.2、方式一&#xff1a;使用Read()读取文件2.3、方式二&#xff1a;bufio读取文件2.4、方式三&#xff1a;os.ReadFile读取2.5、写…...

编程新知 2025/12/14 4:19:36

【p2p、分布式，区块链笔记 MESH】Bluetooth蓝牙通信 BLE Mesh协议的拓扑结构 定向转发机制

目录 节点的功能承载层&#xff08;GATT/Adv&#xff09;局限性&#xff1a; 拓扑关系定向转发机制定向转发意义 CG 节点的功能 节点的功能由节点支持的特性和功能决定。所有节点都能够发送和接收网格消息。节点还可以选择支持一个或多个附加功能&#xff0c;如 Configuration …...

编程新知 2025/12/12 18:28:59

API网关Kong的鉴权与限流：高并发场景下的核心实践

&#x1f525;「炎码工坊」技术弹药已装填&#xff01; 点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】 引言 在微服务架构中&#xff0c;API网关承担着流量调度、安全防护和协议转换的核心职责。作为云原生时代的代表性网关&#xff0c;Kong凭借其插件化架构…...

编程新知 2025/9/6 9:35:29

TCP/IP 网络编程 | 服务端 客户端的封装

设计模式 文章目录 设计模式一、socket.h 接口&#xff08;interface&#xff09;二、socket.cpp 实现&#xff08;implementation&#xff09;三、server.cpp 使用封装&#xff08;main 函数&#xff09;四、client.cpp 使用封装&#xff08;main 函数&#xff09;五、退出方法…...

编程新知 2025/7/27 7:26:07

文件上传漏洞防御全攻略

要全面防范文件上传漏洞&#xff0c;需构建多层防御体系&#xff0c;结合技术验证、存储隔离与权限控制&#xff1a; &#x1f512; 一、基础防护层 前端校验&#xff08;仅辅助&#xff09; 通过JavaScript限制文件后缀名&#xff08;白名单&#xff09;和大小&#xff0c;提…...

编程新知 2025/8/18 19:05:00