【bug】使用transformers训练二分类任务时，训练损失异常大
使用transformers训练二分类任务时，训练损失异常大
- 问题
- 分析
问题
training_loss异常大，在二分类损失中，收敛在1~2附近，而eval_loss却正常（小于0.5）
分析
参考：
Bug in gradient accumulation training_step in huggingface Trainer?
Fix Gradient Accumulation issue
使用解决了多卡gradient accumulation严重BUG的最新transformer库（以及对应的trl库），DPO训练的时候LOSS变为之前的好几倍
New GA fix causes training loss multiple times higher across the board (5x to 10x higher)
版本：trainsformer==4.46.0
怀疑启用training_args.gradient_accumulation_steps后，training_loss变大。
对比后发现，确实启用GA后，training_loss会变大，差不多是不启用GA的4倍。
这下差不多可以确定，在启用GA后，training_loss乘上了GA。
看到社区也有很多人在讨论这个问题，目前transformers最新版本是4.46.3，不知道是否解决了这个问题。
最新版本是4.46.3，不知道是否解决了这个问题。
transformers怎么这么多bug…
20241122：实测4.46.3版本还是未解决使用GA后，训练损失偏大的问题。
相关文章：
【bug】使用transformers训练二分类任务时，训练损失异常大
使用transformers训练二分类任务时，训练损失异常大 问题分析 问题 training_loss异常大，在二分类损失中，收敛在1~2附近，而eval_loss却正常（小于0.5） 分析 参考： Bug in gradient accumulation…...
文献阅读与笔记整理技巧
文献阅读 1.原因 （1）了解背景知识（硕博学位论文，大牛文献综述） （2）把握研究方向（行业最新论文，大牛文献综述） （3）学习设计思路&am…...
Python Flask中集成SQLAlchemy和Flask-Login
在现代Web应用开发中,数据库和用户认证是两个非常重要的功能。Flask作为一个轻量级的Python Web框架,本身只提供了最基本的Web功能。但是,它可以通过集成各种优秀的扩展库来增强功能。本文将介绍如何在Flask应用中集成SQLAlchemy(数据库)和Flask-Login(用户认证),并提供一个完整…...
esp32 JTAG 串口 bootload升级
文章目录 一、前言二、了解 JTAG 和 Ymodem 的工作原理2.1 环境准备2.2 Ymodem 协议工作原理2.3 固件分区准备 三、关键升级函数五、使用shell 测试 一、前言 如果使用 JTAG 串口 结合 Ymodem 协议 实现 ESP32 的固件升级，整体逻辑将围绕通过串口传输固件文件并将其…...
【linux】（17）压缩和解压
tar tar 是一个用于创建、维护、修改和解压缩存档文件的 Linux 命令。tar 常常用于备份文件或者将多个文件打包成一个文件以便于传输或存储。以下是 tar 命令的详细教程，包括常用选项和示例： 基本语法 tar [选项] [文件或目录]常用选项 -c࿱…...
摄像机视频分析软件下载LiteAIServer视频智能分析平台玩手机打电话检测算法技术的实现
随着科技的不断进步，摄像机视频分析软件的发展已经为我们的生活带来了许多便捷。其中，LiteAIServer视频智能分析平台的玩手机打电话检测算法技术尤为突出，它利用先进的图像处理和人工智能技术，能够自动识别并监控视频中的玩手机或…...
springboot购物推荐网站的设计与实现(代码+数据库+LW)
摘要 随着信息互联网购物的飞速发展，一般企业都去创建属于自己的电商平台以及购物管理系统。本文介绍了东大每日推购物推荐网站的开发全过程。通过分析企业对于东大每日推购物推荐网站的需求，创建了一个计算机管理东大每日推购物推荐网站的方案。文章介…...
【Unity3D插件】Unity3D HDRP Outline高亮发光轮廓描边插件教程
推荐阅读 CSDN主页GitHub开源地址Unity3D插件分享QQ群：398291828小红书小破站 大家好，我是佛系工程师☆恬静的小魔龙☆，不定时更新Unity开发技巧，觉得有用记得一键三连哦。 一、前言 最近用Unity3D的HDRP（高清渲染管…...
QT基础 UI编辑器 QT5.12.3环境 C++环境
一、UI编辑器 注意：创建工程时，要勾上界面按钮 UI设计师界面的模块 UI编辑器会在项目构建目录中自动生成一个ui_xxx.h（构建一次才能生成代码），来表示ui编辑器界面的代码，属于自动生成的，一定不…...
计算机网络socket编程(5)_TCP网络编程实现echo_server
个人主页：C忠实粉丝 欢迎 点赞👍 收藏✨ 留言✉ 加关注💓本文由 C忠实粉丝 原创 计算机网络socket编程(5)_TCP网络编程实现echo_server 收录于专栏【计算机网络】 本专栏旨在分享学习计算机网络的一点学习笔记，欢迎大家在评论区交…...
go语言闭包捕获的是变量的引用而不是变量的值
在 Go 语言中，闭包捕获的是变量的引用，而不是变量的值。这意味着闭包会引用循环变量或外部变量的实际内存位置，而不是在闭包创建时复制变量的值。这种行为有时会导致意外的结果，尤其是在循环中创建多个闭包时。 闭包捕获变量的引…...
周期法频率计的设计
目录 周期法频率计 分析： 设计过程： 周期法频率计 对于低频信号，应用周期法进行测频。周期法测频的基本原理是：应用标准频率信号统计被测信号两个相邻脉冲之间的脉冲数，然后通过脉冲数计算出被测信号的周期ÿ…...
【Linux】drop cache与reclaim的区别
前言 在 Linux 内核中，drop cache和reclaim是两种不同的内存管理机制，它们的目的和实现方式有所不同。 Drop Cache 定义 drop cache 是一种手动操作，允许用户通过向 /proc/sys/vm/drop_caches 写入特定的值，直接清除系统中的缓…...
【Linux课程学习】：命令行参数，环境变量
🎁个人主页：我们的五年 🔍系列专栏：Linux课程学习 🌷追光的人，终会万丈光芒 🎉欢迎大家点赞👍评论📝收藏⭐文章 目录 命令行参数： 用命令行参数实现不同…...
HTB：WifineticTwo[WriteUP]
目录 连接至HTB服务器并启动靶机 信息搜集 使用rustscan对靶机TCP端口进行开放扫描 使用nmap对靶机开放端口进行脚本、服务扫描 使用curl访问靶机8080端口 使用浏览器直接访问/login路径 漏洞利用 使用searchsploit搜索该WebAPP漏洞 Payload USER_FLAG：bb…...
mac安装Pytest、Allure、brew
安装环境 安装pytest 命令 pip3 install pytest 安装allure 命令：brew install allure 好吧 那我们在安装allure之前 我们先安装brew 安装brew 去了官网复制了命令 还是无法下载 如果你们也和我一样可以用这个方法哦 使用国内的代码仓库来执行brew的安装脚本…...
关于相机选型的一些参数说明
上一篇：关于相机的一些参数计算（靶面、视野等） 目录 1.卷帘快门和全局快门1.1 卷帘快门1.2 全局快门PS：视觉伺服与快门选择 2.黑白和彩色3.CCD和CMOS3.1 CCD3.2 CMOSCCD VS CMOS 4.面阵和线扫4.1 面阵4.2 线扫4.3 面阵 VS 线扫 5.…...
深入解析 Cron 表达式高级用法：Spring 与 Linux Crontab 的全面对比与实践20241120
深入解析 Cron 表达式高级用法：Spring 与 Linux Crontab 的全面对比与实践 任务调度是后台服务中的重要组成部分，无论是定期数据备份、日志归档还是周期性报表生成，Cron 表达式始终是描述这些任务规则的核心工具。本文将聚焦 Spring Cron 表…...
24软专 数据结构
1、A[n]，k，将数组向右循环移动k位。要求时间复杂度O(n)，空间O(1)。 思路：采用三次反转数组的操作，可以实现时间复杂度为O(n)，空间复杂度为O(1)的算法。 void moveElem(int array[],int k,int length){//a…...
洛谷 P1616 疯狂的采药 C语言 记忆化搜索
题目： https://www.luogu.com.cn/problem/P1616?contestId215526 完全背包问题，最后一个超出空间了。完全背包和就是无限次的拿，公式跟01背包差不多。 但是，只有当前能拿和拿不下，换下一个。注意要处理好边界条件。…...
UE5 学习系列（二）用户操作界面及介绍
这篇博客是 UE5 学习系列博客的第二篇，在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下： 【Note】：如果你已经完成安装等操作，可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作，重…...
Vim 调用外部命令学习笔记
Vim 外部命令集成完全指南 文章目录 Vim 外部命令集成完全指南核心概念理解命令语法解析语法对比 常用外部命令详解文本排序与去重文本筛选与搜索高级 grep 搜索技巧文本替换与编辑字符处理高级文本处理编程语言处理其他实用命令 范围操作示例指定行范围处理复合命令示例 实用技…...
YSYX学习记录（八）
C语言，练习0： 先创建一个文件夹，我用的是物理机： 安装build-essential 练习1： 我注释掉了 #include <stdio.h> 出现下面错误 在你的文本编辑器中打开ex1文件，随机修改或删除一部分，之后…...
vue3 定时器-定义全局方法 vue+ts
1.创建ts文件 路径：src/utils/timer.ts 完整代码： import { onUnmounted } from vuetype TimerCallback (...args: any[]) > voidexport function useGlobalTimer() {const timers: Map<number, NodeJS.Timeout> new Map()// 创建定时器con…...
Unit 1 深度强化学习简介
Deep RL Course ——Unit 1 Introduction 从理论和实践层面深入学习深度强化学习。学会使用知名的深度强化学习库，例如 Stable Baselines3、RL Baselines3 Zoo、Sample Factory 和 CleanRL。在独特的环境中训练智能体，比如 SnowballFight、Huggy the Do…...
嵌入式常见 CPU 架构
架构类型架构厂商芯片厂商典型芯片特点与应用场景PICRISC (8/16 位)MicrochipMicrochipPIC16F877A、PIC18F4550简化指令集，单周期执行；低功耗、CIP 独立外设；用于家电、小电机控制、安防面板等嵌入式场景8051CISC (8 位)Intel（原始…...
高考志愿填报管理系统---开发介绍
高考志愿填报管理系统是一款专为教育机构、学校和教师设计的学生信息管理和志愿填报辅助平台。系统基于Django框架开发，采用现代化的Web技术，为教育工作者提供高效、安全、便捷的学生管理解决方案。 ## 📋 系统概述 ### 🎯 系统定…...
论文阅读：Matting by Generation
今天介绍一篇关于 matting 抠图的文章，抠图也算是计算机视觉里面非常经典的一个任务了。从早期的经典算法到如今的深度学习算法，已经有很多的工作和这个任务相关。这两年 diffusion 模型很火，大家又开始用 diffusion 模型做各种 CV 任务了&am…...
【Linux】Linux安装并配置RabbitMQ
目录 1. 安装 Erlang 2. 安装 RabbitMQ 2.1.添加 RabbitMQ 仓库 2.2.安装 RabbitMQ 3.配置 3.1.启动和管理服务 4. 访问管理界面 5.安装问题 6.修改密码 7.修改端口 7.1.找到文件 7.2.修改文件 1. 安装 Erlang 由于 RabbitMQ 是用 Erlang 编写的，需要先安…...
《信号与系统》第 6 章 信号与系统的时域和频域特性
目录 6.0 引言 6.1 傅里叶变换的模和相位表示 6.2 线性时不变系统频率响应的模和相位表示 6.2.1 线性与非线性相位 6.2.2 群时延 6.2.3 对数模和相位图 6.3 理想频率选择性滤波器的时域特性 6.4 非理想滤波器的时域和频域特性讨论 6.5 一阶与二阶连续时间系统 6.5.1 …...