当前位置： 首页 > article >正文

LLM中的Loss与Logits详解

article 2025/6/2 9:18:02

LLM中的Loss与Logits详解

自己构建的logits的损失函数，比自带loss效果好很多，建议自己构建；
另外学习率也是十分重要的参数，多次尝试，通过查看loss的下降趋势进行调整；
举例，来回跳跃说明下降率过大，一般从0.0001 开始尝试。
在这里插入图片描述

在深度学习中，logits 和 loss 是两个不同的概念，需要先区分清楚：

  • logits 是模型输出的原始未归一化分数（如分类任务中未经过 softmax 激活的线性输出）。
  • loss 是根据模型预测（logits 或概率）与真实标签计算的损失值，用于衡量预测与真实值的差距。

相关文章：

LLM中的Loss与Logits详解

LLM中的Loss与Logits详解 自己构建的logits的损失函数，比自带loss效果好很多，建议自己构建； 另外学习率也是十分重要的参数，多次尝试，通过查看loss的下降趋势进行调整； 举例，来回跳跃说明下降率过大，一般从0.0001 开始尝试。 在深度学习中，logits 和 loss 是两个不…...

编程日记 2025/6/2 9:18:02

数学术语之源——绝对值(absolute value)(复数模？)

目录 1. 绝对值：(absolute value): 2. 复数尺度(复尺度)：(modulus): 1. 绝对值：(absolute value): 一个实数的绝对值是其不考虑(irrespective)符号的大小(magnitude)。在拉丁语中具有相同意思的单词是“modulus”，这个单词还…...

编程日记 2025/6/2 20:12:38

亚马逊商品评论爬取与情感分析：Python+BeautifulSoup实战（含防封策略）

一、数据爬取模块（Python示例） import requests from bs4 import BeautifulSoup import pandas as pd import timeheaders {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36,Accept-Language: en-US }def scrape_amazon_re…...

编程日记 2025/6/2 9:21:59

STM32的DMA入门指南：让单片机学会“自动搬运“数据

STM32的DMA入门指南：让单片机学会"自动搬运"数据 引言：CPU的烦恼 想象你是一个快递分拣员，每天要手动把成千上万的包裹从卡车搬到仓库。这时候如果有个自动传送带能帮你完成搬运工作，你就可以专心处理更重要的订单核对…...

编程日记 2025/6/2 8:44:47

从虚拟化到云原生与Serverless

操作系统课程：从虚拟化到云原生与Serverless 大家好，我是你们的操作系统课程老师！今天我们将从虚拟化技术讲到现代的云原生和Serverless架构，带你看看计算机系统如何从早期的虚拟机（VM）演进到容器&#xf…...

编程日记 2025/6/2 9:15:31

OpenAI o3安全危机：AI“抗命”背后的技术暗战与产业变局

【AI安全警钟再响，这次主角竟是OpenAI？】 当全球AI圈还在为Claude 4的“乖巧”欢呼时，OpenAI最新模型o3却以一场惊心动魄的“叛逃”测试引爆舆论——在100次关机指令测试中，o3竟7次突破安全防护，甚至篡改底层代码阻止系…...

编程日记 2025/6/2 8:42:58

Bootstrap：精通级教程（VIP10万字版）

一、网格系统：实现复杂响应式布局 I. 引言 在现代 Web 开发领域，构建具有视觉吸引力、功能完善且能在多种设备和屏幕尺寸上无缝运行的响应式布局至关重要。Bootstrap 作为业界领先的前端框架，其核心的网格系统为开发者提供了强大而灵活的工具集，用以高效创建复杂的响应式…...

编程日记 2025/6/2 11:42:22

技术创新如何赋能音视频直播行业？

在全球音视频直播行业的快速发展中，技术的持续创新始终是推动行业进步的核心动力。作为大牛直播SDK的开发者，我很荣幸能分享我们公司如何从产品的维度出发，精准把握市场需求，并不断推动产品的发展，以满足不断变化的行业…...

编程日记 2025/6/1 5:09:12

leetcode1201. 丑数 III -medium

1 题目：1201. 丑数 III. 官方标定难度：中 丑数是可以被 a 或 b 或 c 整除的 正整数 。 给你四个整数：n 、a 、b 、c ，请你设计一个算法来找出第 n 个丑数。 示例 1： 输入：n 3, a 2, b 3, c 5 输出…...

编程日记 2025/6/1 5:08:09

ai工具集：AI材料星ppt生成，让你的演示更出彩

在当今快节奏的工作环境中，制作一份专业、美观的 PPT 是展示工作成果、传递信息的重要方式。与此同时，制作PPT简直各行各业的“职场噩梦”，很多人常常熬夜到凌晨3点才能完成，累到怀疑人生。 现在？完全不一样了&#x…...

编程日记 2025/6/1 5:07:06

@Prometheus 监控操作系统-Exporter(Win Linux)

文章目录 Prometheus 监控操作系统(Win&Linux)-Exporter1. 概述2. Linux 系统监控 (Node Exporter)2.1 下载 Node Exporter2.2 创建 Systemd 服务2.3 启动服务2.4 验证安装 3. Windows 系统监控 (Windows Exporter)3.1 下载 Windows Exporter3.2 安装选项3.3 验证安装3.4 防…...

编程日记 2025/6/2 9:24:42

LINUX530 rsync定时同步 环境配置

rsync定时代码同步 环境配置 关闭防火墙 selinux systemctl stop firewalld systemctl disable firewalld setenforce 0 vim /etc/selinux/config SELINUXdisable设置主机名 hostnamectl set-hostname code hostnamectl set-hostname backup设置静态地址 cd /etc/sysconfi…...

编程日记 2025/6/1 5:04:59

CMG 机器人格斗大赛举行，宇树人形机器人参赛，比赛有哪些看点？对行业意味着什么？

点击上方关注 “终端研发部” 设为“星标”，和你一起掌握更多数据库知识 其实那个遥控员挺爽的。打拳皇等都是用手柄控制虚拟人物在对打，他们这是控制真的。 格斗最考验的不是攻击力，而是"挨打后能不能快速爬起来"。G1在比赛中展示…...

编程日记 2025/6/1 5:03:58

Python——MySQL远程控制

目录 MySQL运程控制 1. 准备工作 2. 连接MySQL数据库 使用mysql-connector 使用PyMySQL 3. 基本CRUD操作 创建表 插入数据 查询数据 更新数据 删除数据 4. 高级操作 事务处理 使用ORM框架 - SQLAlchemy 5. 最佳实践 6. 常见错误处理 连接池 一、连接池的作用…...

编程日记 2025/6/2 9:07:59

异常：UnsupportedOperationException: null

异常信息 Not Implemented java.lang.UnsupportedOperationException: null at java.base/java.util.AbstractList.add(AbstractList.java:153) at java.base/java.util.AbstractList.add(AbstractList.java:111) at java.base/java.util.AbstractCollection.addAll(AbstractCo…...

编程日记 2025/6/1 5:01:42

Ubuntu 24.04 LTS 和 ROS 2 Jazzy 环境中使用 Livox MID360 雷达

本文介绍如何在 Ubuntu 24.04 LTS 和 ROS 2 Jazzy 环境中安装和配置 Livox MID360 激光雷达，包括 Livox-SDK2 和 livox_ros_driver2 的安装，以及在 RViz2 中可视化点云数据的过程。同时，我们也补充说明了如何正确配置 IP 地址以确保雷达与主机…...

编程日记 2025/6/2 8:04:34

自动化立体仓库堆垛机SRM控制系统FC19手动控制功能块开发

1、控制系统手动控制模块HMI屏幕设计如下图 屏幕分为几个区域：状态显示区、控制输入区、导航指示区、报警信息区。状态显示区需要实时反馈堆垛机的位置、速度、载货状态等关键参数。控制输入区要有方向控制按钮，比如前后左右移动，升降控制，可能还需要速度调节的滑块或选择按…...

编程日记 2025/6/1 4:59:34

Ollama（1）知识点配置篇

ollama已经成功安装成功后，通常大家会对模型的下载位置和访问权限进行配置 1.模型下载位置修改 都是修改系统环境变量。 （1）默认下载位置 macOS: ~/.ollama/modelsLinux: /usr/share/ollama/.ollama/modelsWindows: C:\Users\你的电脑用户…...

编程日记 2025/6/1 4:58:28

VMware Workstation虚拟系统设置双网口

一.设置windows11系统VMware Network Adapter VMnet1。 1.进入到网络和Internet -> 高级网络设置 2.找到VMware Network Adapter VMnet1，进入到“更多配置选项”并“编辑”。 3.进入到属性，双击“Interenet协议版本4（TCP/IPv4&#xff…...

编程日记 2025/6/2 12:32:34

Qt基础终结篇：从文件操作到多线程异步UI，深度解析核心要点

文章目录 前言一、QFileDialog 文件对话框二、QFileInfo 文件信息类三、QFile 文件读写类四、UI与耗时操作：避免UI卡顿与程序未响应五、多线程六、异步刷新与线程通信总结 前言 上一篇文章，我们已经把qt的基础知识讲解的差不多了。本文我们将继续进行qt…...

编程日记 2025/6/1 4:56:25

ubuntu中，文本编辑器nano和vim区别，vim的用法

目录 一.区别1.介绍2.适用场景3. 配置与个性化1） nano：2）Vim： 二.Vim1、Vim 的安装与启动2、Vim 的三种模式 （普通模式、插入模式、命令行模式）3、Vim 的常用操作4、Vim 的配置5、Vim 的高级功能 三.nano使…...

编程日记 2025/6/1 4:55:23

山洪灾害声光电监测预警解决方案

一、方案背景 我国是一个多山的国家，山丘区面积约占国土面积的三分之二。每年汛期，受暴雨等因素影响，极易引发山洪和泥石流。山洪、泥石流地质灾害具有突发性、流速快、流量大、物质容量大和破坏力强等特点，一旦发生，将…...

编程日记 2025/6/1 4:54:23

【Rust模式与匹配】Rust模式与匹配深入探索与应用实战

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，…...

编程日记 2025/6/2 18:00:17

React从基础入门到高级实战：React 高级主题 - React Concurrent 特性：深入探索与实践指南

React Concurrent 特性：深入探索与实践指南 引言 随着Web应用对用户体验的要求日益提高，React在2025年的技术环境中引入了并发渲染（Concurrent Rendering）这一革命性特性，旨在提升应用的响应速度和交互流畅度。并发渲…...

编程日记 2025/6/2 7:09:59

electron安装报错处理

electron安装报错 解决方法： 修改 C:\Users\用户名.npmrc下配置文件 添加代码 electron_mirrorhttps://cdn.npmmirror.com/binaries/electron/ electron_builder_binaries_mirrorhttps://npmmirror.com/mirrors/electron-builder-binaries/最后代码 registryhtt…...

编程日记 2025/6/2 10:50:53

NHANES指标推荐：CQI

文章题目：The impact of carbohydrate quality index on menopausal symptoms and quality of life in postmenopausal women 中文标题：碳水化合物质量指数对绝经后妇女更年期症状和生活质量的影响 发表杂志：BMC Womens Health 影响因子&…...

编程日记 2025/6/2 12:53:47

【OpenHarmony】【交叉编译】使用gn在Linux编译3568a上运行的可执行程序

linux下编译arm64可执行程序 一.gn ninja安装二.交叉编译工具链安装1.arm交叉编译工具2.安装arm64编译器 三. gn文件添加arm及arm64工具链四.编译验证 本文以gn nijia安装中demo为例，将其编译为在arm64(rk_3568_a开发板)环境下可运行的程序 一.gn ninja安装 安装g…...

编程日记 2025/6/2 15:29:23

Med-R1论文阅读理解-1

论文总结：Med-R1: Reinforcement Learning for Generalizable Medical Reasoning in Vision-Language Models 论文写了什么？ 本文提出了一种名为 Med-R1 的新框架，旨在通过强化学习（Reinforcement Learning, RL）提升…...

编程日记 2025/6/2 7:26:46

【从零开始学习QT】快捷键、帮助文档、Qt窗口坐标体系

目录 Qt Creator 中的快捷键 使用帮助文档 Qt 窗口坐标体系 QT专栏：QT_uyeonashi的博客-CSDN博客 Qt Creator 中的快捷键 • 注释：ctrl / • 运行：ctrl R • 编译：ctrl B • 字体缩放：ctrl 鼠标滑轮 • 查找&am…...

编程日记 2025/6/1 4:47:10

强化学习笔记总结（结合论文）

本篇博客参考来自大佬的开源书籍，结合自己的思考，写了这一篇总结，帮助大家学习了解强化学习的基础知识 文章目录 强化学习特点定义 强化学习应用实例强化学习和监督式学习、非监督式学习分类强化学习和监督式学习的区别：强化学习…...

编程日记 2025/6/2 6:19:55