当前位置： 首页 > article >正文

LLM最后怎么输出值 解码语言模型：从权重到概率的奥秘

article 2025/9/12 7:48:30

在这里插入图片描述

在这里插入图片描述

  1. LM Head Weights（语言模型头部权重）：左侧的“LM Head Weights”表示语言模型头部的权重矩阵，它是模型参数的一部分。权重矩阵与输入数据进行运算。
  2. Logits（未归一化对数概率）：经过与LM Head Weights运算后得到Logits。Logits是模型输出的未经过归一化处理的数值，代表各个类别（token ）的得分。
  3. SM Agg（Softmax Aggregation） ：对Logits进行特定的聚合处理，可能是为了在特定维度上进行汇总或进一步处理。
  4. Logits Softmax：将经过SM Agg处理后的Logits通过Softmax函数进行处理。Softmax函数将未归一化的Logits转换为概率分布，使得所有可能输出的概率之和为1。
  5. 输出：最终输出各个类别（这里用A、B、C表示不同token ）对应的概率值，比如图中展示了多个类别，模型根据概率来预测最可能的输出。

相关文章：

LLM最后怎么输出值 解码语言模型：从权重到概率的奥秘

LM Head Weights（语言模型头部权重）：左侧的“LM Head Weights”表示语言模型头部的权重矩阵，它是模型参数的一部分。权重矩阵与输入数据进行运算。Logits（未归一化对数概率）：经过与LM Head Weig…...

编程日记 2025/9/8 18:44:27

Leetcode百题斩-回溯

回溯是一个特别经典的问题，也被排在了百题斩的第一部分，那么我们接下来来过一下这个系列。 这个系列一共八道题，偶然间发现我两年前还刷到这个系列的题，回忆起来当时刚经历淘系大变动与jf出走海外事件，大量同事离职闹…...

编程日记 2025/9/11 17:16:42

超小多模态视觉语言模型MiniMind-V 训练

简述 MiniMind-V 是一个超适合初学者的项目，让你用普通电脑就能训一个能看图说话的 AI。训练过程就像教小孩：先准备好图文材料（数据集），教它基础知识（预训练），再教具体技能&#xf…...

编程日记 2025/9/8 18:44:17

边缘云的定义、实现与典型应用场景！与传统云计算的区别！

一、什么是边缘云？‌ 边缘云是一种‌分布式云计算架构‌，将计算、存储和网络资源部署在‌靠近数据源或终端用户的网络边缘侧‌（如基站、本地数据中心或终端设备附近），而非传统的集中式云端数据中心。 ‌核心特征‌&…...

编程日记 2025/9/8 18:44:13

HarmonyOS 鸿蒙应用开发基础：父组件和子组件的通信方法总结

在鸿蒙开发中，ArkUI声明式UI框架提供了一种现代化、直观的方式来构建用户界面。然而，由于其声明式的特性，父组件与子组件之间的通信方式与传统的命令式框架有所不同。本文旨在详细探讨在ArkUI框架中，父组件和子组件通信的方法总结…...

编程日记 2025/7/26 1:47:35

小白的进阶之路系列之三----人工智能从初步到精通pytorch计算机视觉详解下

我们将继续计算机视觉内容的讲解。 我们已经知道了计算机视觉，用在什么地方，如何用Pytorch来处理数据，设定一些基础的设置以及模型。下面，我们将要解释剩下的部分，包括以下内容： 主题内容Model 1 ：加入非线性实验是机器学习的很大一部分，让我们尝试通过添加非线性层来…...

编程日记 2025/9/2 18:47:39

Scrapy爬取heima论坛所有页面内容并保存到MySQL数据库中

前期准备： Scrapy入门_win10安装scrapy-CSDN博客 新建 Scrapy项目 scrapy startproject mySpider # 项目名为mySpider 进入到spiders目录 cd mySpider/mySpider/spiders 创建爬虫 scrapy genspider heima bbs.itheima.com # 爬虫名为heima ，爬…...

编程日记 2025/9/8 18:44:10

HarmonyOS NEXT～鸿蒙系统下的Cordova框架应用开发指南

HarmonyOS NEXT～鸿蒙系统下的Cordova框架应用开发指南 1. 简介 Apache Cordova是一个流行的开源移动应用开发框架，它允许开发者使用HTML5、CSS3和JavaScript构建跨平台移动应用。随着华为鸿蒙操作系统(HarmonyOS)的崛起，将Cordova应用适配到…...

编程日记 2025/9/5 3:49:44

com.alibaba.fastjson2 和com.alibaba.fastjson 区别

1，背景 最近发生了一件很奇怪的事：我们的服务向第三方发送请求参数时，第三方接收到的字段是首字母大写的 AppDtoList，但我们需要的是小写的 appDtoList。这套代码是从其他项目A原封不动复制过来的，我们仔细核对了项目…...

编程日记 2025/9/8 18:44:06

探索数据结构的时间与空间复杂度：编程世界的效率密码

在计算机科学的世界里，数据结构是构建高效算法的基石。而理解数据结构的时间复杂度和空间复杂度，则是评估算法效率的关键。无论是优化现有代码，还是设计新的系统，复杂度分析都是程序员必须掌握的核心技能。本文将深入探讨这两个重…...

编程日记 2025/8/7 18:28:35

std::ranges::views::stride 和 std::ranges::stride_view

std::ranges::views::stride 是 C23 中引入的一个范围适配器，用于创建一个视图，该视图只包含原始范围中每隔 N 个元素的元素（即步长为 N 的元素）。 基本概念 std::ranges::stride_view 是一个范围适配器，接受一个输…...

编程日记 2025/7/2 6:42:03

了解Android studio 初学者零基础推荐（2）

在kotlin中编写条件语句 if条件语句 fun main() {val trafficLight "gray"if (trafficLight "red") {println("Stop!")} else if (trafficLight "green") {println("go!")} else if (trafficLight "yellow")…...

编程日记 2025/9/8 18:43:45

矩阵短剧系统：如何用1个后台管理100+小程序？技术解析与实战应用

引言：短剧行业的效率革命 2025年，短剧市场规模已突破千亿，但传统多平台运营模式面临重复开发成本高、用户数据分散、内容同步效率低等痛点。行业亟需一种既能降本增效又能聚合流量的解决方案——“矩阵短剧系统”。通过“1个后台管理100小程…...

编程日记 2025/9/2 16:51:24

C# 初学者的 3 种重构模式

(Martin Fowlers Example) 1. 积极使用 Guard Clause（保护语句） "如果条件不满足，立即返回。将核心逻辑放在最少缩进的地方。" 概念定义 Guard Clause（保护语句） 是一种在函数开头检查特定条件是否满足&a…...

编程日记 2025/9/11 22:42:31

MySQL 数据类型深度全栈实战，天花板玩法层出不穷！

在 MySQL 数据库的世界里，数据类型是构建高效、可靠数据库的基石。选择合适的数据类型，不仅能节省存储空间，还能提升数据查询和处理的性能 目录 ​编辑 一、MySQL 数据类型总览 二、数值类型 三、字符串类型 四、日期时间类型 五、其他…...

编程日记 2025/9/11 22:41:51

前端vscode学习

1.安装python 打开Python官网：Welcome to Python.org 一定要点PATH，要不然要自己设 点击install now,就自动安装了 键盘winR 输入cmd 点击确定 输入python，回车 显示这样就是安装成功了 2.安装vscode 2.1下载软件 2.2安装中文 2.2.1当安…...

编程日记 2025/9/11 22:41:38

自动驾驶传感器数据处理：Python 如何让无人车更智能？

自动驾驶传感器数据处理：Python 如何让无人车更智能？ 1. 引言：为什么自动驾驶离不开数据处理？ 自动驾驶一直被誉为人工智能最具挑战性的应用之一，而其背后的核心技术正是 多传感器融合与数据处理。 一辆智能驾驶汽车，通常搭载： 激光雷达（LiDAR） —— 3D 环境感知，…...

编程日记 2025/6/6 9:23:43

从电商角度设计大模型的 Prompt

从电商角度设计大模型的 Prompt，有一个关键核心思路：围绕具体业务场景明确任务目标输出格式，帮助模型为运营、客服、营销、数据分析等工作提效。以下是电商场景下 Prompt 设计的完整指南，包含通用思路、模块范例、实战案例等内容。…...

编程日记 2025/6/5 6:38:32

利用 SQL Server 作业实现异步任务处理：一种简化系统架构的实践方案

在中小型企业系统架构中，很多业务场景需要引入异步任务处理机制，例如： 订单完成后异步生成报表； 用户操作后触发异步推送； 后台批量导入数据后异步校验； 跨系统的数据同步与转换。 传统做法是引入消息…...

编程日记 2025/8/27 23:33:48

平安健康2025年一季度深耕医养，科技赋能见成效

近日，平安健康医疗科技有限公司（股票简称“平安好医生”，1833.HK）公布截至2025年3月31日止三个月的业绩报告，展现出强劲的发展势头与潜力。 2025年一季度，中国经济回升向好，平安健康把握机遇&a…...

编程日记 2025/7/8 18:55:36

Index-AniSora技术升级开源：动漫视频生成强化学习

B站升级动画视频生成模型Index-AniSora技术并开源，支持番剧、国创、漫改动画、VTuber、动画PV、鬼畜动画等多种二次元风格视频镜头一键生成！ 整个工作技术原理基于B站提出的 AniSora: Exploring the Frontiers of Animation Video Generation in the So…...

编程日记 2025/9/11 22:41:30

LLVM编译C++测试

安装命令 sudo apt install clang sudo apt-get install llvm 源码 hello.cpp #include <iostream> using namespace std; int main(){cout << "hello world" << endl;return 0; }编译 clang -emit-llvm -S hello.cpp -o hello.ll 执行后&#…...

编程日记 2025/7/8 21:02:57

ubuntu24.04+RTX5090D 显卡驱动安装

初步准备 Ubuntu默认内核太旧&#xff0c;用mainline工具安装新版&#xff1a; sudo add-apt-repository ppa:cappelikan/ppa sudo apt update && sudo apt full-upgrade sudo apt install -y mainline mainline list # 查看可用内核列表 mainline install 6.13 # 安装…...

编程日记 2025/9/11 22:41:22

MATLAB贝叶斯超参数优化LSTM预测设备寿命应用——以航空发动机退化数据为例

原文链接&#xff1a;tecdat.cn/?p42189 在工业数字化转型的浪潮中&#xff0c;设备剩余寿命&#xff08;RUL&#xff09;预测作为预测性维护的核心环节&#xff0c;正成为数据科学家破解设备运维效率难题的关键。本文改编自团队为某航空制造企业提供的智能运维咨询项目成果&a…...

编程日记 2025/9/11 22:41:17

鸿蒙应用开发：Navigation组件使用流程

一、编写navigation相关代码 1.在index.ets文件中写根视图容器 2.再写两个子页面文件 二、创建rote_map.json文件 三、在module.json5文件中配置路由导航 子页配置信息 4.跳转到其他页面 但是不支持返回到本页面的 用以下方式 以下是不能返回的情况 onClick(()>{this.pag…...

编程日记 2025/9/11 22:41:12

javaweb的拦截功能，自动跳转登录页面

我们开发系统时候&#xff0c;肯定希望用户登录后才能进入主页面去访问其他服务&#xff0c;但要是没有拦截功能的话&#xff0c;他就可以直接通过url访问或者post注入攻击了。 因此我们可以通过在后端添加拦截过滤功能把没登录的用户给拦截下来&#xff0c;让他去先登录&#…...

编程日记 2025/7/18 14:03:29

【Linux】系统在输入密码后进入系统闪退锁屏界面

问题描述 麒麟V10系统&#xff0c;输入密码并验证通过后进入桌面&#xff0c;1秒左右闪退回锁屏问题 问题排查 小白鸽之前遇到过类似问题&#xff0c;但是并未进入系统桌面内直接闪退到锁屏。 之前问题链接&#xff1a; https://blog.csdn.net/qq_51228157/article/details/140…...

编程日记 2025/9/11 22:41:05

当物联网“芯”闯入纳米世界：ESP32-S3驱动的原子力显微镜能走多远？

上次咱们把OV2640摄像头“盘”得明明白白&#xff0c;是不是感觉ESP32-S3这小东西潜力无限&#xff1f;今天&#xff0c;咱们玩个更刺激的&#xff0c;一个听起来就让人肾上腺素飙升的挑战——尝试用ESP32-S3这颗“智慧芯”&#xff0c;去捅一捅科学界的“马蜂窝”&#xff0c;…...

编程日记 2025/6/2 16:06:30

微信小程序webview与VUE-H5实时通讯，踩坑无数！亲测可实现

背景&#xff1a;微信小程序、vue3搭建开发的H5页面 在微信小程序开发中&#xff0c;会遇到嵌套H5页面&#xff0c;H5页面需要向微信小程序发消息触发微信小程序某个函数方法&#xff0c;微信开发文档上写的非常不清楚&#xff0c;导致踩了很多坑&#xff0c;该文章总结可直接使…...

编程日记 2025/9/11 22:40:50

Web请求与相应

目录 HTTP协议 一、协议基础特性 二、协议核心组成 三、完整通信流程&#xff08;TCP/IP层&#xff09; 1. 基础方法 2. 扩展方法 3. 安全性与幂等性 4. 应用场景示例 三、关键版本演进 四、典型工作流程 HTTP状态码 一、状态码分类体系 二、详细状态码表格&#…...

编程日记 2025/6/10 17:25:54