当前位置： 首页 > news >正文

GPT每预测一个token就要调用一次模型

news 2025/10/30 21:26:07

问题：下图调用了多少次模型？

在这里插入图片描述
不久以前我以为是调用一次

通过看代码是输出多少个token就调用多少次，如图所示：

在这里插入图片描述

我理解为分类模型

预测下一个token可以理解为分类模型，类别是vocab的所有token，每一次调用都是在分类

为什么不能一次输出呢

从数学维度来讲，本质是条件概率，每次预测token都要基于前面的token为条件;
比如说预测了某个token，设为t1，然后要预测t2，这个时候t1要成为t2的条件了，那么t1也要转换成特征向量，那有两种选择，一种是直接使用t0的最后一层向量当作t1，还有一种是调用一次模型生成t1的特征向量； 对比两种选择，显然再调用一次模型更合理，才能利用transformer的优势，能得到更好的结果。

详情请看：https://www.zhihu.com/tardis/zm/art/623704947?source_id=1003

相关文章：

GPT每预测一个token就要调用一次模型

问题：下图调用了多少次模型？ 不久以前我以为是调用一次 通过看代码是输出多少个token就调用多少次，如图所示： 我理解为分类模型 预测下一个token可以理解为分类模型，类别是vocab的所有token，每一次调用都…...

编程日记 2023/12/26 10:39:18

运维工程师的出路到底在哪里？

1.35岁被称为运维半衰期，主要是因为运维工作的技术栈和工作方式在不断更新和演进。随着新技术的出现和发展，老旧的技术逐渐被淘汰，运维工作也需要不断学习和适应新技术，否则就容易被市场淘汰。 2.要顺利过渡半衰期，运…...

编程日记 2023/12/26 10:35:15

2312clang,基于访问者的前端动作

原文 基于RecursiveASTVisitor的ASTFrontendActions. 创建用RecursiveASTVisitor查找特定名字的CXXRecordDeclAST节点的FrontendAction. 创建FrontendAction 编写基于clang的工具(如Clang插件或基于LibTooling的独立工具)时,常见入口是允许在编译过程中执行用户特定操作的F…...

编程日记 2023/12/26 10:33:13

怎么搭建实时渲染云传输服务器

实时渲染云传输技术方案，在数字孪生、虚拟仿真领域使用越来越多，可能很多想使用该技术方案项目还不知道具体该怎么搭建云传输服务器，具体怎么使用实时云渲染平台系统。点量云小芹将对这两个问题做集中分享。 一、实时渲染服务器怎么搭建&…...

编程日记 2023/12/26 10:32:12

如何在生产环境正确使用Redis

一、在生产环境使用Redis 如果在生产环境使用Redis，需要遵守一定的使用规范，以保障服务稳定、高效。。 1.1、明确Redis集群的服务定位 1、仅适用于缓存场景：Redis定位于高性能缓存服务，强调快速读写和低延迟的特性，…...

编程日记 2023/12/26 10:31:11

LeetCode-环形链表问题

1.环形链表（141） 题目描述： 给你一个链表的头节点 head ，判断链表中是否有环。 如果链表中有某个节点，可以通过连续跟踪 next 指针再次到达，则链表中存在环。 为了表示给定链表中的环，评测系统…...

编程日记 2023/12/26 10:30:10

C# 读取Word表格到DataSet

目录 功能需求 Office 数据源的一些映射关系 范例运行环境 配置Office DCOM 关键代码 组件库引入 ​核心代码 杀掉进程 总结 功能需求 在应用项目里，多数情况下我们会遇到导入 Excel 文件数据到数据库的功能需求，但某些情况下，也存…...

编程日记 2023/12/26 10:28:08

构建外卖系统：从技术到实战

在当今高度数字化的社会中，外卖系统的开发变得愈发重要。本文将从技术角度出发，带领读者一步步构建一个基础的外卖系统，并涵盖关键技术和实际代码。 1. 技术选型 1.1 后端开发 选择Node.js和Express框架进行后端开发，搭建一个灵…...

编程日记 2023/12/26 10:23:04

城市之眼：数据可视化在智慧城市的角色

作为智慧城市建设的核心组成部分，数据可视化扮演着至关重要的角色。在城市中，数据源源不断地产生，涵盖了从交通流量、环境质量到市民需求等各个方面。而数据可视化作为将这些数据呈现出来的手段，对智慧城市的发展起着关键性的作用…...

编程日记 2023/12/26 10:20:01

Nature | Baker团队用AI设计出史上最高互作强度的蛋白质

蛋白质是生命的基础，是生命功能的主要执行者，其结构与功能由氨基酸序列所决定。蛋白质设计是指对新蛋白质分子进行人为的合理设计，旨在设计新的活性，行为或目的，并增进对蛋白质功能的基本了解。可以从头开始设计蛋白质…...

编程日记 2023/12/26 10:19:00

C# 初识System.IO.Pipelines

写在前面 在进一步了解Socket粘包分包的过程中，了解到了.NET 中的 System.IO.Pipelines，可以更优雅高效的解决这个问题；先跟随官方的示例做个初步的认识。 System.IO.Pipelines 是一个库，旨在使在 .NET 中执行高性能 I/O 更加容…...

编程日记 2023/12/26 10:16:58

嵌入式——RTC内置实时时钟

学习目标 理解原理图RTC设计部分掌握初始化RTC掌握设置时间掌握读取时间学习内容 RTC原理图 RTC结构框图 RTC时钟 开发流程 加载依赖。gd32f4xx_rtc.c,gd32f4xx_pmu.c初始化RTC。时钟配置。获取时钟。RTC初始化 // 电池管理加载 rcu_periph_clock_enable(RCU_PMU); pmu_back…...

编程日记 2023/12/26 10:10:53

nodejs微信小程序＋python＋PHP的热带野生动物园景点预约订票系统的设计与实现-计算机毕业设计推荐

目 录 摘 要 I ABSTRACT II 目 录 II 第1章 绪论 1 1.1背景及意义 1 1.2 国内外研究概况 1 1.3 研究的内容 1 第2章 相关技术 3 2.1 nodejs简介 4 2.2 express框架介绍 6 2.4 MySQL数据库 4 第3章 系统分析 5 3.1 需求分析 5 3.2 系统可行性分析 5 3.2.1技术可行性：…...

编程日记 2023/12/26 10:08:51

ASP.NET MVC的5种AuthorizationFilter

一、IAuthorizationFilter 所有的AuthorizationFilter实现了接口IAuthorizationFilter。如下面的代码片断所示，IAuthorizationFilter定义了一个OnAuthorization方法用于实现授权的操作。作为该方法的参数filterContext是一个表示授权上下文的AuthorizationContext对…...

编程日记 2023/12/26 10:05:48

C语言初学8：函数和作用域

一、函数 函数声明告诉编译器函数的名称、返回值类型和参数。在一个源文件中定义函数且在另一个文件中调用函数时，函数声明是必需的。函数定义提供了函数的实际主体。...

编程日记 2023/12/26 10:03:46

2024年科技盛宴“上海智博会·上海软博会”招商工作接近尾声

2024年上海智博会和上海软博会即将于3月份在上海跨国采购会展中心盛大召开。作为全球科技和软件行业的盛会，这两大展会汇集了业界顶尖的企业、创新技术和前瞻思想，吸引了来自世界各地的专业人士和参展商。 今年的展会将一如既往地为大家呈现最前沿的科技…...

编程日记 2023/12/26 10:02:45

深圳锐科达SIP矿用电话模块SV-2801VP

深圳锐科达SIP矿用电话模块SV-2801VP 一、简介 SV-2800VP系列模块是我司设计研发的一款用于井下的矿用IP音频传输模块，可用此模块打造一套低延迟、高效率、高灵活和多扩展的IP矿用广播对讲系统，亦可对传统煤矿电话系统加装此模块，进行智能化…...

编程日记 2023/12/26 9:59:42

【Qt-数据库】

Qt编程指南 ■ SQLite■ CSV■ JSON ■ SQLite Qt 提供了很多操作数据库的类， SQLite 是非常小的，是轻量级的，完全配置时小于 400KiB，省略可选功能配置时小于 250KiB。 SQLite 是一个进程内的库，实现了自给自足的、无…...

编程日记 2023/12/26 9:55:38

windows文件名命名规范（文件名规范、命名规则、避免特殊字符、注意文件名长度限制260个字符）

文章目录 Windows文件名命名规范1. 基本规则1.1 避免使用特殊字符1.2 限制文件名长度1.3 避免使用预留名称 2. 最佳实践2.1 使用描述性名称2.2 使用连字符或下划线代替空格2.3 使用日期和版本号 3. 实用技巧3.1 批量重命名文件3.2 使用PowerShell进行高级文件操作 Windows文件名…...

编程日记 2023/12/26 9:47:32

如何修改MySQL的默认端口

MySQL是世界上最流行的开源关系型数据库管理系统之一。在某些情况下，由于安全性、网络策略或端口冲突的原因，数据库管理员可能需要更改MySQL服务的默认监听端口。本文将指导您如何在不同的操作系统上更改MySQL的默认端口。 理解MySQL配置文件 MySQL的配…...

编程日记 2023/12/26 9:43:27

python打卡day49

知识点回顾： 通道注意力模块复习空间注意力模块CBAM的定义 作业：尝试对今天的模型检查参数数目，并用tensorboard查看训练过程 import torch import torch.nn as nn# 定义通道注意力 class ChannelAttention(nn.Module):def __init__(self,…...

编程新知 2025/10/29 18:36:01

【OSG学习笔记】Day 18: 碰撞检测与物理交互

物理引擎（Physics Engine） 物理引擎 是一种通过计算机模拟物理规律（如力学、碰撞、重力、流体动力学等）的软件工具或库。 它的核心目标是在虚拟环境中逼真地模拟物体的运动和交互，广泛应用于 游戏开发、动画制作、虚…...

编程新知 2025/10/29 4:07:30

Java - Mysql数据类型对应

Mysql数据类型java数据类型备注整型INT/INTEGERint / java.lang.Integer–BIGINTlong/java.lang.Long–––浮点型FLOATfloat/java.lang.FloatDOUBLEdouble/java.lang.Double–DECIMAL/NUMERICjava.math.BigDecimal字符串型CHARjava.lang.String固定长度字符串VARCHARjava.lang…...

编程新知 2025/9/25 14:10:40

学习STC51单片机31（芯片为STC89C52RCRC）OLED显示屏1

每日一言 生活的美好，总是藏在那些你咬牙坚持的日子里。 硬件：OLED 以后要用到OLED的时候找到这个文件 OLED的设备地址 SSD1306"SSD" 是品牌缩写，"1306" 是产品编号。 驱动 OLED 屏幕的 IIC 总线数据传输格式 示意图 …...

编程新知 2025/10/27 13:41:17

从零开始打造 OpenSTLinux 6.6 Yocto 系统（基于STM32CubeMX）（九）

设备树移植 和uboot设备树修改的内容同步到kernel将设备树stm32mp157d-stm32mp157daa1-mx.dts复制到内核源码目录下 源码修改及编译 修改arch/arm/boot/dts/st/Makefile，新增设备树编译 stm32mp157f-ev1-m4-examples.dtb \stm32mp157d-stm32mp157daa1-mx.dtb修改…...

编程新知 2025/10/26 5:13:25

Module Federation 和 Native Federation 的比较

前言 Module Federation 是 Webpack 5 引入的微前端架构方案，允许不同独立构建的应用在运行时动态共享模块。 Native Federation 是 Angular 官方基于 Module Federation 理念实现的专为 Angular 优化的微前端方案。 概念解析 Module Federation (模块联邦) Modul…...

编程新知 2025/10/27 21:47:43

拉力测试cuda pytorch 把 4070显卡拉满

import torch import timedef stress_test_gpu(matrix_size16384, duration300):"""对GPU进行压力测试，通过持续的矩阵乘法来最大化GPU利用率参数:matrix_size: 矩阵维度大小，增大可提高计算复杂度duration: 测试持续时间（秒&…...

编程新知 2025/7/20 15:22:30

C++ 求圆面积的程序（Program to find area of a circle）

给定半径r，求圆的面积。圆的面积应精确到小数点后5位。 例子： 输入：r 5 输出：78.53982 解释：由于面积 PI * r * r 3.14159265358979323846 * 5 * 5 78.53982，因为我们只保留小数点后 5 位数字。 输…...

编程新知 2025/10/29 6:13:18

Element Plus 表单(el-form)中关于正整数输入的校验规则

目录 1 单个正整数输入1.1 模板1.2 校验规则 2 两个正整数输入&#xff08;联动&#xff09;2.1 模板2.2 校验规则2.3 CSS 1 单个正整数输入 1.1 模板 <el-formref"formRef":model"formData":rules"formRules"label-width"150px"…...

编程新知 2025/10/29 9:58:23

在QWebEngineView上实现鼠标、触摸等事件捕获的解决方案

这个问题我看其他博主也写了&#xff0c;要么要会员、要么写的乱七八糟。这里我整理一下&#xff0c;把问题说清楚并且给出代码&#xff0c;拿去用就行&#xff0c;照着葫芦画瓢。 问题 在继承QWebEngineView后&#xff0c;重写mousePressEvent或event函数无法捕获鼠标按下事…...

编程新知 2025/6/11 3:07:32