当前位置： 首页 > news >正文

GPT每预测一个token就要调用一次模型

news 2025/12/15 20:16:38

问题：下图调用了多少次模型？

在这里插入图片描述
不久以前我以为是调用一次

通过看代码是输出多少个token就调用多少次，如图所示：

在这里插入图片描述

我理解为分类模型

预测下一个token可以理解为分类模型，类别是vocab的所有token，每一次调用都是在分类

为什么不能一次输出呢

从数学维度来讲，本质是条件概率，每次预测token都要基于前面的token为条件;
比如说预测了某个token，设为t1，然后要预测t2，这个时候t1要成为t2的条件了，那么t1也要转换成特征向量，那有两种选择，一种是直接使用t0的最后一层向量当作t1，还有一种是调用一次模型生成t1的特征向量； 对比两种选择，显然再调用一次模型更合理，才能利用transformer的优势，能得到更好的结果。

详情请看：https://www.zhihu.com/tardis/zm/art/623704947?source_id=1003

相关文章：

GPT每预测一个token就要调用一次模型

问题：下图调用了多少次模型？ 不久以前我以为是调用一次 通过看代码是输出多少个token就调用多少次，如图所示： 我理解为分类模型 预测下一个token可以理解为分类模型，类别是vocab的所有token，每一次调用都…...

编程日记 2023/12/26 10:39:18

运维工程师的出路到底在哪里？

1.35岁被称为运维半衰期，主要是因为运维工作的技术栈和工作方式在不断更新和演进。随着新技术的出现和发展，老旧的技术逐渐被淘汰，运维工作也需要不断学习和适应新技术，否则就容易被市场淘汰。 2.要顺利过渡半衰期，运…...

编程日记 2023/12/26 10:35:15

2312clang,基于访问者的前端动作

原文 基于RecursiveASTVisitor的ASTFrontendActions. 创建用RecursiveASTVisitor查找特定名字的CXXRecordDeclAST节点的FrontendAction. 创建FrontendAction 编写基于clang的工具(如Clang插件或基于LibTooling的独立工具)时,常见入口是允许在编译过程中执行用户特定操作的F…...

编程日记 2023/12/26 10:33:13

怎么搭建实时渲染云传输服务器

实时渲染云传输技术方案，在数字孪生、虚拟仿真领域使用越来越多，可能很多想使用该技术方案项目还不知道具体该怎么搭建云传输服务器，具体怎么使用实时云渲染平台系统。点量云小芹将对这两个问题做集中分享。 一、实时渲染服务器怎么搭建&…...

编程日记 2023/12/26 10:32:12

如何在生产环境正确使用Redis

一、在生产环境使用Redis 如果在生产环境使用Redis，需要遵守一定的使用规范，以保障服务稳定、高效。。 1.1、明确Redis集群的服务定位 1、仅适用于缓存场景：Redis定位于高性能缓存服务，强调快速读写和低延迟的特性，…...

编程日记 2023/12/26 10:31:11

LeetCode-环形链表问题

1.环形链表（141） 题目描述： 给你一个链表的头节点 head ，判断链表中是否有环。 如果链表中有某个节点，可以通过连续跟踪 next 指针再次到达，则链表中存在环。 为了表示给定链表中的环，评测系统…...

编程日记 2023/12/26 10:30:10

C# 读取Word表格到DataSet

目录 功能需求 Office 数据源的一些映射关系 范例运行环境 配置Office DCOM 关键代码 组件库引入 ​核心代码 杀掉进程 总结 功能需求 在应用项目里，多数情况下我们会遇到导入 Excel 文件数据到数据库的功能需求，但某些情况下，也存…...

编程日记 2023/12/26 10:28:08

构建外卖系统：从技术到实战

在当今高度数字化的社会中，外卖系统的开发变得愈发重要。本文将从技术角度出发，带领读者一步步构建一个基础的外卖系统，并涵盖关键技术和实际代码。 1. 技术选型 1.1 后端开发 选择Node.js和Express框架进行后端开发，搭建一个灵…...

编程日记 2023/12/26 10:23:04

城市之眼：数据可视化在智慧城市的角色

作为智慧城市建设的核心组成部分，数据可视化扮演着至关重要的角色。在城市中，数据源源不断地产生，涵盖了从交通流量、环境质量到市民需求等各个方面。而数据可视化作为将这些数据呈现出来的手段，对智慧城市的发展起着关键性的作用…...

编程日记 2023/12/26 10:20:01

Nature | Baker团队用AI设计出史上最高互作强度的蛋白质

蛋白质是生命的基础，是生命功能的主要执行者，其结构与功能由氨基酸序列所决定。蛋白质设计是指对新蛋白质分子进行人为的合理设计，旨在设计新的活性，行为或目的，并增进对蛋白质功能的基本了解。可以从头开始设计蛋白质…...

编程日记 2023/12/26 10:19:00

C# 初识System.IO.Pipelines

写在前面 在进一步了解Socket粘包分包的过程中，了解到了.NET 中的 System.IO.Pipelines，可以更优雅高效的解决这个问题；先跟随官方的示例做个初步的认识。 System.IO.Pipelines 是一个库，旨在使在 .NET 中执行高性能 I/O 更加容…...

编程日记 2023/12/26 10:16:58

嵌入式——RTC内置实时时钟

学习目标 理解原理图RTC设计部分掌握初始化RTC掌握设置时间掌握读取时间学习内容 RTC原理图 RTC结构框图 RTC时钟 开发流程 加载依赖。gd32f4xx_rtc.c,gd32f4xx_pmu.c初始化RTC。时钟配置。获取时钟。RTC初始化 // 电池管理加载 rcu_periph_clock_enable(RCU_PMU); pmu_back…...

编程日记 2023/12/26 10:10:53

nodejs微信小程序＋python＋PHP的热带野生动物园景点预约订票系统的设计与实现-计算机毕业设计推荐

目 录 摘 要 I ABSTRACT II 目 录 II 第1章 绪论 1 1.1背景及意义 1 1.2 国内外研究概况 1 1.3 研究的内容 1 第2章 相关技术 3 2.1 nodejs简介 4 2.2 express框架介绍 6 2.4 MySQL数据库 4 第3章 系统分析 5 3.1 需求分析 5 3.2 系统可行性分析 5 3.2.1技术可行性：…...

编程日记 2023/12/26 10:08:51

ASP.NET MVC的5种AuthorizationFilter

一、IAuthorizationFilter 所有的AuthorizationFilter实现了接口IAuthorizationFilter。如下面的代码片断所示，IAuthorizationFilter定义了一个OnAuthorization方法用于实现授权的操作。作为该方法的参数filterContext是一个表示授权上下文的AuthorizationContext对…...

编程日记 2023/12/26 10:05:48

C语言初学8：函数和作用域

一、函数 函数声明告诉编译器函数的名称、返回值类型和参数。在一个源文件中定义函数且在另一个文件中调用函数时，函数声明是必需的。函数定义提供了函数的实际主体。...

编程日记 2023/12/26 10:03:46

2024年科技盛宴“上海智博会·上海软博会”招商工作接近尾声

2024年上海智博会和上海软博会即将于3月份在上海跨国采购会展中心盛大召开。作为全球科技和软件行业的盛会，这两大展会汇集了业界顶尖的企业、创新技术和前瞻思想，吸引了来自世界各地的专业人士和参展商。 今年的展会将一如既往地为大家呈现最前沿的科技…...

编程日记 2023/12/26 10:02:45

深圳锐科达SIP矿用电话模块SV-2801VP

深圳锐科达SIP矿用电话模块SV-2801VP 一、简介 SV-2800VP系列模块是我司设计研发的一款用于井下的矿用IP音频传输模块，可用此模块打造一套低延迟、高效率、高灵活和多扩展的IP矿用广播对讲系统，亦可对传统煤矿电话系统加装此模块，进行智能化…...

编程日记 2023/12/26 9:59:42

【Qt-数据库】

Qt编程指南 ■ SQLite■ CSV■ JSON ■ SQLite Qt 提供了很多操作数据库的类， SQLite 是非常小的，是轻量级的，完全配置时小于 400KiB，省略可选功能配置时小于 250KiB。 SQLite 是一个进程内的库，实现了自给自足的、无…...

编程日记 2023/12/26 9:55:38

windows文件名命名规范（文件名规范、命名规则、避免特殊字符、注意文件名长度限制260个字符）

文章目录 Windows文件名命名规范1. 基本规则1.1 避免使用特殊字符1.2 限制文件名长度1.3 避免使用预留名称 2. 最佳实践2.1 使用描述性名称2.2 使用连字符或下划线代替空格2.3 使用日期和版本号 3. 实用技巧3.1 批量重命名文件3.2 使用PowerShell进行高级文件操作 Windows文件名…...

编程日记 2023/12/26 9:47:32

如何修改MySQL的默认端口

MySQL是世界上最流行的开源关系型数据库管理系统之一。在某些情况下，由于安全性、网络策略或端口冲突的原因，数据库管理员可能需要更改MySQL服务的默认监听端口。本文将指导您如何在不同的操作系统上更改MySQL的默认端口。 理解MySQL配置文件 MySQL的配…...

编程日记 2023/12/26 9:43:27

Oracle查询表空间大小

1 查询数据库中所有的表空间以及表空间所占空间的大小 SELECTtablespace_name,sum( bytes ) / 1024 / 1024 FROMdba_data_files GROUP BYtablespace_name; 2 Oracle查询表空间大小及每个表所占空间的大小 SELECTtablespace_name,file_id,file_name,round( bytes / ( 1024 …...

编程新知 2025/11/8 0:24:13

Go 语言接口详解

Go 语言接口详解 核心概念 接口定义 在 Go 语言中，接口是一种抽象类型，它定义了一组方法的集合： // 定义接口 type Shape interface {Area() float64Perimeter() float64 } 接口实现 Go 接口的实现是隐式的： // 矩形结构体…...

编程新知 2025/10/23 18:29:35

VM虚拟机网络配置（ubuntu24桥接模式）：配置静态IP

编辑-虚拟网络编辑器-更改设置 选择桥接模式，然后找到相应的网卡（可以查看自己本机的网络连接） windows连接的网络点击查看属性 编辑虚拟机设置更改网络配置，选择刚才配置的桥接模式 静态ip设置： 我用的ubuntu24桌…...

编程新知 2025/12/14 1:15:24

【JVM】Java虚拟机（二）——垃圾回收

目录 一、如何判断对象可以回收 （一）引用计数法 （二）可达性分析算法 二、垃圾回收算法 （一）标记清除 （二）标记整理 （三）复制 （四&#xff…...

编程新知 2025/12/13 7:11:33

Golang——6、指针和结构体

指针和结构体 1、指针1.1、指针地址和指针类型1.2、指针取值1.3、new和make 2、结构体2.1、type关键字的使用2.2、结构体的定义和初始化2.3、结构体方法和接收者2.4、给任意类型添加方法2.5、结构体的匿名字段2.6、嵌套结构体2.7、嵌套匿名结构体2.8、结构体的继承 3、结构体与…...

编程新知 2025/11/29 18:37:21

打手机检测算法AI智能分析网关V4守护公共/工业/医疗等多场景安全应用

一、方案背景​ 在现代生产与生活场景中，如工厂高危作业区、医院手术室、公共场景等，人员违规打手机的行为潜藏着巨大风险。传统依靠人工巡查的监管方式，存在效率低、覆盖面不足、判断主观性强等问题，难以满足对人员打手机行为精…...

编程新知 2025/12/14 4:22:48

【Linux】自动化构建-Make/Makefile

前言 上文我们讲到了Linux中的编译器gcc/g 【Linux】编译器gcc/g及其库的详细介绍-CSDN博客 本来我们将一个对于编译来说很重要的工具：make/makfile 1.背景 在一个工程中源文件不计其数，其按类型、功能、模块分别放在若干个目录中，mak…...

编程新知 2025/12/9 3:17:09

通过 Ansible 在 Windows 2022 上安装 IIS Web 服务器

拓扑结构 这是一个用于通过 Ansible 部署 IIS Web 服务器的实验室拓扑。 前提条件： 在被管理的节点上安装WinRm 准备一张自签名的证书 开放防火墙入站tcp 5985 5986端口 准备自签名证书 PS C:\Users\azureuser> $cert New-SelfSignedCertificate -DnsName &…...

编程新知 2025/12/5 10:33:22

Xela矩阵三轴触觉传感器的工作原理解析与应用场景

Xela矩阵三轴触觉传感器通过先进技术模拟人类触觉感知，帮助设备实现精确的力测量与位移监测。其核心功能基于磁性三维力测量与空间位移测量，能够捕捉多维触觉信息。该传感器的设计不仅提升了触觉感知的精度，还为机器人、医疗设备和制造业的智…...

编程新知 2025/12/7 14:34:20

Linux中《基础IO》详细介绍

目录 理解"文件"狭义理解广义理解文件操作的归类认知系统角度文件类别 回顾C文件接口打开文件写文件读文件稍作修改，实现简单cat命令 输出信息到显示器，你有哪些方法stdin & stdout & stderr打开文件的方式 系统⽂件I/O⼀种传递标志位…...

编程新知 2025/12/8 2:43:46