当前位置： 首页 > news >正文

05. 深入理解 GPT 架构

news 2025/7/6 23:27:13

在本章的前面，我们提到了类 GPT 模型、GPT-3 和 ChatGPT 等术语。现在让我们仔细看看一般的 GPT 架构。首先，GPT 代表生成式预训练转换器，最初是在以下论文中引入的：

通过生成式预训练提高语言理解 （2018） 作者：Radford 等人，来自 OpenAI，http://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf

GPT-3 是该模型的放大版本，具有更多参数并在更大的数据集上进行训练。最初的 ChatGPT 模型是通过使用 OpenAI 的 InstructGPT 论文中的方法在大型指令数据集上微调 GPT-3 而创建的，我们将在第 8 章“使用人类反馈进行微调以遵循指令”中更详细地介绍。正如我们在前面的图 1.6 中看到的，这些模型是称职的文本完成模型，可以执行其他任务，例如拼写更正、分类或语言翻译。这实际上非常了不起，因为 GPT 模型是在相对简单的下一个单词预测任务上预训练的，如图 1.7 所示。

图 1.7 在 GPT 模型的下一个单词预训练任务中，系统通过查看前面的单词来学习预测句子中即将到来的单词。这种方法有助于模型理解单词和短语在语言中通常如何组合在一起，从而形成可应用于各种其他任务的基础。

下一个单词预测任务是自我监督学习的一种形式，是自我标记的一种形式。这意味着我们不需要显式收集训练数据的标签，但可以利用

相关文章：

05. 深入理解 GPT 架构

在本章的前面，我们提到了类 GPT 模型、GPT-3 和 ChatGPT 等术语。现在让我们仔细看看一般的 GPT 架构。首先，GPT 代表生成式预训练转换器，最初是在以下论文中引入的： 通过生成式预训练提高语言理解 （2018） 作者：Radford 等人，来自 OpenAI，http://cdn.openai.com/rese…...

编程日记 2024/1/14 2:32:18

PHP开发日志 ━━ php8.3安装与使用组件Xdebug

今天开头写点历史： 二十年前流行asp，当时用vb整合常用函数库写了一个dll给asp调用，并在此基础上开发一套仿windows界面的后台管理系统；后来asp逐渐没落，于是在十多年前转投php，不久后用php写了一套mvc框架&…...

编程日记 2024/1/14 2:31:17

Python - 深夜数据结构与算法之 Two-Ended BFS

目录 一.引言 二.双向 BFS 简介 1.双向遍历示例 2.搜索模版回顾 三.经典算法实战 1.Word-Ladder [127] 2.Min-Gen-Mutation [433] 四.总结 一.引言 DFS、BFS 是常见的初级搜索方式，为了提高搜索效率，衍生了剪枝、双向 BFS 以及 A* 即启发式搜索…...

编程日记 2024/1/14 2:30:16

langchain-Agent-工具检索

有时会定义很多工具，而定义Agent的时候只想使用与问题相关的工具，这是可以通过向量数据库来检索相关的工具，传递给Agent # Define which tools the agent can use to answer user queries search SerpAPIWrapper() search_tool Tool(name …...

编程日记 2024/1/14 2:29:15

猫头虎分享：探索TypeScript的世界 — TS基础入门 ‍

博主猫头虎的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能！ 专栏链接： 🔗 精选专栏： 《面试题大全》 — 面试准备的宝典！《IDEA开发秘籍》 — 提升你的IDEA技能！《100天精通Golang》…...

编程日记 2024/1/14 2:28:14

Unity-生命周期函数

目录 生命周期函数是什么？ 生命周期函数有哪些？ Awake() OnEnable() Start() FixedUpdate() Update() Late Update() OnDisable() OnDestroy() Unity中生命周期函数支持继承多态吗？ 生命周期函数是什么？ 在Unity中&…...

编程日记 2024/1/14 2:26:13

SQL概述及SQL分类

SQL由IBM上世纪70年代开发出来，是使用关系模型的数据库应用型语言，与数据直接打交道。 SQL标准 SQL92,SQL99，他们分别代表了92年和99年颁布的SQL标准，我们今天使用的SQL语言依旧遵循这些标准。 SQL的分类 DDL：数据定…...

编程日记 2024/1/14 2:25:12

[VSCode] VSCode 常用快捷键

文章目录 VSCode 源代码编辑器VSCode 常用快捷键分类汇总01 编辑02 导航03 调试04 其他05 重构06 测试07 扩展08 选择09 搜索10 书签11 多光标12 代码片段13 其他 VSCode 源代码编辑器 官网：https://code.visualstudio.com/ 下载地址：https://code.visua…...

编程日记 2024/1/14 2:23:11

函数指针和回调函数 以及指针函数

函数指针（Function Pointer）： 定义： 函数指针是指向函数的指针，它存储了函数的地址。函数的二制制代码存放在内存四区中的代码段，函数的地址它在内存中的开始地址。如果把函数的地址作为参数，就…...

编程日记 2024/1/14 2:21:08

京东年度数据报告-2023全年度游戏本十大热门品牌销量（销额）榜单

同笔记本市场类似，2023年度游戏本市场的整体销售也呈下滑态势。根据鲸参谋电商数据分析平台的相关数据显示，京东平台上游戏本的年度销量累计超过350万，同比下滑约6%；销售额将近270亿，同比下滑约11%。 鲸参谋综合了京东…...

编程日记 2024/1/14 2:19:06

秒懂百科，C++如此简单丨第十二天：ASCLL码

目录 必看信息 Everyday English 📝ASCLL码是什么？ 📝ASCLL码表 📝利用ASCLL码实现大写转小写 📝小试牛刀 总结 必看信息 ▶本篇文章由爱编程的小芒果原创，未经许可，严禁转载。 ▶本篇文…...

编程日记 2024/1/14 2:16:03

Qt6入门教程 4：Qt Creator常用技巧

在上一篇Qt6入门教程 3：创建Hello World项目中，通过创建一个Qt项目，对Qt Creator已经有了比较直观的认识，本文将介绍它的一些常用技巧。 Qt Creator启动后默认显示欢迎页面 创建项目已经用过了，打开项目也很简单&#…...

编程日记 2024/1/14 2:15:02

阴盘奇门八字排盘马星位置计算方法php代码

如下位置，马星的四个位置。 计算方法： 1。先根据出生年月日，计算得八字四柱。比如 2024年01月09日，四柱为 其中时柱地支为“申” 2。然后根据以下对应的数组，来找到id号，即马星位置。 根据下表来找到&am…...

编程日记 2024/1/14 2:14:01

vue3 使用 jsoneditor

vue3 使用 jsoneditor 在main.js中引入 样式文件 import jsoneditor/dist/jsoneditor.css复制代码放到文件中就能用了 jsoneditor.vue <template><div ref"jsonDom" style"width: 100%; height: 460px"></div> </template> <…...

编程日记 2024/1/14 2:13:01

若依前后端分离版使用mybatis-plus实践教程

1、根目录得pom加入依赖 <properties><mybatis-plus.version>3.5.1</mybatis-plus.version> </properties> <dependencies><!-- mp配置--><dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus…...

编程日记 2024/1/14 2:12:00

SpringBoot-Dubbo-Zookeeper

Apache Dubbo&#xff1a;https://cn.dubbo.apache.org/zh-cn/overview/home/ 依赖 <!--dubbo--> <dependency><groupId>org.apache.dubbo</groupId><artifactId>dubbo-spring-boot-starter</artifactId><version>2.7.3</versio…...

编程日记 2024/1/14 2:10:59

华为HCIE课堂笔记第十二章 ICMPv6和NDP协议

第十二章 ICMPv6和NDP 12.1 背景 ICMPv6协议用于IPV6协议的消息传递&#xff1a;地址解析、重复地址检测、无状态地址配置、NDP协议、路径MTU发现。 12.2 ICMPv6介绍 ICMPv6的头部字段包含Type字段、Code字段、校验和字段。 消息分为两种&#xff1a; 查错消息&#xff…...

编程日记 2024/1/14 2:09:58

GNSS科研常用相关网站及资源

代码类&#xff1a; Github GitHub: Let’s build from here GitHub 导航相关开源项目 GNSS&#xff1a;RTKLIB、GAMP II-GOOD、GPSTest、GNSSLogger 组合导航&#xff1a;ignav、VINS、Multi_Sensor_Fusion Gitee&#xff08;从Github导入后快速下载库&#xff09; Gi…...

编程日记 2024/1/14 2:08:57

进程的创建与回收学习笔记

目录 一、进程内容&#xff1a; 二、进程常用命令 三、创建子进程 四、子进程进阶 五、进程的退出 六、进程的回收 一、进程内容&#xff1a; 程序&#xff1a; 存放在磁盘上的指令和数据的有序集合&#xff08;文件&#xff09; 静态的 进程&#xff1a; 执行一个程序所…...

编程日记 2024/1/14 2:07:56

【CCNet】《CCNet：Criss-Cross Attention for Semantic Segmentation》

ICCV-2019 文章目录 1 Background and Motivation2 Related Work3 Advantages / Contributions4 Method5 Experiments5.1 Datasets and Metrics5.2 Experiments on Cityscapess5.3 Experiments on ADE20K5.4 Experiments on COCO 6 Conclusion&#xff08;own&#xff09; 1 Ba…...

编程日记 2024/1/14 2:06:55

【第二十一章 SDIO接口(SDIO)】

第二十一章 SDIO接口 目录 第二十一章 SDIO接口(SDIO) 1 SDIO 主要功能 2 SDIO 总线拓扑 3 SDIO 功能描述 3.1 SDIO 适配器 3.2 SDIOAHB 接口 4 卡功能描述 4.1 卡识别模式 4.2 卡复位 4.3 操作电压范围确认 4.4 卡识别过程 4.5 写数据块 4.6 读数据块 4.7 数据流…...

编程新知 2025/7/6 5:50:31

Java - Mysql数据类型对应

Mysql数据类型java数据类型备注整型INT/INTEGERint / java.lang.Integer–BIGINTlong/java.lang.Long–––浮点型FLOATfloat/java.lang.FloatDOUBLEdouble/java.lang.Double–DECIMAL/NUMERICjava.math.BigDecimal字符串型CHARjava.lang.String固定长度字符串VARCHARjava.lang…...

编程新知 2025/7/6 18:54:53

涂鸦T5AI手搓语音、emoji、otto机器人从入门到实战

“&#x1f916;手搓TuyaAI语音指令 &#x1f60d;秒变表情包大师&#xff0c;让萌系Otto机器人&#x1f525;玩出智能新花样&#xff01;开整&#xff01;” &#x1f916; Otto机器人 → 直接点明主体 手搓TuyaAI语音 → 强调 自主编程/自定义 语音控制&#xff08;TuyaAI…...

编程新知 2025/7/6 23:09:30

鱼香ros docker配置镜像报错：https://registry-1.docker.io/v2/

使用鱼香ros一件安装docker时的https://registry-1.docker.io/v2/问题 一键安装指令 wget http://fishros.com/install -O fishros && . fishros出现问题&#xff1a;docker pull 失败 网络不同&#xff0c;需要使用镜像源 按照如下步骤操作 sudo vi /etc/docker/dae…...

编程新知 2025/6/16 13:40:18

OpenLayers 分屏对比(地图联动)

注&#xff1a;当前使用的是 ol 5.3.0 版本&#xff0c;天地图使用的key请到天地图官网申请&#xff0c;并替换为自己的key 地图分屏对比在WebGIS开发中是很常见的功能&#xff0c;和卷帘图层不一样的是&#xff0c;分屏对比是在各个地图中添加相同或者不同的图层进行对比查看。…...

编程新知 2025/6/21 8:18:07

RNN避坑指南：从数学推导到LSTM/GRU工业级部署实战流程

本文较长&#xff0c;建议点赞收藏&#xff0c;以免遗失。更多AI大模型应用开发学习视频及资料&#xff0c;尽在聚客AI学院。 本文全面剖析RNN核心原理&#xff0c;深入讲解梯度消失/爆炸问题&#xff0c;并通过LSTM/GRU结构实现解决方案&#xff0c;提供时间序列预测和文本生成…...

编程新知 2025/7/6 14:31:08

Go语言多线程问题

打印零与奇偶数&#xff08;leetcode 1116&#xff09; 方法1&#xff1a;使用互斥锁和条件变量 package mainimport ("fmt""sync" )type ZeroEvenOdd struct {n intzeroMutex sync.MutexevenMutex sync.MutexoddMutex sync.Mutexcurrent int…...

编程新知 2025/7/6 18:03:30

Golang——7、包与接口详解

包与接口详解 1、Golang包详解1.1、Golang中包的定义和介绍1.2、Golang包管理工具go mod1.3、Golang中自定义包1.4、Golang中使用第三包1.5、init函数 2、接口详解2.1、接口的定义2.2、空接口2.3、类型断言2.4、结构体值接收者和指针接收者实现接口的区别2.5、一个结构体实现多…...

编程新知 2025/7/5 22:51:25

Ubuntu Cursor升级成v1.0

0. 当前版本低 使用当前 Cursor v0.50时 GitHub Copilot Chat 打不开&#xff0c;快捷键也不好用&#xff0c;当看到 Cursor 升级后&#xff0c;还是蛮高兴的 1. 下载 Cursor 下载地址&#xff1a;https://www.cursor.com/cn/downloads 点击下载 Linux (x64) &#xff0c;…...

编程新知 2025/7/5 22:06:04

【无标题】湖北理元理律师事务所：债务优化中的生活保障与法律平衡之道

文/法律实务观察组 在债务重组领域&#xff0c;专业机构的核心价值不仅在于减轻债务数字&#xff0c;更在于帮助债务人在履行义务的同时维持基本生活尊严。湖北理元理律师事务所的服务实践表明&#xff0c;合法债务优化需同步实现三重平衡&#xff1a; 法律刚性&#xff08;债…...

编程新知 2025/7/4 3:16:04