当前位置： 首页 > news >正文

通俗理解词向量模型，预训练模型，Transfomer，Bert和GPT的发展脉络和如何实践

news 文章来源：https://blog.csdn.net/changdejie/article/details/134591822 2025/5/18 16:58:00

最近研究GPT，深入的从transfomer的原理和代码看来一下，现在把学习的资料和自己的理解整理一下。

  • 这个文章写的很通俗易懂，把transformer的来龙去脉，还举例了很多不错的例子。

Transformer通俗笔记：从Word2Vec、Seq2Seq逐步理解到GPT、BERT_v_JULY_v的博客-CSDN博客

  • 有了原理还需要进行代码实践，这篇文章从0开始讲解了一个简易的Transformer版本和真实版本的代码注释，值得详细读一下。

从零实现Transformer的简易版与强大版：从300多行到3000多行_写transformer-CSDN博客

  • 另外，给大家推荐一下自己动手写代码实践一下，代码模块可以丢给文心一言，GPT4，这些写代码的能力相当的不错，甚至运行出了问题，直接把问题输入给它，还能自己改正。

相关文章：

通俗理解词向量模型，预训练模型，Transfomer，Bert和GPT的发展脉络和如何实践

最近研究GPT，深入的从transfomer的原理和代码看来一下，现在把学习的资料和自己的理解整理一下。 这个文章写的很通俗易懂，把transformer的来龙去脉，还举例了很多不错的例子。 Transformer通俗笔记：从Word2Vec、Seq2S…...

编程日记 2023/12/1 12:13:05

键入网址到网页显示，期间发生了什么？(计算机网络)

浏览器首先会对URL进行解析 下面以http://www.server.com/dir1/file1.html为例 当没有路径名时，就代表访问根目录下事先设置的默认文件，也就是 /index.html 或者 /default.html 对URL进行解析之后，浏览器确定了 Web 服务器和文件名&#x…...

编程日记 2023/12/1 12:11:03

python-GC机制、装饰器、生成器、迭代器、三元表达式、列表生成式、生成器表达式、函数递归、面向对象、

1 基础知识 1.1 GC机制 Python的垃圾回收，其实高级的语言都有自己的垃圾回收机制简称GC， python当中主要通过三种方式解决垃圾回收的方式，引用计数、标记清除、分代回收。引用计数：如果有新的引用指向对象，对象引用计…...

编程日记 2023/12/1 12:10:01

Linux命令--根据端口号查看进程号（PID）

Linux命令–根据端口号查看进程号（PID） 查找8080端口对应的进程号: netstat -nlp|grep :8297对应的进程号1061,如果想杀掉此进程，可以用一下命令： kill -9 1061...

编程日记 2023/12/1 12:09:00

LangChain 9 模型Model I/O 聊天提示词ChatPromptTemplate, 少量样本提示词FewShotPrompt

LangChain系列文章 LangChain 实现给动物取名字，LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储，读取YouTube的视频文本搜索I…...

编程日记 2023/12/1 12:07:59

使用 Vue3 + Pinia + Ant Design Vue3 搭建后台管理系统

Vue3 & Ant Design Vue3基础 nodejs版本要求：node-v18.16.0-x64 nodejs基础配置 npm -v node -vnpm config set prefix "D:\software\nodejs\node_global" npm config set cache "D:\software\nodejs\node_cache"npm config get registry …...

编程日记 2023/12/1 12:04:56

SpringCloud核心组件

Eureka 注册中心，服务的注册与发现 Feign远程调用 Ribbon负载均衡，默认轮询 Hystrix 熔断 降级 Zuul微服务网关（这个组件负责网络路由，可以做统一的降级、限流、认证授权、安全） Eureka 微服务的功能主要有以下几…...

编程日记 2023/12/1 12:02:53

基于C++11实现将IP地址、端口号和连接状态写入文件

要基于C11实现将IP地址、端口号和连接状态写入文件&#xff0c;您可以使用std::ofstream类来打开文件并进行写入操作。以下是一个示例&#xff1a; #include <iostream> #include <fstream>void writeConnectionStatus(const std::string& ip, int port, bool…...

编程日记 2023/12/1 12:00:51

非空断言，

先看下TypeScript基础之非空断言操作符、可选链运算符、空值合并运算符-CSDN博客 我没有复现出来&#xff0c;但是我知道了它的作用 用 let str: string arg!; 代替 let str: string; if (arg) { str arg; } 非空断言&#xff08;!&#xff09;和不使用的区别在于对于…...

编程日记 2023/12/1 11:59:50

Spark---创建DataFrame的方式

1、读取json格式的文件创建DataFrame 注意&#xff1a; 1、可以两种方式读取json格式的文件。 2、df.show()默认显示前20行数据。 3、DataFrame原生API可以操作DataFrame。 4、注册成临时表时&#xff0c;表中的列默认按ascii顺序显示列。 df.createTempView("mytab…...

编程日记 2023/12/1 11:58:49

瑜伽学习零基础入门，各种瑜伽教学方法全集

一、教程描述 练习瑜伽的好处多多&#xff0c;能够保证平衡健康的身体基础&#xff0c;提升气质、塑造形体、陶冶情操&#xff0c;等等。本套教程是瑜伽的组合教程&#xff0c;共由33套视频教程组合而成&#xff0c;包含了塑身纤体&#xff0c;速效瘦身&#xff0c;四季养生&a…...

编程日记 2023/12/1 11:57:48

pycharm编译报错处理

1.c生成工具下载 https://visualstudio.microsoft.com/visual-cpp-build-tools/ 在这里插入图片描述 pip install pycocotools...

编程日记 2023/12/1 11:56:47

“华为杯”研究生数学建模竞赛2019年-【华为杯】E题：基于多变量的全球气候与极端天气模型的构建与应用（附python代码实现）

目录 摘 要： 一．问题重述 1.1 问题背景 1.2 问题提出 二．模型假设及符号设定...

编程日记 2023/12/1 11:55:46

冒泡排序(适合编程新手的体质)

冒泡排序&#xff1a;简单而高效的排序技巧 欢迎来到我们今天的博客&#xff0c;我们将一起探索计算机科学中最基本但同时也非常重要的概念之一&#xff1a;冒泡排序。无论你是编程新手还是有一些编程经验的读者&#xff0c;这篇博客都将帮助你更好地理解冒泡排序的原理和应用…...

编程日记 2023/12/1 11:54:45

pdfjs，pdf懒加载

PDF.js是一个使用JavaScript实现的PDF阅读器&#xff0c;它可以在Web浏览器中显示PDF文档。PDF.js支持懒加载&#xff0c;也就是说&#xff0c;它可以在用户滚动页面时才加载PDF文档的某些部分&#xff0c;从而减少初始加载时间和内存占用。 注意点&#xff1a;如果要运行在多留…...

编程日记 2023/12/1 11:53:44

K8s 多租户方案的挑战与价值

在当今企业环境中&#xff0c;随着业务的快速增长和多样化&#xff0c;服务器和云资源的管理会越来越让人头疼。K8s 虽然很强大&#xff0c;但在处理多个部门或团队的业务部署需求时&#xff0c;如果缺乏有效的多租户支持&#xff0c;在效率和资源管理方面都会不尽如人意。 本…...

编程日记 2023/12/1 11:52:43

单链表相关经典算法OJ题：移除链表元素

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 目录 前言 题目&#xff1a;移除链表元素 解法一&#xff1a; 解法一的代码实现&#xff1a; 解法二&#xff1a; 解法二代码的实现&#xff1a; 总结 前言 世上有两种耀眼的…...

编程日记 2023/12/1 11:51:40

【JUC】十九、volatile与内存屏障

文章目录 1、volatile的两大特性2、volatile的四大内存屏障3、分类4、happens-before之volatile变量重排规则5、读写屏障插入策略 1、volatile的两大特性 被volatile修饰的变量有两大特点&#xff1a; 可见性有序性 关于volatile的可见性&#xff0c;也即volatile的内存语义…...

编程日记 2023/12/1 11:50:39

下载MySQL JDBC驱动的方法

说明 java代码通过JDBC访问MySQL数据库&#xff0c;需要MySQL JDBC驱动。 例如&#xff0c;下面这段代码&#xff0c;因为找不到JDBC驱动&#xff0c;所以执行会报异常&#xff1a; package com.thb;public class JDBCDemo {public static void main(String[] args) throws …...

编程日记 2023/12/1 11:49:38

C/C++ 实现FTP文件上传下载

FTP&#xff08;文件传输协议&#xff09;是一种用于在网络上传输文件的标准协议。它属于因特网标准化的协议族之一&#xff0c;为文件的上传、下载和文件管理提供了一种标准化的方法&#xff0c;在Windows系统中操作FTP上传下载可以使用WinINet库&#xff0c;WinINet&#xff…...

编程日记 2023/12/1 11:48:36

第十三章 python之爬虫

Python基础、函数、模块、面向对象、网络和并发编程、数据库和缓存、 前端、django、Flask、tornado、api、git、爬虫、算法和数据结构、Linux、设计题、客观题、其他 第十三章 爬虫 1. 写出在网络爬取过程中, 遇到防爬问题的解决办法。 在网络爬取过程中&#xff0c;可能会遇…...

编程日记 2023/12/1 11:47:35

scrum 敏捷开发

scrum 敏捷开发 Scrum 是一种敏捷软件开发方法&#xff0c;旨在通过迭代、增量和协作的方式提高团队的效率和产品质量。下面是关于 Scrum 的一些重要概念和实践&#xff1a; 1. Scrum 团队角色 Scrum 团队通常由以下角色组成&#xff1a; 产品负责人&#xff08;Product Ow…...

编程日记 2023/12/1 11:44:33

亚信科技AntDB数据库完成中国信通院数据库迁移工具专项测试

近日&#xff0c;在中国信通院“可信数据库”数据库迁移工具专项测试中&#xff0c;湖南亚信安慧科技有限公司&#xff08;简称&#xff1a;亚信安慧科技&#xff09;数据库数据同步平台V2.1产品依据《数据库迁移工具能力要求》、结合亚信科技AntDB分布式关系型数据库产品&…...

编程日记 2023/12/1 11:43:32

深度学习（一）：Pytorch之YOLOv8目标检测

1.YOLOv8 2.模型详解 2.1模型结构设计 和YOLOv5对比&#xff1a; 主要的模块&#xff1a; ConvSPPFBottleneckConcatUpsampleC2f Backbone ----->Neck------>head Backdone 1.第一个卷积层的 kernel 从 6x6 变成了 3x3 2. 所有的 C3 模块换成 C2f&#xff0c;可以发现…...

编程日记 2023/12/1 11:42:31

EasyExcel如何读取全部Sheet页数据方法

一、需求描述 Excel表格里面大约有20个sheet页&#xff0c;每个sheet页65535条数据&#xff0c;需要读取全部数据&#xff0c;并导入至数据库。 找了好多种方式&#xff0c;EasyExcel比较符合&#xff0c;下面看代码。 二、实现方式 采用EasyExcel框架的doReadAll()方法 1、…...

编程日记 2023/12/1 11:41:30

GDPU 数据结构 天码行空12

文章目录 数据结构实验十二 图的遍历及应用一、【实验目的】二、【实验内容】三、实验源代码&#x1f37b; CPP&#x1f37b; C 数据结构实验十二 图的遍历及应用 一、【实验目的】 1、 理解图的存储结构与基本操作&#xff1b; 2、熟悉图的深度度优先遍历和广度优先遍历算法…...

编程日记 2023/12/1 11:40:29

什么是 Proxy？

目录 Proxy 的作用 1. 流量过滤 2. 记录日志 3. 加快访问速度 4. 隐藏 IP 地址 Proxy 的分类 1. 按协议分类 - HTTP 代理&#xff1a;只支持 HTTP 协议的代理服务器&#xff0c;它可以缓存 HTTP 请求和响应并过滤 HTTP 流量。 - FTP 代理&#xff1a;只支持 FTP 协议的…...

编程日记 2023/12/1 11:38:26

Vue系列：Vue Element UI中，使用按钮实现视频的播放、停止、停止后继续播放、播放完成后重新播放功能

最近在工作中有个政务大屏用到了视频播放&#xff1b; 技术栈是Vue2、Element UI&#xff1b; 要实现的功能是&#xff1a;使用按钮实现视频的播放、停止、停止后继续播放、播放完成后重新播放功能 具体可以按照以下步骤进行操作&#xff1a; 引入插件&#xff1a; 在Vue组件…...

编程日记 2023/12/1 11:37:25

.Net 8 Blazor下 Auto交互渲染模式试用

一、环境 C:\Users\zhuji>dotnet --version 8.0.100C:\Users\zhuji>dotnet --list-sdks 5.0.403 [C:\Program Files\dotnet\sdk] 6.0.404 [C:\Program Files\dotnet\sdk] 8.0.100 [C:\Program Files\dotnet\sdk] Microsoft Visual Studio Enterprise 2022 (64 位) - Cu…...

编程日记 2023/12/1 11:35:23

AndroidStudio - 新版本 Logcat 使用详解

最近这俩天正好有时间给自己做一下减法&#xff0c;忘记是去年还是今年&#xff0c;在升级 AndroidStudio 后使用 Logcat查看日志的方式也发生了一些变化&#xff0c;虽然一直在使用&#xff0c;但每当看到之前还未关闭 Logcat 命令行工具额昂也&#xff0c;就感觉可能还存在知…...

编程日记 2023/12/1 11:34:22