当前位置： 首页 > news >正文

通俗理解词向量模型，预训练模型，Transfomer，Bert和GPT的发展脉络和如何实践

news 2026/5/23 10:04:00

最近研究GPT，深入的从transfomer的原理和代码看来一下，现在把学习的资料和自己的理解整理一下。

  • 这个文章写的很通俗易懂，把transformer的来龙去脉，还举例了很多不错的例子。

Transformer通俗笔记：从Word2Vec、Seq2Seq逐步理解到GPT、BERT_v_JULY_v的博客-CSDN博客

  • 有了原理还需要进行代码实践，这篇文章从0开始讲解了一个简易的Transformer版本和真实版本的代码注释，值得详细读一下。

从零实现Transformer的简易版与强大版：从300多行到3000多行_写transformer-CSDN博客

  • 另外，给大家推荐一下自己动手写代码实践一下，代码模块可以丢给文心一言，GPT4，这些写代码的能力相当的不错，甚至运行出了问题，直接把问题输入给它，还能自己改正。

相关文章：

通俗理解词向量模型，预训练模型，Transfomer，Bert和GPT的发展脉络和如何实践

最近研究GPT，深入的从transfomer的原理和代码看来一下，现在把学习的资料和自己的理解整理一下。 这个文章写的很通俗易懂，把transformer的来龙去脉，还举例了很多不错的例子。 Transformer通俗笔记：从Word2Vec、Seq2S…...

编程日记 2023/12/1 12:13:05

键入网址到网页显示，期间发生了什么？(计算机网络)

浏览器首先会对URL进行解析 下面以http://www.server.com/dir1/file1.html为例 当没有路径名时，就代表访问根目录下事先设置的默认文件，也就是 /index.html 或者 /default.html 对URL进行解析之后，浏览器确定了 Web 服务器和文件名&#x…...

编程日记 2023/12/1 12:11:03

python-GC机制、装饰器、生成器、迭代器、三元表达式、列表生成式、生成器表达式、函数递归、面向对象、

1 基础知识 1.1 GC机制 Python的垃圾回收，其实高级的语言都有自己的垃圾回收机制简称GC， python当中主要通过三种方式解决垃圾回收的方式，引用计数、标记清除、分代回收。引用计数：如果有新的引用指向对象，对象引用计…...

编程日记 2023/12/1 12:10:01

Linux命令--根据端口号查看进程号（PID）

Linux命令–根据端口号查看进程号（PID） 查找8080端口对应的进程号: netstat -nlp|grep :8297对应的进程号1061,如果想杀掉此进程，可以用一下命令： kill -9 1061...

编程日记 2023/12/1 12:09:00

LangChain 9 模型Model I/O 聊天提示词ChatPromptTemplate, 少量样本提示词FewShotPrompt

LangChain系列文章 LangChain 实现给动物取名字，LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储，读取YouTube的视频文本搜索I…...

编程日记 2023/12/1 12:07:59

使用 Vue3 + Pinia + Ant Design Vue3 搭建后台管理系统

Vue3 & Ant Design Vue3基础 nodejs版本要求：node-v18.16.0-x64 nodejs基础配置 npm -v node -vnpm config set prefix "D:\software\nodejs\node_global" npm config set cache "D:\software\nodejs\node_cache"npm config get registry …...

编程日记 2023/12/1 12:04:56

SpringCloud核心组件

Eureka 注册中心，服务的注册与发现 Feign远程调用 Ribbon负载均衡，默认轮询 Hystrix 熔断 降级 Zuul微服务网关（这个组件负责网络路由，可以做统一的降级、限流、认证授权、安全） Eureka 微服务的功能主要有以下几…...

编程日记 2023/12/1 12:02:53

基于C++11实现将IP地址、端口号和连接状态写入文件

要基于C11实现将IP地址、端口号和连接状态写入文件&#xff0c;您可以使用std::ofstream类来打开文件并进行写入操作。以下是一个示例&#xff1a; #include <iostream> #include <fstream>void writeConnectionStatus(const std::string& ip, int port, bool…...

编程日记 2023/12/1 12:00:51

非空断言，

先看下TypeScript基础之非空断言操作符、可选链运算符、空值合并运算符-CSDN博客 我没有复现出来&#xff0c;但是我知道了它的作用 用 let str: string arg!; 代替 let str: string; if (arg) { str arg; } 非空断言&#xff08;!&#xff09;和不使用的区别在于对于…...

编程日记 2023/12/1 11:59:50

Spark---创建DataFrame的方式

1、读取json格式的文件创建DataFrame 注意&#xff1a; 1、可以两种方式读取json格式的文件。 2、df.show()默认显示前20行数据。 3、DataFrame原生API可以操作DataFrame。 4、注册成临时表时&#xff0c;表中的列默认按ascii顺序显示列。 df.createTempView("mytab…...

编程日记 2023/12/1 11:58:49

瑜伽学习零基础入门，各种瑜伽教学方法全集

一、教程描述 练习瑜伽的好处多多&#xff0c;能够保证平衡健康的身体基础&#xff0c;提升气质、塑造形体、陶冶情操&#xff0c;等等。本套教程是瑜伽的组合教程&#xff0c;共由33套视频教程组合而成&#xff0c;包含了塑身纤体&#xff0c;速效瘦身&#xff0c;四季养生&a…...

编程日记 2023/12/1 11:57:48

pycharm编译报错处理

1.c生成工具下载 https://visualstudio.microsoft.com/visual-cpp-build-tools/ 在这里插入图片描述 pip install pycocotools...

编程日记 2023/12/1 11:56:47

“华为杯”研究生数学建模竞赛2019年-【华为杯】E题：基于多变量的全球气候与极端天气模型的构建与应用（附python代码实现）

目录 摘 要： 一．问题重述 1.1 问题背景 1.2 问题提出 二．模型假设及符号设定...

编程日记 2023/12/1 11:55:46

冒泡排序(适合编程新手的体质)

冒泡排序&#xff1a;简单而高效的排序技巧 欢迎来到我们今天的博客&#xff0c;我们将一起探索计算机科学中最基本但同时也非常重要的概念之一&#xff1a;冒泡排序。无论你是编程新手还是有一些编程经验的读者&#xff0c;这篇博客都将帮助你更好地理解冒泡排序的原理和应用…...

编程日记 2023/12/1 11:54:45

pdfjs，pdf懒加载

PDF.js是一个使用JavaScript实现的PDF阅读器&#xff0c;它可以在Web浏览器中显示PDF文档。PDF.js支持懒加载&#xff0c;也就是说&#xff0c;它可以在用户滚动页面时才加载PDF文档的某些部分&#xff0c;从而减少初始加载时间和内存占用。 注意点&#xff1a;如果要运行在多留…...

编程日记 2023/12/1 11:53:44

K8s 多租户方案的挑战与价值

在当今企业环境中&#xff0c;随着业务的快速增长和多样化&#xff0c;服务器和云资源的管理会越来越让人头疼。K8s 虽然很强大&#xff0c;但在处理多个部门或团队的业务部署需求时&#xff0c;如果缺乏有效的多租户支持&#xff0c;在效率和资源管理方面都会不尽如人意。 本…...

编程日记 2023/12/1 11:52:43

单链表相关经典算法OJ题：移除链表元素

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 目录 前言 题目&#xff1a;移除链表元素 解法一&#xff1a; 解法一的代码实现&#xff1a; 解法二&#xff1a; 解法二代码的实现&#xff1a; 总结 前言 世上有两种耀眼的…...

编程日记 2023/12/1 11:51:40

【JUC】十九、volatile与内存屏障

文章目录 1、volatile的两大特性2、volatile的四大内存屏障3、分类4、happens-before之volatile变量重排规则5、读写屏障插入策略 1、volatile的两大特性 被volatile修饰的变量有两大特点&#xff1a; 可见性有序性 关于volatile的可见性&#xff0c;也即volatile的内存语义…...

编程日记 2023/12/1 11:50:39

下载MySQL JDBC驱动的方法

说明 java代码通过JDBC访问MySQL数据库&#xff0c;需要MySQL JDBC驱动。 例如&#xff0c;下面这段代码&#xff0c;因为找不到JDBC驱动&#xff0c;所以执行会报异常&#xff1a; package com.thb;public class JDBCDemo {public static void main(String[] args) throws …...

编程日记 2023/12/1 11:49:38

C/C++ 实现FTP文件上传下载

FTP&#xff08;文件传输协议&#xff09;是一种用于在网络上传输文件的标准协议。它属于因特网标准化的协议族之一&#xff0c;为文件的上传、下载和文件管理提供了一种标准化的方法&#xff0c;在Windows系统中操作FTP上传下载可以使用WinINet库&#xff0c;WinINet&#xff…...

编程日记 2023/12/1 11:48:36

功能子图检测技术在集成电路设计中的应用与优化

1. 功能子图检测技术概述 在集成电路设计领域&#xff0c;功能子图检测是一项基础而关键的技术。简单来说&#xff0c;它就像是在一堆乐高积木搭建的复杂结构中&#xff0c;找出那些功能相同但拼法可能不同的组件模块。这项技术的核心任务是判断一个给定的子图Q是否是目标图G的…...

编程新知 2026/5/23 9:57:39

稀疏优化与Dykstra算法在模型压缩中的应用

1. 稀疏优化技术概述稀疏优化是现代机器学习模型压缩与加速的核心技术之一&#xff0c;其本质是通过数学方法减少模型参数数量&#xff0c;同时尽可能保持模型性能。在深度学习模型规模不断膨胀的今天&#xff0c;稀疏优化已成为解决"模型肥胖症"的关键手段。1.1 稀疏…...

编程新知 2026/5/23 9:14:08

异常检测实战：从面试陷阱到产线落地的20个关键问题

1. 项目概述&#xff1a;这不是刷题手册&#xff0c;而是一张通往机器学习工程现场的“通关地图”“Crack ML Interviews with Confidence: Anomaly Detection (20 Q&A)”——这个标题里藏着三个被绝大多数求职者严重低估的关键信号&#xff1a;Crack不是“背答案”&#x…...

编程新知 2026/5/23 8:39:35

告别静态分析！用R包SetMethods搞定面板数据QCA的三大一致性（附代码实战）

动态QCA实战指南&#xff1a;用R包SetMethods破解面板数据三大一致性难题 社会科学研究者常面临一个核心挑战&#xff1a;如何从随时间变化的面板数据中提取稳定可靠的因果模式&#xff1f;传统横截面QCA分析往往无法捕捉时间或个体效应&#xff0c;导致结论缺乏稳健性。本文将…...

编程新知 2026/5/23 7:55:33

告别手动分割！用Python脚本一键生成VOC数据集所需的train.txt和val.txt

告别手动分割&#xff01;用Python脚本一键生成VOC数据集所需的train.txt和val.txt 在计算机视觉项目中&#xff0c;数据集的准备往往是耗时最长的环节之一。特别是当我们需要按照VOC格式整理数据集时&#xff0c;手动分割训练集、验证集不仅效率低下&#xff0c;还容易引入人为…...

编程新知 2026/5/23 7:55:33

一文分清黑客、骇客、白客、红客，各自职责一目了然

黑客 起源 “黑客”一词是英文Hacker的音译。这个词早在莎士比亚时代就已存在了&#xff0c;但是人们第一次真正理解它时&#xff0c;却是在计算机问世之后。根据《牛津英语词典》解释&#xff0c;“hack”一词最早的意思是劈砍&#xff0c;而这个词意很容易使人联想到计算机…...

编程新知 2026/5/23 7:33:36

在CentOS7服务器上装Win10双系统，我踩过的坑和保姆级避坑指南

在CentOS7服务器上部署Win10双系统的实战避坑指南 当开发环境需要同时运行Linux服务与Windows专属应用时&#xff0c;双系统成为刚需。但服务器与家用PC的硬件架构差异&#xff0c;会让安装过程暗藏无数"深坑"。本文将分享我在生产环境中为戴尔PowerEdge R740服务器部…...

编程新知 2026/5/23 5:33:57

探索Pandas groupby的各种技巧和应用实例

groupby是Pandas中用于数据分析的重要工具&#xff0c;它允许我们根据特定列的不同值&#xff0c;对数据行进行灵活分组。分组后的数据可用于生成各类聚合值&#xff0c;从而帮助我们深入了解数据。在Pandas中&#xff0c;如果你想要分析数据的潜在模式或趋势&#xff0c;group…...

编程新知 2026/5/23 5:08:01

Transformer核心机制深度解析：从公式到CUDA核的工程真相

1. 这不是又一篇“Transformer原理复述”&#xff0c;而是一次工程师视角的机制解剖你点开这篇文章&#xff0c;大概率不是为了再听一遍“Self-Attention就是计算相似度”这种教科书定义。我干了十多年AI系统架构和模型部署&#xff0c;从2017年Transformer论文刚出来那会儿就在…...

编程新知 2026/5/23 3:42:20

思源黑体TTF构建指南：免费商用多语言字体的终极解决方案

思源黑体TTF构建指南&#xff1a;免费商用多语言字体的终极解决方案 【免费下载链接】source-han-sans-ttf A (hinted!) version of Source Han Sans 项目地址: https://gitcode.com/gh_mirrors/so/source-han-sans-ttf 你是否曾为多语言项目中的字体问题而烦恼&#xf…...

编程新知 2026/5/23 1:01:41