当前位置： 首页 > news >正文

从零实现诗词GPT大模型：GPT是怎么生成内容的？

news 2026/5/12 17:59:55

专栏规划: https://qibin.blog.csdn.net/article/details/137728228

再开始编写GPT之前，我们得对GPT是怎么生成内容的有一个大致的了解。目前的神经网络我们大多都可以看成是一个黑盒，即我们把数据输送给网络后，网络给我我们输出，我们可以不用关心这个黑盒里到底是怎么实现的，但是我们的目标是从零写一个类GPT模型，所以这里我们先对GPT生成内容的过程做一个大致的介绍。

一、GPT的输入

首先，神经网络是不可以把类似过年好这样一句话直接输入到网络中的，而是需要对一句话进行编码变成数字后再输入网络，GPT是使用了一种叫做bpe的算法将文字映射成数字的，这里我们不去讲bpe是怎么实现的，我们可以使用openai提供的tiktoken库进行文字编码，感兴趣的可以去github上查看tiktoken的源码：https://github.com/openai/tiktoken。

首先，我们安装tiktoken库

pip3 install -i -i https

相关文章：

从零实现诗词GPT大模型：GPT是怎么生成内容的？

专栏规划: https://qibin.blog.csdn.net/article/details/137728228 再开始编写GPT之前，我们得对GPT是怎么生成内容的有一个大致的了解。目前的神经网络我们大多都可以看成是一个黑盒，即我们把数据输送给网络后，网络给我我们输出，我们可以不用关心这个黑盒里到底是怎么实现…...

编程日记 2024/4/15 3:42:47

8路HDMI+8路AV高清视频流媒体编码器JR-3218HD

产品简介： JR-3218HD高清音视频编码产品支持8路高清HDMI音视频采集功能，8路AV视频采集功能，8路3.5MM独独立音频接口采集功能。编码输出双码流H.264格式，音频MP3/AAC格式。编码码率可调，画面质量可控制。支持HTTP/RTSP…...

编程日记 2024/4/15 3:40:44

LangChain入门：14.LLMChain：最简单的链的使用

摘要 本文将介绍LangChain库中LLMChain工具的使用方法。LLMChain将提示模板、语言模型（LLM）和输出解析器整合在一起，形成一个连贯的处理链，简化了与语言模型的交互过程。我们将探讨LLMChain的技术特点、应用场景以及它解决的问题…...

编程日记 2024/4/15 3:39:42

深入理解k8s kube-proxy

1、概述 我觉得只要大家知道kube-proxy是用来配置网络规则的而不是转发流量的，真正的流量由iptables/ipvs来转发就可以了。 网络是k8s的一个关键部分。理解k8s中网络组件如何工作可以帮助更好的设计和配置我们的应用。 kube-proxy就是K8s网络的核心组件。它把我们…...

编程日记 2024/4/15 3:38:41

Spark-机器学习（1）什么是机器学习与MLlib算法库的认识

从这一系列开始，我会带着大家一起了解我们的机器学习，了解我们spark机器学习中的MLIib算法库，知道它大概的模型，熟悉并认识它。同时，本篇文章为个人spark免费专栏的系列文章，有兴趣的可以收藏关注一下&…...

编程日记 2024/4/15 3:34:38

java的正则表达式校验，包含了中国几乎所有运营商手机号码的校验格式

时间2024年4月14日22:25:00 代码 String PHONE_REGEX "^1([38][0-9]|4[579]|5[0-3,5-9]|6[6]|7[0135678]|9[89])\\d{8}$";解释 这个Java代码段定义了一个常量 PHONE_REGEX，它包含了一个正则表达式，用于匹配中国大陆的手机号码。下面是对这…...

编程日记 2024/4/15 3:33:37

C#简单工厂模式的实现

using System.Diagnostics.Metrics; using System.Runtime.InteropServices; using static 手写工厂模式.Program;namespace 手写工厂模式 {internal class Program{public interface eats {void eat();}//定义了一个接口public class rice : eats{public void eat() {Console.…...

编程日记 2024/4/15 3:30:33

.NET 设计模式—观察者模式(Observer Pattern)

简介 在.NET中，观察者模式是一种设计模式，它允许对象之间进行一对多的依赖关系。当一个对象的状态发生变化时，所有依赖于它的对象都会收到通知并自动更新。这种模式在事件驱动的设计中非常常见。 在.NET中实现观察者模式，通常涉…...

编程日记 2024/4/15 3:29:31

EasyUI Jquery 学习笔记 ——DataGrid（数据网格）与 Tree（树）详细版

1. DataGrid（数据网格）与 Tree（树） 1.1 Datagrid 数据网格 扩展自 $.fn.panel.defaults。通过 $.fn.datagrid.defaults 重写默认的 defaults。 数据网格（datagrid）以表格格式显示数据，并为选择、排序、分组和编辑数据提供了丰富的支持。数据网格（datagrid）的设计目…...

编程日记 2024/4/15 3:28:30

JAVA发票验真接口、票据ocr、数电票在线查验真伪

发票验真接口，,实时联网核验发票真伪,查验一致返回全票面信息，支持查验增值税发票管理系统开具的发票,支持批量核验发票，翔云发票查验送发票识别,助您摆脱手动输入繁琐,提升工作效率。 发票查验接口适用于银行、金融、代理记账等发票管理数量…...

编程日记 2024/4/15 3:19:22

el-date-picker调用回车事件

elementui的el-date-picker想要调用回车事件&#xff1a; <el-date-pickerv-model"state.date"type"date"value-format"YYYY-MM-DD HH:mm:ss"placeholder"选择日期"clearablekeydown.enter"handleDown"></el-date-…...

编程日记 2024/4/15 3:18:21

js学习总结

这里写目录标题 前情提要JavaScript书写位置1. 内部javaScript (不常用)2. 外部javaScript (常用)3.内联javaScript (常用) js中的输入和输出输出语法1. document.write()2. alert()3. console.log() 输入语法prompt() 前情提要 1. 在javaScript中的 分号 是可以省略的JavaScr…...

编程日记 2024/4/15 3:15:18

MES实施优势有哪些？MES制造执行系统的主要内容

各个行业之间也开始进入到了激烈的竞争当中&#xff0c;很多企业为了能够有效提升企业竞争力&#xff0c;都会通过提升自身实力的方式来提升竞争力。一些制造业也会在经营过程当中使用到MES系统&#xff0c;那么&#xff0c;mes系统的优势有哪些呢&#xff1f; 1、优化企业现场…...

编程日记 2024/4/15 3:13:15

ChatGPT 和 Elasticsearch：使用 Elastic 数据创建自定义 GPT

作者&#xff1a;Sandra Gonzales ChatGPT Plus 订阅者现在有机会创建他们自己的定制版 ChatGPT&#xff0c;称为 GPT&#xff0c;这替代了之前博客文章中讨论的插件。基于本系列的第一部分的基础 —— 我们深入探讨了在 Elastic Cloud 中设置 Elasticsearch 数据和创建向量嵌…...

编程日记 2024/4/15 3:09:11

废品回收 小程序+APP

用户实名认证、回收员实名认证、后台审核、会员管理、回收员管理、订单管理、提现管理、地图、档案管理。 支持&#xff0c;安卓APP、苹果APP、小程序 流程&#xff1a; 一、用户端下单&#xff0c;地图选择上门位置、填写具体位置、废品名称、预估重量、选择是企业废旧、家…...

编程日记 2024/4/15 3:08:10

下载好了annaconda,但是在创建一个新的Conda虚拟环境报错

文章目录 问题描述&#xff1a;解决方案1.生成一个配置文件 问题总结 问题描述&#xff1a; ProxyError(MaxRetryError(“HTTPSConnectionPool(host‘repo.anaconda.com’, port443): Max retries exceeded with url: /pkgs/pro/win-64/repodata.json.bz2 (Caused by ProxyErr…...

编程日记 2024/4/15 3:03:04

如何安装MacOS的虚拟机？mac安装虚拟机的步骤 虚拟机安装MacOS VMware Fusion和Parallels Desktop19

要在Mac上运行MacOS的虚拟机&#xff0c;常用的方法是使用虚拟化软件如VMware Fusion或Parallels Desktop。 以下是安装MacOS的虚拟机的主要步骤&#xff1a; 1. 检查系统要求&#xff1a;确定您的Mac硬件和操作系统满足安装要求。您需要一台具备足够性能的Mac&#xff0c;并…...

编程日记 2024/4/15 3:00:01

Flutter 中 AutomaticKeepAliveClientMixin 的介绍及使用

在 Flutter 中&#xff0c;当你在一个页面中滑动列表或者进行其他一些操作时&#xff0c;如果你返回到该页面&#xff0c;可能会发现之前的状态已经丢失了。这在某些情况下可能是不可取的&#xff0c;特别是当你想要保留之前的状态&#xff0c;而不是每次都重新加载页面时。 为…...

编程日记 2024/4/15 2:58:58

注意力机制篇 | YOLOv8改进之清华开源ACmix：自注意力和CNN的融合 | 性能速度全面提升

前言：Hello大家好，我是小哥谈。混合模型ACmix将自注意力机制和卷积神经网络进行整合，使其同时具有自注意力机制和卷积神经网络的优点。这是清华大学、华为和北京人工智能研究院共同发布在2022年CVPR中的论文。ACmix结合了自注意力机制和卷积神经网络的优势，以提高模型的性能…...

编程日记 2024/4/15 2:56:55

Go语言支持重载吗？如何实现重写？

Go语言不支持传统意义上的函数和方法重载。在Go语言中&#xff0c;函数名或方法名不能相同但参数列表不同&#xff0c;因为这会导致编译错误。 然而&#xff0c;可以通过方法重写&#xff08;override&#xff09;来实现类似的功能。方法重写是指在子类中定义一个与父类同名的…...

编程日记 2024/4/15 2:55:54

基于OpenClaw构建开源项目与Docker镜像自动化监控方案

1. 项目概述 作为一个常年泡在开源社区和容器生态里的开发者&#xff0c;我深知“追新”的痛。今天这个项目发布了v2.0&#xff0c;明天那个镜像更新了安全补丁&#xff0c;手动去GitHub和Docker Hub一个个检查&#xff0c;效率低不说&#xff0c;还容易遗漏关键更新。为了解决…...

编程新知 2026/5/12 17:52:16

论文降AI率通关指南：7个实用技巧+高效工具一次讲清

为什么你的论文总被判定为AIGC疑似&#xff1f; 随着AI写作工具的广泛普及&#xff0c;不少科研人员和学生都碰到了同一个头疼的问题&#xff1a;论文AIGC疑似率超标。现在大多数高校都出台了明确规定&#xff0c;AIGC率超过30%就可能被判定为AI代写&#xff0c;直接取消答辩资…...

编程新知 2026/5/12 17:27:57

如何在浏览器中重新解锁微信网页版？一款开源插件为你提供完美解决方案

如何在浏览器中重新解锁微信网页版&#xff1f;一款开源插件为你提供完美解决方案 【免费下载链接】wechat-need-web 让微信网页版可用 / Allow the use of WeChat via webpage access 项目地址: https://gitcode.com/gh_mirrors/we/wechat-need-web 还在为微信网页版无…...

编程新知 2026/5/12 17:12:51

AI和大模型——拟合

一、拟合 Fitting,中文翻译成拟合&#xff0c;这个翻译还是比较贴切的。怎么理解拟合呢&#xff1f;其实非常好理解&#xff0c;如果接受过九年义务教育&#xff0c;基本都有极限或微积分的概念。有没有想起过积分中用高低不等的小矩形来拼凑出曲线面的面积&#xff0c;那个过程…...

编程新知 2026/5/12 17:10:45

构建个人AI记忆体：向量数据库与语义搜索实践指南

1. 项目概述&#xff1a;构建你的个人AI记忆体最近几年&#xff0c;AI助手越来越聪明&#xff0c;但总感觉它们“记性”不太好。你昨天刚和它聊过你家的猫叫“橘子”&#xff0c;今天再问它&#xff0c;它可能就忘了。或者&#xff0c;你让它帮你总结上周的工作周报&#xff0c…...

编程新知 2026/5/12 16:53:27

词达人自动化工具：如何用智能技术将30分钟学习任务压缩到3分钟完成？

词达人自动化工具&#xff1a;如何用智能技术将30分钟学习任务压缩到3分钟完成&#xff1f; 【免费下载链接】cdr 微信词达人&#xff0c;高正确率&#xff0c;高效简洁。支持班级任务及自选任务 项目地址: https://gitcode.com/gh_mirrors/cd/cdr 在当今数字化教育环境…...

编程新知 2026/5/12 16:11:13

如何在Blender中实现工程级精确建模：CAD_Sketcher完全指南 [特殊字符]

如何在Blender中实现工程级精确建模&#xff1a;CAD_Sketcher完全指南 &#x1f680; 【免费下载链接】CAD_Sketcher Constraint-based geometry sketcher for blender 项目地址: https://gitcode.com/gh_mirrors/ca/CAD_Sketcher 你是否曾经在Blender中尝试创建精确的机…...

编程新知 2026/5/12 13:49:37

从继电器到边缘计算：拆解PAC控制器里的‘智能手机’架构（以Codesys/倍福为例）

从继电器到边缘计算&#xff1a;拆解PAC控制器里的‘智能手机’架构 在工业自动化领域&#xff0c;PAC&#xff08;可编程自动化控制器&#xff09;正逐渐取代传统PLC&#xff0c;成为智能制造的核心大脑。这种转变类似于功能手机向智能手机的进化——从单一功能到开放平台&…...

编程新知 2026/5/12 13:16:22

终极哔咔漫画下载器：3步打造个人离线漫画图书馆

终极哔咔漫画下载器&#xff1a;3步打造个人离线漫画图书馆 【免费下载链接】picacomic-downloader 哔咔漫画 picacomic pica漫画 bika漫画 PicACG 多线程下载器&#xff0c;带图形界面 带收藏夹&#xff0c;已打包exe 下载速度飞快 项目地址: https://gitcode.com/gh_mirror…...

编程新知 2026/5/12 11:38:50

基于RAG与向量检索的本地化智能搜索问答系统部署指南

1. 项目概述与核心价值最近在折腾一个挺有意思的开源项目&#xff0c;叫moneykick/openclaw-anspire-search_pro。光看这个名字&#xff0c;可能有点摸不着头脑&#xff0c;但如果你对信息检索、智能问答或者企业知识库构建感兴趣&#xff0c;那这个项目绝对值得你花时间研究一…...

编程新知 2026/5/12 9:57:08