当前位置： 首页 > news >正文

用 Pytorch 自己构建一个Transformer

news 2026/2/10 18:02:38

一、说明

        用pytorch自己构建一个transformer并不是难事，本篇使用pytorch随机生成五千个32位数的词向量做为源语言词表，再生成五千个32位数的词向量做为目标语言词表，让它们模拟翻译过程，transformer全部用pytorch实现，具备一定实战意义。

二、论文和概要

        在本教程中，我们将使用 PyTorch 从头开始构建一个基本的转换器模型。Vaswani等人在论文“注意力是你所需要的一切”中引入的Transformer模型是一种深度学习架构，专为序列到序列任务而设计，例如机器翻译和文本摘要。它基于自我注意机制，已成为许多最先进的自然语言处理模型的基础，如GPT和BERT。

      

相关文章：

用 Pytorch 自己构建一个Transformer

一、说明 用pytorch自己构建一个transformer并不是难事，本篇使用pytorch随机生成五千个32位数的词向量做为源语言词表，再生成五千个32位数的词向量做为目标语言词表，让它们模拟翻译过程，transformer全部用pytorch实现，具备一定实战意义。 二、论文和概要 …...

编程日记 2023/10/10 10:36:27

Docker安装ActiveMQ

ActiveMQ简介 官网地址：https://activemq.apache.org/ 简介： ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现,尽管JMS规范出台已经是很久的事情了,…...

编程日记 2023/10/10 10:35:25

【二】spring boot-设计思想

spring boot-设计思想 简介：现在越来越多的人开始分析spring boot源码，拿到项目之后就有点无从下手了，这里介绍一下springboot源码的项目结构 一、项目结构 从上图可以看到，源码分为两个模块： spring-boot-project&a…...

编程日记 2023/10/10 10:33:23

系统架构设计：7 论企业集成架构设计及应用

目录 一 企业集成 1 企业集成分类：按照集成点分 （1）界面集成（表示集成）...

编程日记 2023/10/10 10:32:21

【pytorch】多GPU同时训练模型

文章目录 1. 基本原理单机多卡训练教程——DP模式 2. Pytorch进行单机多卡训练步骤1. 指定GPU2. 更改模型训练方式3. 更改权重保存方式 摘要：多GPU同时训练，能够解决单张GPU显存不足问题，同时加快模型训练。 1. 基本原理 单机多卡训练教程—…...

编程日记 2023/10/10 10:31:20

Git 学习笔记 | Git 基本理论

Git 学习笔记 | Git 基本理论 Git 学习笔记 | Git 基本理论Git 工作区域Git 工作流程 Git 学习笔记 | Git 基本理论 在开始使用 Git 创建项目前，我们先学习一下 Git 的基础理论。 Git 工作区域 Git本地有三个工作区域：工作目录（Working Di…...

编程日记 2023/10/10 10:30:19

滚动表格封装

滚动表格封装 我们先设定接收的参数 需要表头内容columns，表格数据data，需要currentSlides来控制当前页展示几行 const props defineProps({// 表头内容columns: {type: Array,default: () > [],required: true,},// 表格数据data: {type: Array,d…...

编程日记 2023/10/10 10:29:18

【LeetCode高频SQL50题-基础版】打卡第3天：第16~20题

文章目录 【LeetCode高频SQL50题-基础版】打卡第3天：第16~20题⛅前言 平均售价🔒题目🔑题解 项目员工I🔒题目🔑题解 各赛事的用户注册率🔒题目🔑题解 查询结果的质量和占比🔒题目&am…...

编程日记 2023/10/10 10:28:17

系统压力测试：保障系统性能与稳定的重要措施

压力测试简介 在当今数字化时代，各种系统和应用程序扮演着重要角色，从企业的核心业务系统到在线服务平台，都需要具备高性能和稳定性，以满足用户的需求。然而，随着用户数量和业务负载的增加，系统可能会面临…...

编程日记 2023/10/10 10:27:14

常用数据结构和算法

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、时间复杂度二、使用步骤 1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 这里面有10个数据结构&#xff1…...

编程日记 2023/10/10 10:26:13

C++中使用引用避免内存复制

C中使用引用避免内存复制 引用让您能够访问相应变量所在的内存单元，这使得编写函数时引用很有用。典型的函数声明类似于下面这样： ReturnType DoSomething(Type parameter);调用函数 DoSomething() 的代码类似于下面这样： ReturnType Resu…...

编程日记 2023/10/10 10:24:11

计算机网络(第8版)-第4章 网络层

4.1 网络层的几个重要概念 4.1.1 网络层提供的两种服务 如果主机（即端系统）进程之间需要进行可靠的通信，那么就由主机中的运输层负责（包括差错处理、流量控制等）。 4.1.2 网络层的两个层面 4.2 网际协议 IP 图4-4 网…...

编程日记 2023/10/10 10:23:10

chromadb 0.4.0 后的改动

本文基于一篇上次写的博客：[开源项目推荐]privateGPT使用体验和修改 文章目录 一.上次改好的ingest.py用不了了，折腾了一会儿二.发现privateGPT官方更新了总结下变化效果 三.others 一.上次改好的ingest.py用不了了，折腾了一会儿 pydantic和c…...

编程日记 2023/10/10 10:22:08

Windows环境下下载安装Elasticsearch和Kibana

Windows环境下下载安装Elasticsearch和Kibana 首先说明这里选择的版本都是7.17 ，为什么不选择新版本，新版本有很多坑，要去踩，就用7就够了。 Elasticsearch下载 Elasticsearch是一个开源的分布式搜索和分析引擎，最初由…...

编程日记 2023/10/10 10:21:07

机器学习：随机森林

集成学习 集成学习（Ensemble Learning）是一种机器学习方法，通过将多个基本学习算法的预测结果进行组合，以获得更好的预测性能。集成学习的基本思想是通过结合多个弱分类器或回归器的预测结果，来构建一个更强大的集成模…...

编程日记 2023/10/10 10:20:05

ctfshow-web11（session绕过）

php代码审计： function replaceSpecialChar($strParam){$regex "/(select|from|where|join|sleep|and|\s|union|,)/i";return preg_replace($regex,"",$strParam);} 首先定义了一个函数，主要是使用preg_replace函数对我们提交的内…...

编程日记 2023/10/10 10:18:01

状态模式：对象状态的变化

欢迎来到设计模式系列的第十七篇文章。在本文中，我们将深入探讨状态模式，这是一种行为型设计模式，用于管理对象的状态以及状态之间的变化。 什么是状态模式？ 状态模式是一种允许对象在内部状态发生变化时改变其行为的设计模式。…...

编程日记 2023/10/10 10:17:00

解耦常用方法

1、类别 DIP依赖倒置、IoC控制反转、DI依赖注入（Dependency Injection） c11 实现依赖注入 控制反转、依赖注入、依赖倒置傻傻分不清楚？ 我曾想深入了解的：依赖倒置、控制反转、依赖注入 2、方法 解耦基本方法 step1&#xff1a…...

编程日记 2023/10/10 10:15:59

根据二叉树创建字符串--力扣

🎈个人主页:🎈 :✨✨✨初阶牛✨✨✨ 🐻强烈推荐优质专栏: 🍔🍟🌯C的世界(持续更新中) 🐻推荐专栏1: 🍔🍟🌯C语言初阶 🐻推荐专栏2: 🍔…...

编程日记 2023/10/10 10:13:55

代码事件派发机制（观察者模式）

事件派发机制主要用来解决: 代码解耦和维护,一般在代码中会要管理一些闭包函数 然后在指定的业务中触发运行闭包函数逻辑用了事件派发机制 就可以先把要处理的事件 挂在在一个事件管理类中 上面挂满要处理的闭包函数然后通过dispatch 出发要执行的任务 也就是闭包1. PHP中实…...

编程日记 2023/10/10 10:12:54

（二）原型模式

原型的功能是将一个已经存在的对象作为源目标，其余对象都是通过这个源目标创建。发挥复制的作用就是原型模式的核心思想。 一、源型模式的定义 原型模式是指第二次创建对象可以通过复制已经存在的原型对象来实现，忽略对象创建过程中的其它细节。 📌 核心特点： 避免重复初…...

编程新知 2026/2/10 15:49:06

Android 之 kotlin 语言学习笔记三（Kotlin-Java 互操作）

参考官方文档：https://developer.android.google.cn/kotlin/interop?hlzh-cn 一、Java（供 Kotlin 使用） 1、不得使用硬关键字 不要使用 Kotlin 的任何硬关键字作为方法的名称 或字段。允许使用 Kotlin 的软关键字、修饰符关键字和特殊标识…...

编程新知 2026/2/8 0:33:04

scikit-learn机器学习

# 同时添加如下代码, 这样每次环境(kernel)启动的时候只要运行下方代码即可: # Also add the following code, # so that every time the environment (kernel) starts, # just run the following code: import sys sys.path.append(/home/aistudio/external-libraries)机…...

编程新知 2026/2/1 17:50:36

Scrapy-Redis分布式爬虫架构的可扩展性与容错性增强：基于微服务与容器化的解决方案

在大数据时代，海量数据的采集与处理成为企业和研究机构获取信息的关键环节。Scrapy-Redis作为一种经典的分布式爬虫架构，在处理大规模数据抓取任务时展现出强大的能力。然而，随着业务规模的不断扩大和数据抓取需求的日益复杂，传统…...

编程新知 2026/2/4 19:29:38

elementUI点击浏览table所选行数据查看文档

项目场景&#xff1a; table按照要求特定的数据变成按钮可以点击 解决方案&#xff1a; <el-table-columnprop"mlname"label"名称"align"center"width"180"><template slot-scope"scope"><el-buttonv-if&qu…...

编程新知 2026/2/4 18:42:53

HTML前端开发：JavaScript 获取元素方法详解

作为前端开发者&#xff0c;高效获取 DOM 元素是必备技能。以下是 JS 中核心的获取元素方法&#xff0c;分为两大系列&#xff1a; 一、getElementBy... 系列 传统方法&#xff0c;直接通过 DOM 接口访问&#xff0c;返回动态集合&#xff08;元素变化会实时更新&#xff09;。…...

编程新知 2025/10/6 18:44:24

Android写一个捕获全局异常的工具类

项目开发和实际运行过程中难免会遇到异常发生&#xff0c;系统提供了一个可以捕获全局异常的工具Uncaughtexceptionhandler&#xff0c;它是Thread的子类&#xff08;就是package java.lang;里线程的Thread&#xff09;。本文将利用它将设备信息、报错信息以及错误的发生时间都…...

编程新知 2026/2/9 23:02:28

Unity VR/MR开发-VR开发与传统3D开发的差异

视频讲解链接&#xff1a;【XR马斯维】VR/MR开发与传统3D开发的差异【UnityVR/MR开发教程--入门】_哔哩哔哩_bilibili...

编程新知 2026/2/5 4:00:33

数据库正常，但后端收不到数据原因及解决

从代码和日志来看&#xff0c;后端SQL查询确实返回了数据&#xff0c;但最终user对象却为null。这表明查询结果没有正确映射到User对象上。 在前后端分离&#xff0c;并且ai辅助开发的时候&#xff0c;很容易出现前后端变量名不一致情况&#xff0c;还不报错&#xff0c;只是单…...

编程新知 2026/1/1 2:56:38

【工具教程】多个条形码识别用条码内容对图片重命名，批量PDF条形码识别后用条码内容批量改名，使用教程及注意事项

一、条形码识别改名使用教程 打开软件并选择处理模式&#xff1a;打开软件后&#xff0c;根据要处理的文件类型&#xff0c;选择 “图片识别模式” 或 “PDF 识别模式”。如果是处理包含条形码的 PDF 文件&#xff0c;就选择 “PDF 识别模式”&#xff1b;若是处理图片文件&…...

编程新知 2026/2/4 16:24:31