当前位置： 首页 > article >正文

【AI学习】Transformer 模型

article 2026/2/21 17:00:05

1，概念

是一种基于自注意力机制（Self-Attention Mechanism）的深度学习架构，在自然语言处理、计算机视觉等多个领域都有着极为重要的应用。

2，基本结构

在这里插入图片描述

1）编码器（Encoder）

通常由多个相同的编码器层堆叠而成。
每个编码器层包含了多头自注意力机制、前馈神经网络以及一些规范化和残差连接等组件。

1>传统的序列处理模型

按照固定的顺序依次处理每个元素。

2>自注意力机制（Self-Attention Mechanism）

计算输入序列中每个位置与其他所有位置之间的关联程度，通过给不同位置分配不同的权重，让模型聚焦于输入序列中不同位置的相关信息。
它可以捕捉长距离依赖关系，即能够关联序列中相隔较远的元素之间的联系。
例如，在处理一个句子的文本序列时，自注意力机制可以衡量句子中每个单词与其他单词的关联，确定某个单词在语义理解上更应该关注哪些其他单词，从而更好地捕捉句子的语义和语法结构。
自注意力机制是深度学习领域，尤其是自然语言处理（NLP）等领域中一种非常重要的技

相关文章：

【AI学习】Transformer 模型

1，概念 是一种基于自注意力机制（Self-Attention Mechanism）的深度学习架构，在自然语言处理、计算机视觉等多个领域都有着极为重要的应用。 2，基本结构 1）编码器（Encoder） 通常由多个相同的编码器层堆叠而成。 每个编码器层包含了多头自注意力机制、前馈神经网络以及…...

编程日记 2026/2/12 22:58:02

大数据学习栈记——HBase操作（shell java）

本文介绍HBase在shell终端的常见操作以及如何利用java api操作HBase，操作系统：Ubuntu24.04 参考： https://blog.51cto.com/u_16099228/8016429 https://blog.csdn.net/m0_37739193/article/details/73618899 https://cloud.tencent.com/d…...

编程日记 2026/2/21 4:48:47

React多层级对象改变值--immer

reduxjs/toolkit底层就是immer，，，所以在使用redux的时候，直接赋值，就会响应式的数据 如果不使用reduxjs/toolkit,可以自己使用immer来实现 安装immer npm install immer引入produce函数，，prod…...

编程日记 2026/2/15 21:16:11

服务器硬盘爆满100%问题解决

问题 在工作中遇到一个服务器，服务器硬盘100%，查找哪个目录文件中占用大量空间。发现加起来才150G，硬盘空间大概有500G。 处理问题，排查是否有某个进程正在删除文件，进程卡住了，所以过滤一下有哪些进程&am…...

编程日记 2026/2/13 18:12:16

智能制造：物联网和自动化之间的关系

工业自动化 工业自动化是机器设备或生产过程在不需要人工直接干预的情况下按预期的目标实现测量、操纵等信息处理和过程控制的统称。 在传统的工业生产过程中，很多环节需要人工操作，比如设备调试、生产监控、质量检测等。然而，随着工业自动化…...

编程日记 2026/2/13 13:50:15

Axure项目实战：智慧城市APP（三）教育查询（显示与隐藏交互）

亲爱的小伙伴，在您浏览之前，烦请关注一下，在此深表感谢！ 课程主题：教育查询 主要内容：教育公告信息，小升初、初升高、高考成绩查询；教育公告信息为传统的信息页面，小升…...

编程日记 2026/2/14 16:31:49

01 设计模式和设计原则

类设计原则： 单一职责原则（Single Responsibility Principle，SRP）：实现类要职责单一开闭原则（Open Close Principle，OCP）：对扩展开放，对修改关闭里氏替换原则…...

编程日记 2026/2/21 0:21:42

Github 2025-03-23 php开源项目日报Top10

根据Github Trendings的统计，今日(2025-03-23统计)共有10个项目上榜。根据开发语言中项目的数量，汇总情况如下： 开发语言项目数量PHP项目10TypeScript项目1JavaScript项目1Shell项目1Laravel: 以优雅语法简化Web开发 创建周期：4028 天开发语言：PHP协议类型：MIT LicenseSt…...

编程日记 2026/2/21 11:18:53

macbook电脑如何清理键盘防止误触

M1芯片的MacBook电脑关机后按任意键开机，是苹果的功能设计。这样设计的目的是为了方便用户，让用户在想要使用电脑时能快速开机。但是清理电脑键盘的时候却成为了一种苦恼 以下是一些清理 MacBook 键盘防止误触的方法： 使用工具锁定键盘 Cle…...

编程日记 2025/7/1 18:24:19

AIMB-ASMB-788B(PPC-MB-620B)RAID驱动安装（笔记版）

创建RAID后安装系统时看不到磁盘信息，以下案例是安装windows10系统时如何安装主板RAID驱动，由于是笔记版不做过多介绍。 RAID驱动链接：https://advdownload.advantech.com.cn/productfile/Downloadfile1/1-2MAHDQD/AIMB-788_788E_RAID_AHCI_…...

编程日记 2026/2/15 13:12:10

深度分页优化思路

深度分页优化思路 思考以下问题 查询以下SQL的流程是怎么样的呢？ 为什么只查询10条数据需要7秒？ # 查询时间7秒 SELECT * FROM user ORDER BY age LIMIT 1000000, 10问题分析 为什么分页查询随着翻页的深入，会变得越来越慢。 其实&#xff0…...

编程日记 2026/2/19 19:33:22

K8S学习之基础五十四：jenkins新建测试流水线

jenkins新建测试流水线 新建任务 node(testak) {stage(第1步:从gitee上下载源代码) {git url: "https://gitee.com/akang007/jenkins-sample"script {build_tag sh(returnStdout: true, script: git rev-parse --short HEAD).trim()}}stage(第2步：基…...

编程日记 2026/2/13 6:56:04

HarmonyOS NEXT（九） ：图形渲染体系

HarmonyOS NEXT（九） ：图形渲染体系 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，可以分享一下给大家。点击跳转到网站。 https://www.captainbed.cn/ccc 文章目录 HarmonyOS NEXT&#xff0…...

编程日记 2026/2/12 13:52:50

SQLAlchemy关键词搜索技术深度解析：从基础过滤到全文检索

在数据驱动的应用开发中，基于关键词的模糊查询是常见的业务需求。SQLAlchemy作为Python生态中最流行的ORM框架，提供了多种实现关键词搜索的技术方案。本文将从性能、适用场景和技术复杂度三个维度，系统对比分析SQLAlchemy中关键词搜索的最佳实…...

编程日记 2026/2/12 19:17:56

ES数据过多，索引拆分

公司企微聊天数据存储在 ES 中，虽然按照企业分储在不同的ES 索引中，但某些常用的企微主体使用量还是很大。4年中一个索引存储数据已经达到46多亿条数据，占用存储3.1tb, ES 配置 由于多一个副本，存储得翻倍，成本考虑…...

编程日记 2026/2/15 1:38:40

Rust 与 FFmpeg 实现视频水印添加：技术解析与应用实践

引言 在短视频、直播、影视制作等领域，视频水印是一种常见的工具，用于保护版权、提升品牌辨识度或满足合规性要求。然而，开发者在实现水印添加时往往面临以下挑战： 手动处理效率低：使用图像编辑软件（如 P…...

编程日记 2025/12/21 10:03:08

Python语言的游戏物理

Python语言的游戏物理 引言 在现代游戏开发中，物理引擎是一个重要的组成部分，通过模拟真实世界的物理现象，增加了游戏的沉浸感和可玩性。Python作为一种高效、易用的编程语言，虽然在性能方面不如C等语言，但其灵活性和…...

编程日记 2026/2/18 22:27:18

uni-app自动升级功能

效果图 一、VUE login.vue <template><view><view class"uni-common-mt"><view class"uni-flex uni-column"><view class"flex-item flex-item-V"><view class"logo"><image src"/st…...

编程日记 2026/2/19 0:52:01

使用AI一步一步实现若依(26)

功能26&#xff1a;新增一个新员工培训页面 功能25&#xff1a;角色管理 功能24&#xff1a;菜单管理 功能23&#xff1a;从后端获取路由/菜单数据 功能22&#xff1a;用户管理 功能21&#xff1a;使用axios发送请求 功能20&#xff1a;使用分页插件 功能19&#xff1a;集成My…...

编程日记 2026/2/13 11:56:42

逻辑回归（Logistic Regression）模型的概率预测函数

以二分类问题为例&#xff0c;常见的损失函数有 负对数似然损失(neg log-likelihood loss)&#xff0c;交叉熵损失(cross entropy loss)&#xff0c;deviance loss指数损失(exponential loss)。 前三者虽然名字不同&#xff0c;但却具有相同的表达形式。此外&#xff0c;neg …...

编程日记 2026/2/12 16:17:50

【零基础学python】python高级语法（四）

接续上面的系列文章&#xff1a; 【零基础学python】python基础语法&#xff08;一&#xff09;-CSDN博客 【零基础学python】python基础语法&#xff08;二&#xff09;-CSDN博客 【零基础学python】python高级语法&#xff08;三&#xff09;-CSDN博客 目录 2&#xff0c…...

编程日记 2026/2/21 13:34:06

HarmonyOS 之 @Require 装饰器自学指南

在 HarmonyOS 应用开发工作中&#xff0c;我频繁碰到组件初始化传参校验的难题。在复杂的组件嵌套里&#xff0c;要是无法确保必要参数在构造时准确传入&#xff0c;就极易引发运行时错误&#xff0c;而且排查起来费时费力。一次偶然的机会&#xff0c;我接触到了 Require 装饰…...

编程日记 2026/2/13 19:57:55

Redis Cluster 详解

Redis Cluster 详解 1. 为什么需要 Redis Cluster&#xff1f; Redis 作为一个高性能的内存数据库&#xff0c;在单机模式下可能会遇到以下问题&#xff1a; 单机容量受限&#xff1a;Redis 是基于内存存储的&#xff0c;单机的内存资源有限&#xff0c;单实例的 Redis 只能…...

编程日记 2025/12/16 3:13:22

基于CNN的FashionMNIST数据集识别6——ResNet模型

前言 之前我们在cnn已经搞过VGG和GoogleNet模型了&#xff0c;这两种较深的模型出现了一些问题&#xff1a; 梯度传播问题 在反向传播过程中&#xff0c;梯度通过链式法则逐层传递。对于包含 L 层的网络&#xff0c;第 l 层的梯度计算为&#xff1a; 其中 a(k) 表示第 k层的…...

编程日记 2026/2/13 22:13:14

0323-B树、B+树

多叉树---->B树&#xff08;磁盘&#xff09;、B树 磁盘由多个盘片组成&#xff0c;每个盘片分为多个磁道和扇区。数据存储在这些扇区中&#xff0c;扇区之间通过指针链接&#xff0c;形成链式结构。 内存由连续的存储单元组成&#xff0c;每个单元有唯一地址&#xff0c;数…...

编程日记 2026/2/15 6:05:41

深度学习3-pytorch学习

深度学习3-pytorch学习 Tensor 定义与 PyTorch 操作 1. Tensor 定义&#xff1a; Tensor 是 PyTorch 中的数据结构&#xff0c;类似于 NumPy 数组。可以通过不同方式创建 tensor 对象&#xff1a; import torch# 定义一个 1D Tensor x1 torch.Tensor([3, 4])# 定义一个 Fl…...

编程日记 2026/2/13 8:32:33

【工作记录】F12查看接口信息及postman中使用

可参考 详细教程&#xff1a;如何从前端查看调用接口、传参及返回结果&#xff08;附带图片案例&#xff09;_f12查看接口及参数-CSDN博客 1、接口信息 接口基础知识2&#xff1a;http通信的组成_接口请求信息包括-CSDN博客 HTTP类型接口之请求&响应详解 - 三叔测试笔记…...

编程日记 2026/2/16 3:13:24

正则表达式-万能表达式

1、正则 正则表达式是一组由字母和符号组成的特殊文本, 它可以用来从文本中找 出满足你想要的格式的句子. {“basketId”: 0, “count”: 1, “prodId”: #prodId#, “shopId”: 1, “skuId”: #skuId#} #prodId# re相关的文章&#xff1a; https://www.cnblogs.com/Simple-S…...

编程日记 2026/2/15 2:10:46

2024年认证杯SPSSPRO杯数学建模B题(第二阶段)神经外科手术的定位与导航全过程文档及程序

2024年认证杯SPSSPRO杯数学建模 B题 神经外科手术的定位与导航 原题再现&#xff1a; 人的大脑结构非常复杂&#xff0c;内部交织密布着神经和血管&#xff0c;所以在大脑内做手术具有非常高的精细和复杂程度。例如神经外科的肿瘤切除手术或血肿清除手术&#xff0c;通常需要…...

编程日记 2026/2/13 17:21:02

Android 12系统源码_系统启动（二）Zygote进程

前言 Zygote&#xff08;意为“受精卵”&#xff09;是 Android 系统中的一个核心进程&#xff0c;负责 孵化&#xff08;fork&#xff09;应用进程&#xff0c;以优化应用启动速度和内存占用。它是 Android 系统启动后第一个由 init 进程启动的 Java 进程&#xff0c;后续所有…...

编程日记 2026/2/14 1:20:05