当前位置： 首页 > article >正文

计算机视觉与深度学习 ｜ Transformer原理，公式，代码，应用

article 2026/1/13 12:06:57

Transformer 详解

Transformer 是 Google 在 2017 年提出的基于自注意力机制的深度学习模型，彻底改变了序列建模的范式，解决了 RNN 和 LSTM 在长距离依赖和并行计算上的局限性。以下是其原理、公式、代码和应用的详细解析。

一、原理

  1. 核心架构
    Transformer 由 编码器（Encoder） 和 解码器（Decoder） 组成，各包含多个堆叠的层：

    • 编码器：处理输入序列，生成上下文感知的隐藏表示。每层包含 多头自注意力机制 和 前馈网络。
    • 解码器：基于编码器输出生成目标序列。额外包含 交叉注意力层，以关注编码器的输出。

  2. 自注意力机制（Self-Attention）
    通过计算序列中每个元素与其他元素的关联权重，捕获全局依赖关系。例如

相关文章：

计算机视觉与深度学习 ｜ Transformer原理，公式，代码，应用

Transformer 详解 Transformer 是 Google 在 2017 年提出的基于自注意力机制的深度学习模型，彻底改变了序列建模的范式，解决了 RNN 和 LSTM 在长距离依赖和并行计算上的局限性。以下是其原理、公式、代码和应用的详细解析。 一、原理 核心架构 Transformer 由 编码器（Encod…...

编程日记 2025/12/28 15:52:31

基于语义网络表示的不确定性推理

前文我们已经了解了： 1.不确定与非单调推理的基本概念：不确定与非单调推理的基本概念-CSDN博客 2.不确定与非单调推理的概率方法：不确定与非单调推理的概率方法-CSDN博客 3.不确定与非单调推理的可信度方法：不确定与非单调推理的可信度方法-CSDN博客 4.不确定与非单调推…...

编程日记 2026/1/5 4:40:47

ICMAN防水触摸芯片 - 复杂环境下精准交互，提升触控体验

▍核心优势 ◆ 超强抗干扰能力 ◆ 工业级设计，一致性和稳定性好 ▍提供场景化解决方案 【智能厨电矩阵】抽油烟机档位调节 | 电磁炉火力触控 | 洗碗机模式切换 【卫浴设备方案】淋浴房雾化玻璃控制 | 智能马桶触控面板 | 浴缸水位感应 【工业控制应用】仪器仪…...

编程日记 2025/12/25 10:29:13

WWW和WWWForm类

WWW类 WWW类是什么 //WWW是Unity提供的简单的访问网页的类 //我们可以通过该类上传和下载一些资源 //在使用http是，默认的请求类型是get，如果想要用post上传需要配合WWWFrom类使用 //它主要支持的协议： //…...

编程日记 2025/12/9 15:28:58

如何在LangChain中构建并使用自定义向量数据库

1. 自定义向量数据库对接 向量数据库的发展非常迅速，几乎每隔几天就会出现新的向量数据库产品。LangChain 不可能集成所有的向量数据库，此外，一些封装好的数据库可能存在 bug 或者其他问题。这种情况下，我们需要考虑创建自定义向…...

编程日记 2026/1/12 18:42:16

【java实现+4种变体完整例子】排序算法中【希尔排序】的详细解析，包含基础实现、常见变体的完整代码示例，以及各变体的对比表格

以下是希尔排序的详细解析，包含基础实现、常见变体的完整代码示例，以及各变体的对比表格： 一、希尔排序基础实现 原理 希尔排序是插入排序的改进版本，通过分步缩小增量间隔，将数组分成多个子序列进行插入排序&#…...

编程日记 2026/1/10 10:44:37

回车键监听

全局添加回车监听 // 定义一个具名函数function globalEnterHandler(event) {if (event.key Enter) {$scope.getsearch();}}// 添加监听document.addEventListener(keydown, globalEnterHandler);// 需要移除的时候，调用这个document.addEventListener(keydown, gl…...

编程日记 2026/1/11 8:33:03

matlab 处理海洋数据并画图的工具包--ocean_data_tools

matlab 处理海洋数据并画图的工具包–ocean_data_tools matlab 处理海洋数据并画图的工具包–ocean_data_tools ocean_data_tools 简化了提取、格式化和可视化免费可用的海洋学数据的过程。虽然可以在线访问大量海洋学数据，但由于获取这些数据并将其格式化为可用数据…...

编程日记 2025/12/25 9:36:28

多级缓存架构，让系统更快的跑起来！

大家好，今天，咱们来聊聊一个超级实用的话题——多级缓存架构。别一听“架构”俩字就头大，我保证，这篇文章既有趣又易懂，让你秒变缓存小达人！ 一、多级缓存，为啥这么火？ 在互联网的汪洋大海里，数据就是咱们的宝藏。但每次从数据库里捞数据，都跟挖宝藏似的，慢得很！…...

编程日记 2025/12/8 7:54:24

MCP：AI时代的“万能插座”，开启大模型无限可能

摘要：Model Context Protocol（MCP）由Anthropic在2024年底开源，旨在统一大模型与外部工具、数据源的通信标准。采用客户端-服务器架构，基于JSON-RPC 2.0协议，支持stdio、SSE、Streamable HTTP等多种通信方式…...

编程日记 2025/12/26 1:41:06

使用 PCL 和 Qt 实现点云可视化与交互

下面我将介绍如何结合点云库(PCL)和Qt框架(特别是QML)来实现点云的可视化与交互功能&#xff0c;包括高亮选择等效果。 1. 基本架构设计 首先需要建立一个结合PCL和Qt的基本架构&#xff1a; // PCLQtViewer.h #pragma once#include <QObject> #include <pcl/point…...

编程日记 2025/12/14 3:48:15

静态网页的开发

文章目录 基于 idea 开发静态网页添加web框架前端配置服务器并启动服务资源名字不是 index 静态网页 流转 基于 idea 开发静态网页 添加web框架 方法1 方法2 前端 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8&quo…...

编程日记 2025/12/26 4:16:41

【CPU】结合RISC-V CPU架构回答中断系统的7个问题（个人草稿）

结合RISC-V CPU架构对中断系统七个关键问题的详细解析&#xff0c;按照由浅入深的结构进行说明&#xff1a; 一、中断请求机制&#xff08;问题①&#xff09; 硬件基础&#xff1a; RISC-V通过CLINT&#xff08;Core Local Interrupter&#xff09;和PLIC&#xff08;Platfor…...

编程日记 2025/12/26 11:51:41

uCOS3实时操作系统（任务切换和任务API函数）

文章目录 任务切换任务API函数 任务切换 C/OS-III 将 PendSV 的中断优先级配置为最低的中断优先级&#xff0c;这么一来&#xff0c; PendSV 异常的中断服务函数就会在其他所有中断处理完成后才被执行。C/OS-III 就是将任务切换的过程放到 PendSV 异常的中断服务函数中处理的。…...

编程日记 2026/1/7 18:10:10

【Python网络爬虫开发】从基础到实战的完整指南

目录 前言&#xff1a;技术背景与价值当前技术痛点解决方案概述目标读者说明 一、技术原理剖析核心概念图解核心作用讲解关键技术模块技术选型对比 二、实战演示环境配置要求核心代码实现&#xff08;10个案例&#xff09;案例1&#xff1a;基础静态页面抓取案例2&#xff1a;动…...

编程日记 2026/1/2 9:21:05

科学养生指南：解锁健康生活新方式

在快节奏的现代生活中&#xff0c;健康养生已成为人们关注的焦点。科学合理的养生方式&#xff0c;能帮助我们增强体质、预防疾病&#xff0c;享受更优质的生活。​ 饮食是健康养生的基石。遵循 “均衡饮食” 原则&#xff0c;每日饮食需包含谷类、蔬菜水果、优质蛋白质和健康…...

编程日记 2026/1/4 21:51:37

第十四届蓝桥杯 2023 C/C++组 有奖问答

目录 题目&#xff1a; 题目描述&#xff1a; 题目链接&#xff1a; 思路&#xff1a; 核心思路&#xff1a; 思路详解&#xff1a; 代码&#xff1a; 代码详解&#xff1a; 题目&#xff1a; 题目描述&#xff1a; 题目链接&#xff1a; 蓝桥云课 有奖问答 思路&…...

编程日记 2025/12/30 5:15:09

解决Chrome浏览器访问https提示“您的连接不是私密连接”的问题

如何绕过Chrome的“您的连接不是私密连接”证书警告页面 在使用Chrome浏览器访问一些自签名或测试用的HTTPS网站时&#xff0c;常常会遇到这样一个拦截页面&#xff1a; “您的连接不是私密连接” 虽然这是Chrome出于安全考虑的设计&#xff0c;但对于开发者或测试人员来说&am…...

编程日记 2025/12/29 20:24:30

transformer注意力机制

单头注意力机制 import torch import torch.nn.functional as Fdef scaled_dot_product_attention(Q, K, V):# Q: (batch_size, seq_len, d_k)# K: (batch_size, seq_len, d_k)# V: (batch_size, seq_len, d_v)batch_size: 一次输入的句子数。 seq_len: 每个句子的词数。 d_mo…...

编程日记 2026/1/12 23:45:43

QT 5.15 程序打包

说明&#xff1a; windeployqt 是 Qt 提供的一个工具&#xff0c;用于自动收集并复制运行 Qt 应用程序所需的动态链接库&#xff08;.dll 文件&#xff09;及其他资源&#xff08;如插件、QML 模块等&#xff09;到可执行文件所在的目录。这样你就可以将应用程序和这些依赖项一…...

编程日记 2026/1/5 22:38:58

秒杀抢购系统架构与优化全解：从业务特性到技术落地

一、秒杀抢购业务的本质 秒杀&#xff0c;顾名思义&#xff0c;就是“以秒为单位”的限时限量抢购活动。它的核心是短时间内聚集高流量&#xff0c;以超低价格进行引流。 这种业务场景对系统架构提出了极高的要求&#xff0c;主要表现为&#xff1a; 高并发访问量 极短的处理…...

编程日记 2025/12/8 5:05:31

【路由交换方向IE认证】BGP选路原则之AS-Path属性

文章目录 一、路由器BGP路由的处理过程控制平面和转发平面选路工具 二、BGP的选路顺序选路的前提选路顺序 三、AS-Path属性选路原则AS-Path属性特性AS-Path管进还是管出呢&#xff1f;使用AS-Path对进本AS的路由进行选路验证AS-Path不接收带本AS号的路由 四、BGP邻居建立配置 一…...

编程日记 2025/12/27 0:43:41

Spark-SQL与Hive

Spark-SQL与Hive的那些事儿&#xff1a;从连接到数据处理 在大数据处理领域&#xff0c;Spark-SQL和Hive都是非常重要的工具。今天咱们就来聊聊它们之间的关系&#xff0c;以及怎么用Spark-SQL去连接Hive进行数据处理。先说说Hive&#xff0c;它是Hadoop上的SQL引擎&#xff0…...

编程日记 2025/12/7 20:45:15

Linux系统下docker 安装 redis

docker安装最新版的redis 一、docker拉取最新版redis镜像 拉取镜像若没有指定版本&#xff0c;代表拉取最新版本 二、查询redis镜像 三、挂载配置文件 在docker容器内修改redis配置文件不方便&#xff0c;所以挂载配置文件&#xff0c;这样可以在外边修改redis配置 3.1 创建…...

编程日记 2025/12/31 1:17:33

【阿里云大模型高级工程师ACP习题集】2.1 用大模型构建新人答疑机器人

练习题 【单选题】1. 在调用通义千问大模型时，将API Key存储在环境变量中的主要目的是？ A. 方便在代码中引用 B. 提高API调用的速度 C. 增强API Key的安全性 D. 符合阿里云的规定 【多选题】2. 以下哪些属于大模型在问答场景中的工作阶段？（ ） A. 输入文本分词化 B. Toke…...

编程日记 2025/12/8 1:41:00

深度学习框架PyTorch——从入门到精通（3.3）YouTube系列——自动求导基础

这部分是 PyTorch介绍——YouTube系列的内容&#xff0c;每一节都对应一个youtube视频。&#xff08;可能跟之前的有一定的重复&#xff09; 我们需要Autograd做什么&#xff1f;一个简单示例训练中的自动求导开启和关闭自动求导自动求导与原地操作 自动求导分析器高级主题&…...

编程日记 2025/12/26 18:14:23

【基础算法】二分算法详解

🎯 前言：二分不是找某个数，而是找一个满足条件的位置/值 所以最关键的是：找到单调性，写好 check() 函数，剩下交给模板！ 什么是二分算法 二分算法是一种在有序区间中查找答案的方法，时间复杂度：O(log n)。核心思想是： 每次把搜索区间分成两半，只保留可能存在答案的…...

编程日记 2025/12/30 16:54:03

mysql——基础知识

关键字大小写不敏感 查看表结构中的 desc describe 描述 降序中的 desc descend 1. 数据库的操作 1. 创建数据库 create database 数据库名;为防止创建的数据库重复 CREATE DATABASE IF NOT EXISTS 数据库名;手动设置数据库采用的字符集 character set 字符集名;chars…...

编程日记 2026/1/1 8:10:56

html+js+clickhouse环境搭建

实验背景&#xff1a; 我目前有一台服务器A&#xff0c;和一台主机B&#xff0c;两台设备属于同一局域网&#xff0c;相互之间可以通讯。服务器A中部署着clickhouse&#xff0c;我在主机B中想直接通过javascript代码访问服务器中的clickhouse数据库并获取数据。 ClickHouse 服务…...

编程日记 2025/11/29 0:12:38

JWT算法详解

JWT&#xff08;JSON Web Token&#xff09;的整个算法流程主要基于其签名算法。以最常见的签名算法HS256&#xff08;HMAC SHA256&#xff09;为例&#xff0c;以下是详细的算法流程&#xff0c;涵盖编码、签名和验证过程&#xff1a; 编码 构造头部&#xff08;Header&#x…...

编程日记 2025/12/9 1:00:45