当前位置： 首页 > news >正文

【NLP高频面题 - Transformer篇】Transformer的位置编码是如何计算的？

news 2026/2/10 14:59:06

【NLP高频面题 - Transformer篇】Transformer的位置编码是如何计算的？

重要性：★★★

NLP Github 项目：

  • NLP 项目实践：fasterai/nlp-project-practice

    介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验

  • AI 藏经阁：https://gitee.com/fasterai/ai-e-book

    介绍：该仓库主要分享了数百本 AI 领域电子书

  • AI 算法面经：fasterai/nlp-interview-handbook#面经

    介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器

  • NLP 剑指Offer：https://gitee.com/fasterai/nlp-interview-handbook

    介绍：该仓库汇总了 NLP 算法工程师高频面题

Transformer 位置编码矩阵究竟是如何计算的呢？如下所示，Transformer 论文“Attention Is All You Need”的作者使用了正弦函数来计算位置编码：
在这里插入图片描述

  • p o s pos pos 表示该词在句子中的位置
  • i i i 表示在输入矩阵中的位置
  • d m o d e l d_{model} dmodel​ 表示嵌入维度

计算实例：对于给定的句子 I am good 为例，嵌入维度为4，计算位置编码。

  1. 根据公式计算位置编码矩阵：
    在这里插入图片描述

  2. 计算位置编码矩阵（简化版）：
    在这里插入图片描述

  3. 继续计算位置编码矩阵：
    在这里插入图片描述

  4. 最终的位置编码矩阵 P P P 如图所示:
    在这里插入图片描述

NLP 大模型高频面题汇总

NLP基础面
BERT 模型面
LLMs 微调面

相关文章：

【NLP高频面题 - Transformer篇】Transformer的位置编码是如何计算的？

【NLP高频面题 - Transformer篇】Transformer的位置编码是如何计算的？ 重要性：★★★ NLP Github 项目： NLP 项目实践：fasterai/nlp-project-practice 介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用…...

编程日记 2024/12/25 17:46:53

基于SSM（Spring + Spring MVC + MyBatis）框架构建一个图书馆仓储管理系统

基于SSM（Spring Spring MVC MyBatis）框架构建一个图书馆仓储管理系统是一个涉及多个功能模块的项目，包括但不限于图书管理、读者管理、借阅管理、归还管理等。 1. 环境准备 确保你已经安装了以下工具和环境： Java Developmen…...

编程日记 2024/12/25 17:43:51

web的五个Observer API

IntersectionObserver： 一个元素从不可见到可见，从可见到不可见 ??IntersectionObserver是一种浏览器提供的 JavaScript API，用于监测元素与视窗的交叉状态。它可以告诉开发者一个元素是否进入或离开视窗，以及两者的交叉区域的…...

编程日记 2024/12/25 17:39:46

Java基础：抽象类与接口

1、抽象类和接口的定义： （1）抽象类主要用来抽取子类的通用特性，作为子类的模板，它不能被实例化，只能被用作为子类的超类。 （2）接口是抽象方法的集合，声明了一系列的方法…...

编程日记 2024/12/25 17:35:42

llama.cpp：PC端测试 MobileVLM -- 电脑端部署图生文大模型

llama.cpp：PC端测试 MobileVLM 1.环境需要2.构建项目3.PC测试 1.环境需要 以下是经实验验证可行的环境参考，也可尝试其他版本。 （1）PC：Ubuntu 22.04.4 （2）软件环境：如下表所示 工…...

编程日记 2024/12/25 17:27:33

Web前端基础知识（一）

前端是构建网页的一部分，负责用户在浏览器中看到和与之交互的内容。 网页是在浏览器中呈现内容的文档或页面。 通常，网页使用HTML、CSS、JavaScript(JS)组成。 HTML:定义了页面的结构和内容。包括文本、图像、链接等。 CSS：定义页面的样式…...

编程日记 2024/12/25 17:26:31

基于谱聚类的多模态多目标浣熊优化算法（MMOCOA-SC）求解ZDT1-ZDT4，ZDT6和工程应用--盘式制动器优化，MATLAB代码

一、MMOCOA-SC介绍 基于谱聚类的多模态多目标浣熊优化算法（Multimodal Multi-Objective Coati Optimization Algorithm Based on Spectral Clustering，MMOCOA-SC）是2024年提出的一种多模态多目标优化算法，该算法的核心在于使用谱…...

编程日记 2024/12/25 17:24:29

国标GB28181摄像机接入EasyGBS如何通过流媒体技术提升安防监控效率？

随着信息技术的飞速发展，视频监控技术已成为维护公共安全和提升管理效率的重要手段。国标GB28181作为安防行业的统一设备接入与流媒体传输标准，为视频监控系统的互联互通提供了坚实的基础。EasyGBS作为一款基于GB28181协议的视频云服务平台，通…...

编程日记 2024/12/25 17:23:28

[Unity] ShaderGraph动态修改Keyword Enum，实现不同效果一键切换

上次更新已然四个月前，零零散散的工作结束，终于有时间写点东西记录一下~ 实际使用中，经常会碰到同一个对象需要切换不同的材质，固然可以通过C#直接替换材质球。 或者在ShaderGraph中使用Comparison配合Branch实现切换&#xff…...

编程日记 2024/12/25 17:21:22

Unity开发哪里下载安卓Android-NDK-r21d,外加Android Studio打包实验

NDK下载方法（是r21d,不是r21e, 不是abc, 是d版本呢) google的东西，居然是完全开源的 真的不是很多公司能做到，和那种伪搜索引擎是不同的 到底什么时候google才会开始造车 不过风险很多，最好不要合资，风险更大 Andr…...

编程日记 2024/12/25 17:17:17

FFTW基本概念与安装使用

FFTW基本概念与安装使用 1 基本概念2 编译安装3 使用实例3.1 单线程3.2 多线程 本文主要介绍FFTW库的基本概念、编译安装和使用方法。 1 基本概念 FFTW (Fastest Fourier Transform in the West)是C语言的一个子程序库，用于计算一维或多维离散傅里叶变换(Discrete …...

编程日记 2024/12/25 17:16:15

【23种设计模式·全精解析 | 行为型模式篇】11种行为型模式的结构概述、案例实现、优缺点、扩展对比、使用场景、源码解析

Hiヽ(゜▽゜　)－欢迎来到蓝染Aizen的CSDN博客~ 🔥 博客主页： 【✨蓝染 の Blog😘】 💖感谢大家点赞👍 收藏⭐ 评论✍ 文章目录 行为型模式1、模板方法模式（1）概述（2&…...

编程日记 2024/12/25 17:10:10

教师如何打造专属私密成绩查询系统？

期末的校园，被一种特殊的氛围所笼罩。老师们如同辛勤的工匠，精心打磨着每一个教学环节。复习阶段，他们在知识的宝库中精挑细选，把一学期的重点内容一一梳理，为学生们打造出系统的复习框架。课堂上，他们激情…...

编程日记 2024/12/25 17:09:06

【1224】C选填(字符串\0占大小，类大小函数调用，const定义常量，逗号表达式取尾，abs返回值

1.设有数组定义: char array[]"China"; 则数组array所占的存储空间为__________ 6 注意要加上\0的位置 数组中考虑‘\0’，sizeof()判断大小也要考虑‘\0’ 2.初始化数组char[] strArray"kuai-shou"，strArray的长度为（&am…...

编程日记 2024/12/25 17:06:01

本科阶段最后一次竞赛Vlog——2024年智能车大赛智慧医疗组准备全过程——终篇

本科阶段最后一次竞赛Vlog——2024年智能车大赛智慧医疗组准备全过程——终篇 ​ 至此，本系列的所有备赛分享已经结束 ​ 首先说说备赛的过程吧，这次比赛，真的是让我学到了太多书本上学不到的东西。一开始，对统筹控制还很模糊&a…...

编程日记 2024/12/25 17:02:57

复合机器人：开启智能制造新时代

在当今科技飞速发展的时代，智能制造已成为制造业转型升级的关键驱动力。而复合机器人作为智能制造领域的一颗璀璨新星，正以其卓越的性能和创新的设计，为各行各业带来前所未有的变革与机遇。 复合机器人，顾名思义，是融…...

编程日记 2024/12/25 16:59:43

装饰者模式

代码详解：【设计模式】Java 设计模式之装饰者模式（Decorator）_java 装饰者模式-CSDN博客 // 抽象构件角色 public interface Component {void operation(); }// 具体构件角色 public class ConcreteComponent implements Component {Override…...

编程日记 2024/12/25 16:57:39

【机器学习】当教育遇上机器学习：打破传统，开启因材施教新时代

我的个人主页 我的领域：人工智能篇，希望能帮助到大家！！！👍点赞 收藏❤ 教育是人类社会发展的基石，然而传统教育模式往往难以满足每个学生的个性化需求。随着机器学习技术的兴起，教…...

编程日记 2024/12/25 16:54:35

【蓝桥杯每日一题】分糖果——DFS

分糖果 蓝桥杯每日一题 2024-12-24 分糖果 DFS 题目描述 两种糖果分别有 9 个和 16 个，要全部分给 7 个小朋友，每个小朋友得到的糖果总数最少为 2 个最多为 5 个，问有多少种不同的分法。糖果必须全部分完。 只要有其中一个小朋友在两种方案中…...

编程日记 2024/12/25 16:51:33

information_schema是什么？

前言 在现代数据驱动的应用开发中，理解和管理数据库结构变得尤为重要。几乎所有的SQL数据库管理系统（DBMS）都提供了一个名为 information_schema 的虚拟数据库。它不仅是一个了解数据库内部结构的强大工具，也是一个实现跨平台兼容…...

编程日记 2024/12/25 16:50:32

ES6从入门到精通：前言

ES6简介 ES6（ECMAScript 2015）是JavaScript语言的重大更新，引入了许多新特性，包括语法糖、新数据类型、模块化支持等，显著提升了开发效率和代码可维护性。 核心知识点概览 变量声明 let 和 const 取代 var&#xf…...

编程新知 2025/8/18 16:42:44

Oracle查询表空间大小

1 查询数据库中所有的表空间以及表空间所占空间的大小 SELECTtablespace_name,sum( bytes ) / 1024 / 1024 FROMdba_data_files GROUP BYtablespace_name; 2 Oracle查询表空间大小及每个表所占空间的大小 SELECTtablespace_name,file_id,file_name,round( bytes / ( 1024 …...

编程新知 2025/11/8 0:24:13

FastAPI 教程：从入门到实践

FastAPI 是一个现代、快速（高性能）的 Web 框架，用于构建 API，支持 Python 3.6。它基于标准 Python 类型提示，易于学习且功能强大。以下是一个完整的 FastAPI 入门教程，涵盖从环境搭建到创建并运行一个简单的…...

编程新知 2025/10/16 7:51:26

【SQL学习笔记1】增删改查+多表连接全解析（内附SQL免费在线练习工具）

可以使用Sqliteviz这个网站免费编写sql语句，它能够让用户直接在浏览器内练习SQL的语法，不需要安装任何软件。 链接如下： sqliteviz 注意： 在转写SQL语法时，关键字之间有一个特定的顺序，这个顺序会影响到…...

编程新知 2026/2/5 4:36:53

高危文件识别的常用算法：原理、应用与企业场景

高危文件识别的常用算法：原理、应用与企业场景 高危文件识别旨在检测可能导致安全威胁的文件，如包含恶意代码、敏感数据或欺诈内容的文档，在企业协同办公环境中（如Teams、Google Workspace）尤为重要。结合大模型技术&…...

编程新知 2026/2/8 10:51:42

Neo4j 集群管理：原理、技术与最佳实践深度解析

Neo4j 的集群技术是其企业级高可用性、可扩展性和容错能力的核心。通过深入分析官方文档，本文将系统阐述其集群管理的核心原理、关键技术、实用技巧和行业最佳实践。 Neo4j 的 Causal Clustering 架构提供了一个强大而灵活的基石，用于构建高可用、可扩展且一致的图数据库服务…...

编程新知 2025/12/27 16:43:24

JUC笔记(上)-复习 涉及死锁 volatile synchronized CAS 原子操作

一、上下文切换 即使单核CPU也可以进行多线程执行代码，CPU会给每个线程分配CPU时间片来实现这个机制。时间片非常短，所以CPU会不断地切换线程执行，从而让我们感觉多个线程是同时执行的。时间片一般是十几毫秒(ms)。通过时间片分配算法执行。…...

编程新知 2026/1/31 23:25:09

Redis数据倾斜问题解决

Redis 数据倾斜问题解析与解决方案 什么是 Redis 数据倾斜 Redis 数据倾斜指的是在 Redis 集群中，部分节点存储的数据量或访问量远高于其他节点，导致这些节点负载过高，影响整体性能。 数据倾斜的主要表现 部分节点内存使用率远高于其他节…...

编程新知 2026/1/27 19:28:11

大语言模型（LLM）中的KV缓存压缩与动态稀疏注意力机制设计

随着大语言模型（LLM）参数规模的增长，推理阶段的内存占用和计算复杂度成为核心挑战。传统注意力机制的计算复杂度随序列长度呈二次方增长，而KV缓存的内存消耗可能高达数十GB（例如Llama2-7B处理100K token时需50GB内存&a…...

编程新知 2026/1/28 1:40:03

Python基于历史模拟方法实现投资组合风险管理的VaR与ES模型项目实战

说明：这是一个机器学习实战项目（附带数据代码文档），如需数据代码文档可以直接到文章最后关注获取。 1.项目背景 在金融市场日益复杂和波动加剧的背景下，风险管理成为金融机构和个人投资者关注的核心议题之一。VaR&…...

编程新知 2026/2/9 17:44:07