当前位置：首页 > news >正文

【NLP高频面题 - Transformer篇】Transformer的位置编码是如何计算的？

news 2026/1/25 16:36:00

【NLP高频面题 - Transformer篇】Transformer的位置编码是如何计算的？

重要性：★★★

NLP Github 项目：

NLP 项目实践：fasterai/nlp-project-practice

介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验
AI 藏经阁：https://gitee.com/fasterai/ai-e-book

介绍：该仓库主要分享了数百本 AI 领域电子书
AI 算法面经：fasterai/nlp-interview-handbook#面经

介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器
NLP 剑指Offer：https://gitee.com/fasterai/nlp-interview-handbook

介绍：该仓库汇总了 NLP 算法工程师高频面题

Transformer 位置编码矩阵究竟是如何计算的呢？如下所示，Transformer 论文“Attention Is All You Need”的作者使用了正弦函数来计算位置编码：
在这里插入图片描述

$p os$ 表示该词在句子中的位置
$i$ 表示在输入矩阵中的位置
$d_{model}$ 表示嵌入维度

计算实例：对于给定的句子 I am good 为例，嵌入维度为4，计算位置编码。

根据公式计算位置编码矩阵：
计算位置编码矩阵（简化版）：
继续计算位置编码矩阵：
最终的位置编码矩阵 $P$ 如图所示:

NLP 大模型高频面题汇总

NLP基础面

BERT 模型面

LLMs 微调面

【NLP高频面题 - Transformer篇】Transformer的位置编码是如何计算的？

【NLP高频面题 - Transformer篇】Transformer的位置编码是如何计算的？ 重要性：★★★ NLP Github 项目： NLP 项目实践：fasterai/nlp-project-practice 介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用…...

编程日记 2024/12/25 17:46:53

基于SSM（Spring + Spring MVC + MyBatis）框架构建一个图书馆仓储管理系统

基于SSM（Spring Spring MVC MyBatis）框架构建一个图书馆仓储管理系统是一个涉及多个功能模块的项目，包括但不限于图书管理、读者管理、借阅管理、归还管理等。 1. 环境准备确保你已经安装了以下工具和环境： Java Developmen…...

编程日记 2024/12/25 17:43:51

web的五个Observer API

IntersectionObserver： 一个元素从不可见到可见，从可见到不可见 ??IntersectionObserver是一种浏览器提供的 JavaScript API，用于监测元素与视窗的交叉状态。它可以告诉开发者一个元素是否进入或离开视窗，以及两者的交叉区域的…...

编程日记 2024/12/25 17:39:46

Java基础：抽象类与接口

1、抽象类和接口的定义： （1）抽象类主要用来抽取子类的通用特性，作为子类的模板，它不能被实例化，只能被用作为子类的超类。 （2）接口是抽象方法的集合，声明了一系列的方法…...

编程日记 2024/12/25 17:35:42

llama.cpp：PC端测试 MobileVLM -- 电脑端部署图生文大模型

llama.cpp：PC端测试 MobileVLM 1.环境需要2.构建项目3.PC测试 1.环境需要以下是经实验验证可行的环境参考，也可尝试其他版本。 （1）PC：Ubuntu 22.04.4 （2）软件环境：如下表所示工…...

编程日记 2024/12/25 17:27:33

Web前端基础知识（一）

前端是构建网页的一部分，负责用户在浏览器中看到和与之交互的内容。网页是在浏览器中呈现内容的文档或页面。通常，网页使用HTML、CSS、JavaScript(JS)组成。 HTML:定义了页面的结构和内容。包括文本、图像、链接等。 CSS：定义页面的样式…...

编程日记 2024/12/25 17:26:31

基于谱聚类的多模态多目标浣熊优化算法（MMOCOA-SC）求解ZDT1-ZDT4，ZDT6和工程应用--盘式制动器优化，MATLAB代码

一、MMOCOA-SC介绍基于谱聚类的多模态多目标浣熊优化算法（Multimodal Multi-Objective Coati Optimization Algorithm Based on Spectral Clustering，MMOCOA-SC）是2024年提出的一种多模态多目标优化算法，该算法的核心在于使用谱…...

编程日记 2024/12/25 17:24:29

国标GB28181摄像机接入EasyGBS如何通过流媒体技术提升安防监控效率？

随着信息技术的飞速发展，视频监控技术已成为维护公共安全和提升管理效率的重要手段。国标GB28181作为安防行业的统一设备接入与流媒体传输标准，为视频监控系统的互联互通提供了坚实的基础。EasyGBS作为一款基于GB28181协议的视频云服务平台，通…...

编程日记 2024/12/25 17:23:28

[Unity] ShaderGraph动态修改Keyword Enum，实现不同效果一键切换

上次更新已然四个月前，零零散散的工作结束，终于有时间写点东西记录一下~ 实际使用中，经常会碰到同一个对象需要切换不同的材质，固然可以通过C#直接替换材质球。或者在ShaderGraph中使用Comparison配合Branch实现切换&#xff…...

编程日记 2024/12/25 17:21:22

Unity开发哪里下载安卓Android-NDK-r21d,外加Android Studio打包实验

NDK下载方法（是r21d,不是r21e, 不是abc, 是d版本呢) google的东西，居然是完全开源的真的不是很多公司能做到，和那种伪搜索引擎是不同的到底什么时候google才会开始造车不过风险很多，最好不要合资，风险更大 Andr…...

编程日记 2024/12/25 17:17:17

FFTW基本概念与安装使用

FFTW基本概念与安装使用 1 基本概念2 编译安装3 使用实例3.1 单线程3.2 多线程本文主要介绍FFTW库的基本概念、编译安装和使用方法。 1 基本概念 FFTW (Fastest Fourier Transform in the West)是C语言的一个子程序库，用于计算一维或多维离散傅里叶变换(Discrete …...

编程日记 2024/12/25 17:16:15

【23种设计模式·全精解析 | 行为型模式篇】11种行为型模式的结构概述、案例实现、优缺点、扩展对比、使用场景、源码解析

Hiヽ(゜▽゜　)－欢迎来到蓝染Aizen的CSDN博客~ 🔥 博客主页： 【✨蓝染の Blog😘】 💖感谢大家点赞👍 收藏⭐ 评论✍ 文章目录行为型模式1、模板方法模式（1）概述（2&…...

编程日记 2024/12/25 17:10:10

教师如何打造专属私密成绩查询系统？

期末的校园，被一种特殊的氛围所笼罩。老师们如同辛勤的工匠，精心打磨着每一个教学环节。复习阶段，他们在知识的宝库中精挑细选，把一学期的重点内容一一梳理，为学生们打造出系统的复习框架。课堂上，他们激情…...

编程日记 2024/12/25 17:09:06

【1224】C选填(字符串\0占大小，类大小函数调用，const定义常量，逗号表达式取尾，abs返回值

1.设有数组定义: char array[]"China"; 则数组array所占的存储空间为__________ 6 注意要加上\0的位置数组中考虑‘\0’，sizeof()判断大小也要考虑‘\0’ 2.初始化数组char[] strArray"kuai-shou"，strArray的长度为（&am…...

编程日记 2024/12/25 17:06:01

本科阶段最后一次竞赛Vlog——2024年智能车大赛智慧医疗组准备全过程——终篇

本科阶段最后一次竞赛Vlog——2024年智能车大赛智慧医疗组准备全过程——终篇至此，本系列的所有备赛分享已经结束首先说说备赛的过程吧，这次比赛，真的是让我学到了太多书本上学不到的东西。一开始，对统筹控制还很模糊&a…...

编程日记 2024/12/25 17:02:57

复合机器人：开启智能制造新时代

在当今科技飞速发展的时代，智能制造已成为制造业转型升级的关键驱动力。而复合机器人作为智能制造领域的一颗璀璨新星，正以其卓越的性能和创新的设计，为各行各业带来前所未有的变革与机遇。复合机器人，顾名思义，是融…...

编程日记 2024/12/25 16:59:43

装饰者模式

代码详解：【设计模式】Java 设计模式之装饰者模式（Decorator）_java 装饰者模式-CSDN博客 // 抽象构件角色 public interface Component {void operation(); }// 具体构件角色 public class ConcreteComponent implements Component {Override…...

编程日记 2024/12/25 16:57:39

【机器学习】当教育遇上机器学习：打破传统，开启因材施教新时代

我的个人主页我的领域：人工智能篇，希望能帮助到大家！！！👍点赞收藏❤ 教育是人类社会发展的基石，然而传统教育模式往往难以满足每个学生的个性化需求。随着机器学习技术的兴起，教…...

编程日记 2024/12/25 16:54:35

【蓝桥杯每日一题】分糖果——DFS

分糖果蓝桥杯每日一题 2024-12-24 分糖果 DFS 题目描述两种糖果分别有 9 个和 16 个，要全部分给 7 个小朋友，每个小朋友得到的糖果总数最少为 2 个最多为 5 个，问有多少种不同的分法。糖果必须全部分完。只要有其中一个小朋友在两种方案中…...

编程日记 2024/12/25 16:51:33

information_schema是什么？

前言在现代数据驱动的应用开发中，理解和管理数据库结构变得尤为重要。几乎所有的SQL数据库管理系统（DBMS）都提供了一个名为 information_schema 的虚拟数据库。它不仅是一个了解数据库内部结构的强大工具，也是一个实现跨平台兼容…...

编程日记 2024/12/25 16:50:32

JavaScript 中的 ES|QL：利用 Apache Arrow 工具

作者：来自 Elastic Jeffrey Rengifo 学习如何将 ES|QL 与 JavaScript 的 Apache Arrow 客户端工具一起使用。想获得 Elastic 认证吗？了解下一期 Elasticsearch Engineer 培训的时间吧！ Elasticsearch 拥有众多新功能，助你为自己…...

编程新知 2026/1/23 7:23:58

JVM垃圾回收机制全解析

Java虚拟机（JVM）中的垃圾收集器（Garbage Collector，简称GC）是用于自动管理内存的机制。它负责识别和清除不再被程序使用的对象，从而释放内存空间，避免内存泄漏和内存溢出等问题。垃圾收集器在Ja…...

编程新知 2026/1/9 14:53:35

Nginx server_name 配置说明

Nginx 是一个高性能的反向代理和负载均衡服务器，其核心配置之一是 server 块中的 server_name 指令。server_name 决定了 Nginx 如何根据客户端请求的 Host 头匹配对应的虚拟主机（Virtual Host）。 1. 简介 Nginx 使用 server_name 指令来确定…...

编程新知 2025/9/6 16:47:17

Neo4j 集群管理：原理、技术与最佳实践深度解析

Neo4j 的集群技术是其企业级高可用性、可扩展性和容错能力的核心。通过深入分析官方文档，本文将系统阐述其集群管理的核心原理、关键技术、实用技巧和行业最佳实践。 Neo4j 的 Causal Clustering 架构提供了一个强大而灵活的基石，用于构建高可用、可扩展且一致的图数据库服务…...

编程新知 2025/12/27 16:43:24

令牌桶滑动窗口-＞限流分布式信号量-＞限并发的原理 lua脚本分析介绍

文章目录前言限流限制并发的实际理解限流令牌桶代码实现结果分析令牌桶lua的模拟实现原理总结： 滑动窗口代码实现结果分析lua脚本原理解析限并发分布式信号量代码实现结果分析lua脚本实现原理双注解去实现限流并发结果分析： 实际业务去理解体会统一注…...

编程新知 2026/1/18 20:51:07

Unit 1 深度强化学习简介

Deep RL Course ——Unit 1 Introduction 从理论和实践层面深入学习深度强化学习。学会使用知名的深度强化学习库，例如 Stable Baselines3、RL Baselines3 Zoo、Sample Factory 和 CleanRL。在独特的环境中训练智能体，比如 SnowballFight、Huggy the Do…...

编程新知 2025/9/18 1:39:03

2025年渗透测试面试题总结-腾讯[实习]科恩实验室-安全工程师（题目+回答）

安全领域各种资源，学习文档，以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具，欢迎关注。目录腾讯[实习]科恩实验室-安全工程师一、网络与协议 1. TCP三次握手 2. SYN扫描原理 3. HTTPS证书机制二…...

编程新知 2026/1/24 20:56:17

GO协程(Goroutine)问题总结

在使用Go语言来编写代码时，遇到的一些问题总结一下 [参考文档]：https://www.topgoer.com/%E5%B9%B6%E5%8F%91%E7%BC%96%E7%A8%8B/goroutine.html 1. main()函数默认的Goroutine 场景再现： 今天在看到这个教程的时候，在自己的电…...

编程新知 2026/1/15 5:02:49