transformer面试常考题
1.位置编码有哪些？有什么区别？
nn.embedding和正余弦编码两种用的多。nn.embedding是一种基于学习的嵌入方法，
通过神经网络的训练过程， 会自动学习数据中每个符号的嵌入向量表示。
而正余弦编码是一种手工设计的嵌入方式，是一种固定的编码方式，不依赖于具体的数据和训练模型。
2.transformer的结构
encoder部分主要是为了提取特征，decoder常用于生成式任务。FFN前馈网络进行特征交融。
3.为什么在QK相乘后要归一化
为了防止内积过大，导致梯度爆炸，这样更容易训练，有点类似BN的作用。
4.为什么要使用multi head attention
CNN里面有多个卷积核来提取不同维度的特征信息，那么transformer里也想着把channel分为几份，然后分别做注意力机制，这样即可以降低计算量，也可以学习不同维度的特征。具体操作，把QKV分成几份，然后分别注意力得到特征再concat。
5.后续继续更新
相关文章：
transformer面试常考题
1.位置编码有哪些？有什么区别？ nn.embedding和正余弦编码两种用的多。nn.embedding是一种基于学习的嵌入方法， 通过神经网络的训练过程， 会自动学习数据中每个符号的嵌入向量表示。 而正余弦编码是一种手工设计的嵌入方式&…...
aws的EC2云服务器
亚马逊官网有免费试用1年的服务器 1. 启动生成实例 1.1 创建实例时需要生成 使用的默认的 Amazon Linux 和 一个.pem后缀的秘钥 1.2 网上下一个Mobaxterm ,实例名是公有 IPv4 DNS 地址 ,使用SSH连接,登录名是ec2-user...
hive函数大全
在hive内部有许多函数，如下： 内置运算符 关系运算符 算术运算符 逻辑运算符 复杂类型函数 内置函数内置聚合函数 数学函数 收集函数 类型转换函数 日期函数 条件函数 字符函数 内置聚合函数 内置表生成函数 1.1关系运算符 等值比较: 等值比较:<>…...
k8s概念-StatefulSet
StatefulSet 是用来管理有状态应用的控制器 StatefulSet 用来管理某Pod集合的部署和扩缩， 并为这些 Pod 提供持久存储和持久标识符StatefulSet | KubernetesStatefulSet 运行一组 Pod，并为每个 Pod 保留一个稳定的标识。 这可用于管理需要持久化存储或稳…...
HTMLCollection 和 NodeList 的详解，以及两者在开发情况下差异。
看结果直接看下文的举例子 HTMLCollection HTMLCollection 表示一个包含了元素(元素顺序为文档流中的接口)的集合(通用集合)，还提供了从该集合中选择元素的属性和方法。 HTMLCollection 对象中的属性和方法： item(index) —— 返回 HTMLCollection 中指…...
基于FPGA的超声波测距——UART串口输出
文章目录 前言一、超声波模块介绍1、产品特点2、超声波模块的时序图 二、系统设计1、系统模块框图2、RTL视图 三、源码1、div_clk_us(1us的分频)2、产生驱动超声波的信号3、串口发送模块4、HC_SR04_uart(顶层文件) 四、效果五、总结六、参考资料 前言 环境： 1、Quar…...
Python web实战之 Django 的 MVC 设计模式详解
技术栈：Python、Django、HTML、CSS、JavaScript。 概要 在 Web 开发中，MVC（Model-View-Controller）模式是一种非常常见的设计模式，它可以帮助我们更好地管理代码，提高代码的可维护性。今天就介绍如何使用 …...
Stable Diffusion VAE：改善图像质量的原理、选型与使用指南
VAE Stable Diffusion（稳定扩散）是一种用于生成模型的算法，结合了变分自编码器（Variational Autoencoder，VAE）和扩散生成网络（Diffusion Generative Network）的思想。它通过对变分自…...
maven里面没有plugins dependence问题解决
说明：今天在做Nacos、Dubbo整合的时候，在父模块中做了版本限制，出错后就又把版本控制什么都删掉，回退到最开始的状态，此时父模块下面的服务右侧的 maven里面没有plugins dependence ，然后项目全都报错。 问…...
Wi-Fi 6技术详解
1. 介绍 Wi-Fi 6，也称为802.11ax，是Wi-Fi技术的最新标准。它是对之前标准Wi-Fi 5（802.11ac）的升级和改进，旨在提供更高的速度、更大的容量、更好的性能和更高的可靠性。Wi-Fi 6技术的引入为无线网络带来了革命性的变化…...
【LeetCode】446. 等差数列划分II -- 子序列
题目链接 文章目录 1. 思路讲解1.1 dp表的创建1.2 状态转移方程1.3 使用哈希表找到k1.4 初始化1.5 返回值1.6 该题坑爹的一点 2. 代码编写 1. 思路讲解 我们要知道以某个位置为结尾的子序列的数量，可以通过它的以上一位置的为结尾的子序列的数量得知，也…...
几个似非而是的注释问题
C 语言的注释可以出现在 C 语言代码的任何地方。这句话对不对？这是我当学生时我 老师问的一个问题。我当时回答是不对。好，那我们就看看下面的例子： A ）， int/*...*/i; B ）， char* s"…...
【设计模式|上】创建型模式
every blog every motto: You can do more than you think. https://blog.csdn.net/weixin_39190382?typeblog 0. 前言 设计模式（上）： 简单工厂模式工厂模式抽象工厂模式建造者模式单例模式 1. 正文 1.1 创建型(Creational Patterns) …...
【JS】类 class
【JS】类 class 定义类类的方法类继承静态方法 类（class）是用于创建对象的模板。 我们使用 class 关键字来创建一个类，类体在一对大括号 {} 中，我们可以在大括号 {} 中定义类成员的位置，如方法或构造函数。 每个类中…...
Ubuntu安装harbor（http模式）并随便上传一个
Ubuntu安装harbor（http模式） docker和harbor的介绍就免了，都不知道啥东西，还安装搞毛 先安装docker环境 不要问，软件源之类的配置，挨个梭就行 sudo apt update sudo apt install apt-transport-https ca…...
《向量数据库指南》——腾讯云向量数据库Tencent Cloud Vector DB正式上线公测！提供10亿级向量检索能力
8月1日，腾讯云向量数据库（Tencent Cloud Vector DB）已正式上线公测。在腾讯云官网上搜索“向量数据库”，就可以正式体验该产品。 腾讯云向量数据库不仅能为大模型提供外部知识库，提高大模型回答的准确性，还可广泛应用于推荐系统、文本图像检索、自然语言处理等 AI 领域。…...
1分钟解决github push/pull报错443
1.打开https://www.ipaddress.com/ 2.复制如图IP地址 3.文件夹打开C:\Windows\System32\drivers\etc，复制hosts文件，粘贴到桌面 4.在桌面用记事本打开复制过来的hosts 5.在末尾加上一行，IP写刚才复制的 6.复制桌面的hosts,粘贴回C:\Window…...
vue3学习-ref引用
模板引用 使用特殊的 refattribute 允许再特定的Dom或组件被挂在后，获取他的直接引用。 import { ref } form vue const input ref(null) <input ref"input"/>注意：只可以在组件挂载后才能访问模板引用 #如果你需要侦听一个模板引用 r…...
Docker 容器转为镜像
# 容器转成镜像并指定镜像名称与版本号 # commit 时原有容器挂载的目录是不会被写入到新的镜像中去的，数据卷相关的都不会生效 # 但是 root 目录下新建的内容会写入到新的镜像中去 $ docker commit 容器ID 新镜像名称:版本号 $ docker commit -m"描述信息"…...
阿里云服务器免费试用及搭建WordPress网站
文章目录 前言一、免费试用1、选择使用产品2、进行产品配置3、远程连接阿里云服务器①、重置实例密码②、SecureCRT 远程链接③、Workbench 远程链接二、搭建 WordPress 网站1、开放搭建 WordPress 需要的端口2、搭建 LAMP 环境①、Linux 系统升级和更新源②、安装 Apache2③、…...
谷歌收录怎么做比较快？提升网页打开速度至2秒内的优化方案
谷歌爬虫（Googlebot）在网站停留的时间存在硬性额度。网页文件若达到 6MB，传输会耗尽爬虫配额。调整网页体积到 1MB 以内，同等时间内抓取数量能提升 4倍。每日抓取页面从 1000 个爬升到 4000 个，新内容进入索引库的时间…...
知识竞赛实时排名：平分怎么处理？
知识竞赛实时排名算法：平分怎么处理？公平 精准 高效 让每一分都经得起推敲🎯 一、平分问题的核心挑战在知识竞赛中，当多位选手或队伍总分相同时，如何公平、高效地确定实时排名，是组织者面临的关键技术难…...
这份榜单够用！盘点2026年断层领先的的AI论文写作软件
一天写完毕业论文在2026年已不再是天方夜谭。以下是2026年最炸裂、实测能大幅提速的AI论文写作软件，覆盖选题构思、文献综述、数据整理、格式排版等核心场景，帮你高效搞定论文。 一、全流程王者：一站式搞定论文全链路（一天定稿首选…...
2026 年 Haskell 基金会大变革：执行董事卸任、组织重组、董事会人员调整！
执行董事卸任过去几年担任执行董事的 Jos 决定在 2026 年 6 月卸任。Jos 是 Haskell 基金会任职时间最长的执行董事，他花费大量时间与社区互动并提供支持，很多工作都是在幕后默默完成的。Jos 做出了个人牺牲，让 Haskell 基金会度过了艰难时期…...
AzurLaneAutoScript深度解析：如何构建智能化的碧蓝航线自动化解决方案
AzurLaneAutoScript深度解析：如何构建智能化的碧蓝航线自动化解决方案 【免费下载链接】AzurLaneAutoScript Azur Lane bot (CN/EN/JP/TW) 碧蓝航线脚本 | 无缝委托科研，全自动大世界 项目地址: https://gitcode.com/gh_mirrors/az/AzurLaneAutoScript…...
FLUX.1-dev-Controlnet-Union：一站式多模态图像控制解决方案，让AI生成更精准可控
FLUX.1-dev-Controlnet-Union：一站式多模态图像控制解决方案，让AI生成更精准可控 【免费下载链接】FLUX.1-dev-Controlnet-Union 项目地址: https://ai.gitcode.com/hf_mirrors/InstantX/FLUX.1-dev-Controlnet-Union 你是否曾经在AI图像生成中遇…...
为什么我强烈推荐大学生打CTF！看完你就懂了！
前言 写这个文章是因为我很多粉丝都是学生，经常有人问： 感觉大一第一个学期忙忙碌碌的过去了，啥都会一点，但是自己很难系统的学习到整个知识体系，很迷茫，想知道要如何高效学习。 这篇文章我主要就围绕两点…...
[QA]插件式测试用例生成工具：LLM Test Case Tool 的设计与实现
一句话介绍：QA 在需求分析和测试设计中常用的能力沉淀到浏览器插件里：用户在阅读 PRD 时，可以直接在页面右下角调用 Workee，完成摘要、大纲、疑点、测试点、测试用例、UAT 用例和多页面分析。 1. 背景：为什么还需要这个…...
从一次失败的App上线，看我们如何用PDCA循环在3个月内实现用户留存翻倍
从一次失败的App上线，看我们如何用PDCA循环在3个月内实现用户留存翻倍 去年夏天，我们的团队经历了一次刻骨铭心的产品滑铁卢——一款投入半年研发的社交类App在上线首周就遭遇了用户留存率暴跌至8%的危机。这个数字远低于行业平均25%的水平线，…...
从理论到UI：手把手教你用PyQt5给MTCNN人脸检测算法做个可视化界面
从理论到UI：手把手教你用PyQt5给MTCNN人脸检测算法做个可视化界面 在计算机视觉领域，人脸检测一直是热门研究方向之一。MTCNN（Multi-task Cascaded Convolutional Networks）作为经典的人脸检测算法，凭借其高精度和实时…...