当前位置： 首页 > news >正文

100 个 NLP 面试问题

news 2026/4/3 23:31:14

100 个 NLP 面试问题

一、 说明

   对于技术磨练中，其中一项很酷的技能培训是提问。不知道答案并没有多大的错;错就错在不谷歌这些疑问。本篇就是在面试之前，您将此文档复制给自己，做一个系统的模拟实战。

二、经典NLP问题（共8题）

TF-IDF 和 ML ；

  1. 从头开始编写 TF-IDF。

  2. 什么是TF-IDF中的归一化？

  3. 为什么在我们这个时代需要了解TF-IDF，如何在复杂的模型中使用它？

  4. 解释朴素贝叶斯的工作原理。你可以用它来做什么？

  5. SVM 如何容易出现过拟合？

  6. 解释文本预处理的可能方法（词形还原和词干提取）。您知道哪些算法，在什么情况下会使用它们？

  7. 你知道哪些文本相似度指标？

  8. 解释余弦相似度和余弦距离的区别。以下哪个值可以是负数？你会如何使用它们？

三、计量指标 （7题）

  1. 用简单的语言解释精确度和回忆力，如果没有 F1 分数，你会看什么？

  2. 在什么情况下，你会观察到特异性的变化？

  3. 你什么时候会看宏观指标，什么时候看微观指标？为什么存在加权指标？

  4. 什么是困惑？我们可以用什么来考虑它？

  5. 什么是 BLEU 指标？

  6. 解释不同类型的ROUGE指标之间的区别？

  7. BLUE和ROUGE有什么区别？

四、WORD2VEC（9题）

  1. 解释Word2Vec是如何学习的？什么是损失函数？什么是最大化？

  2. 您知道哪些获取嵌入的方法？什么时候会更好？

  3. 静态嵌入和上下文嵌入有什么区别？

  4. 你知道的两种主要架构是什么，哪一种学得更快？

  5. Glove、ELMO、FastText 和 Word2Vec 有什么区别？

  6. 什么是负抽样，为什么需要负抽样？您还知道 Word2Vec 的哪些其他技巧，以及如何应用它们？

  7. 什么是密集嵌入和稀疏嵌入？请举例说明。

  8. 为什么嵌入的维度很重要？

  9. 在短文本数据上训练Word2Vec时会出现什么问题，如何处理？

五、RNN 和 CNN（7题）

  1. 一个简单的 1 层 RNN 有多少个训练参数？

  2. RNN训练是如何进行的？

  3. RNN存在哪些问题？

  4. 您知道哪些类型的 RNN 网络？解释 GRU 和 LSTM 之间的区别？

  5. 我们可以在这样的网络中调整哪些参数？（堆垛，层数）

  6. 什么是RNN的消失梯度？你如何解决这个问题？

  7. 为什么要在 NLP 中使用卷积神经网络，如何使用它？你怎么能在注意力范式中比较CNN？

六、NLP 和 TRANSFORMERS

注意力和变压器架构 （15题）
32.你如何计算注意力？（补充：它被提议用于什么任务，为什么？

  1. 注意力的复杂性？将其与 RNN 的复杂性进行比较。

  2. 比较 RNN 和注意力。在什么情况下你会使用注意力，什么时候 RNN？

  3. 从头开始写注意力。

  4. 解释注意中的掩饰。

  5. 自注意力矩阵的维度是多少？

  6. BERT和GPT在注意力计算方面有什么区别？

  7. 变压器中嵌入层的尺寸是多少？

  8. 为什么嵌入被称为上下文？它是如何工作的？

  9. 变压器中使用什么，层规范或批量规范，为什么？

  10. 为什么变压器有PreNorm和PostNorm？

  11. 解释软注意力和硬注意力（局部/全局）之间的区别？

  12. 解释多头注意力。

  13. 您还知道哪些其他类型的注意力机制？这些修改的目的是什么？

  14. 随着人头数量的增加，自我注意力如何变得更加复杂？

七、变压器型号类型 （7题）

  1. 为什么 BERT 在很大程度上落后于 RoBERTa ，你能从 RoBERTa 中学到什么？

  2. 什么是 T5 和 BART 型号？它们有何不同？

  3. 什么是与任务无关的模型？请举例说明。

  4. 通过比较 BERT、GPT 和 T5 来解释 transformer 模型。

  5. BERT、GPT等在模型知识方面存在哪些主要问题？如何解决这个问题？

  6. 类似解码器的 GPT 在训练和推理过程中是如何工作的？有何不同？

  7. 解释变压器模型中头部和层之间的区别。

八、位置编码 （6题）

  1. 为什么在变压器模型的嵌入中丢失了有关位置的信息？

  2. 解释位置嵌入的方法及其优缺点。

  3. 为什么我们不能简单地添加一个带有标记索引的嵌入？

  4. 我们为什么不训练位置嵌入？

  5. 什么是相对和绝对位置编码？

  6. 详细解释旋转位置嵌入的工作原理。

九、预训练 （4题）

  1. 因果语言建模是如何工作的？

  2. 我们什么时候使用预训练模型？

  3. 如何从头开始训练变压器？解释一下你的管道，在什么情况下你会这样做？

  4. 除了 BERT 和 GPT 之外，您还知道哪些模型可用于各种预训练任务？

十、分词器 （9题）

  1. 您知道哪些类型的分词器？比较它们。

  2. 你能扩展一个分词器吗？如果是，在什么情况下你会这样做？你什么时候会重新训练一个分词器？添加新代币时需要做什么？

  3. 普通代币与特殊代币有何不同？

  4. 为什么变压器中不使用词形还原？为什么我们需要代币？

  5. 如何训练分词器？用 WordPiece 和 BPE 的例子来解释。

  6. CLS向量占据什么位置？为什么？

  7. BERT 中使用了什么分词器，GPT 中使用了哪个分词器？

  8. 解释现代分词器如何处理词汇表外的单词？

  9. 分词器词汇大小有什么影响？在新培训的情况下，您将如何选择它？

十一、训练 （8题）

  1. 什么是阶级失衡？如何识别它？说出解决此问题的所有方法。

  2. 在推理过程中可以使用 dropout 吗，为什么？

  3. Adam 优化器和 AdamW 有什么区别？

  4. 消耗的资源如何随着梯度积累而变化？

  5. 如何优化训练期间的资源消耗？

  6. 你知道哪些分布式训练方法？

  7. 什么是文本增强？说出您知道的所有方法。

  8. 为什么填充物的使用频率较低？取而代之的是做什么？

  9. 解释热身是如何工作的。

  10. 解释渐变裁剪的概念？

  11. 教师强迫如何工作，请举例说明？

  12. 为什么以及如何使用跳过连接？

  13. 什么是适配器？我们可以在哪里以及如何使用它们？

  14. 解释度量学习的概念。你知道什么方法？

十二、推理 （4题）

  1. softmax中的温度控制什么？你会设置什么值？

  2. 解释生成中的采样类型？top-k、top-p、细胞核采样？

  3. 波束搜索的复杂性是什么，它是如何工作的？

  4. 什么是句子嵌入？您可以通过哪些方式获得它？

十三、LLM （13题）

  1. LoRA是如何工作的？您将如何选择参数？想象一下，我们想要微调一个大型语言模型，将 LORA 与小 R 一起应用，但该模型仍然不适合内存。还能做些什么？

  2. prefix tuning ， p-tuning 和 prompt tuning 和有什么不一样？

  3. 解释缩放定律。

  4. 解释LLM训练的所有阶段。我们可以从哪些阶段弃权，在什么情况下？

  5. RAG是如何工作的？它与小镜头 KNN 有何不同？

  6. 你知道什么量化方法？我们可以微调量化模型吗？

  7. 如何防止 LLM 中的灾难性遗忘？

  8. 讲解KV缓存、分组查询注意力和多查询注意力的工作原理。

  9. 解释 MixTral 背后的技术，它的优缺点是什么？

  10. 你好吗？事情进展如何？

如果你觉得这些信息有帮助，并想以其他方式感谢我。

相关文章：

100 个 NLP 面试问题

100 个 NLP 面试问题 一、 说明 对于技术磨练中，其中一项很酷的技能培训是提问。不知道答案并没有多大的错;错就错在不谷歌这些疑问。本篇就是在面试之前，您将此文档复制给自己，做一个系统的模拟实战。 二、经典NLP问题（共8题&a…...

编程日记 2024/2/5 12:26:40

C# OMRON PLC FINS TCP协议简单测试

FINS(factory interface network service)通信协议是欧姆龙公司开发的用于工业自动化控制网络的指令／响应系统。运用 FINS指令可实现各种网络间的无缝通信，包括用于信息网络的 Etherne(以太网)，用于控制网络的Controller Link和SYSMAC LINK。…...

编程日记 2024/2/5 12:24:38

MQTT在linux下服务端和客户端的应用

MQTT（Message Queuing Telemetry Transport）是一种轻量级、开放标准的消息传输协议，设计用于受限设备和低带宽、不稳定网络的通信。 MQTT的一些关键特点和概念： 发布/订阅模型： MQTT采用发布/订阅（Publ…...

编程日记 2024/2/5 12:22:36

韦达定理用处多

文章目录 前言一、一元二次方程中根和系数之间的关系二、韦达定理的数学推导和作用1. 韦达定理的数学推导2. 韦达定理的作用 三、韦达定理的应用举例1. 解题示例12. 解题示例23. 解题示例34. 解题示例45. 解题示例56. 解题示例67. 解题示例7 总结 前言 韦达定理说明了一元n次方…...

编程日记 2024/2/5 12:21:35

Kotlin-类

构造函数 Java final File file new File("file.txt");Kotlin val file File("file.txt")类 Java public final class User { }Kotlin class User公开类 Java public class User { }Kotlin open class User属性类 Java final class User {pri…...

编程日记 2024/2/5 12:17:31

redis基本数据结构介绍

Redis（Remote Dictionary Server）是一个开源的高性能键值对数据库，它支持多种数据结构，包括字符串、哈希、列表、集合、有序集合等。这些数据结构为开发者提供了丰富的数据操作方式，使得Redis在缓存、消息队列、排行榜…...

编程日记 2024/2/5 12:15:27

云数据库RDS云监控

1. 什么是云数据库RDS？它有哪些特点？ 云数据库RDS是一种在线关系型数据库服务，它具备的特点包括： 安全可靠：提供了容灾、备份、恢复等高可用性功能，确保数据的安全与可靠。弹性伸缩：用户可以根…...

编程日记 2024/2/5 12:14:26

全自动网页生成系统重构版源码

全自动网页生成系统重构版源码分享，所有模板经过精心审核与修改，完美兼容小屏手机大屏手机，以及各种平板端、电脑端和360浏览器、谷歌浏览器、火狐浏览器等等各大浏览器显示。 为用户使用方便考虑，全自动网页制作系统无需繁琐的注…...

编程日记 2024/2/5 12:12:22

Leetcode—33. 搜索旋转排序数组【中等】

2024每日刷题&#xff08;110&#xff09; Leetcode—33. 搜索旋转排序数组 实现代码 class Solution { public:int search(vector<int>& nums, int target) {int n nums.size();int l 0, r n - 1;while(l < r) {int m l (r - l) / 2;if(nums[m] target) …...

编程日记 2024/2/5 12:10:21

vulhub中Apache APISIX Dashboard API权限绕过导致RCE（CVE-2021-45232）

Apache APISIX是一个动态、实时、高性能API网关&#xff0c;而Apache APISIX Dashboard是一个配套的前端面板。 Apache APISIX Dashboard 2.10.1版本前存在两个API/apisix/admin/migrate/export和/apisix/admin/migrate/import&#xff0c;他们没有经过droplet框架的权限验证&…...

编程日记 2024/2/5 12:09:20

JavaSE习题 使用函数求最大值、求最大值方法的重载和求和方法的重载

目录 1 使用函数求最大值2 求最大值方法的重载3 求和方法的重载 1 使用函数求最大值 使用函数求最大值&#xff1a;创建方法求两个数的最大值max2&#xff0c;随后再写一个求3个数的最大值的函数max3。 ​要求&#xff1a; 在max3这个函数中&#xff0c;调用max2函数&#xff…...

编程日记 2024/2/5 12:06:16

英码科技携手昇腾共建算力底座：推出EA500I超强AI处理能力边缘计算盒子！

在数字经济浪潮中&#xff0c;算力已成为不可或缺的驱动力&#xff0c;为各行各业的数字化转型提供了强大的推动力。面对多元化和供需不平衡的挑战&#xff0c;需要实现从理论架构到软硬件实现的质的飞跃&#xff0c;以满足持续增长的算力需求&#xff0c;华为昇腾在这一方面展…...

编程日记 2024/2/5 12:04:14

蓝桥杯每日一题-----数位dp练习

题目 链接 参考代码 写了两个&#xff0c;一个是很久以前写的&#xff0c;一个是最近刚写的&#xff0c;很久以前写的时候还不会数位dp所以写了比较详细的注释&#xff0c;这两个代码主要是设置了不同的记忆数组&#xff0c;通过这两个代码可以理解记忆数组设置的灵活性。 im…...

编程日记 2024/2/5 12:02:11

JS(react)图片压缩+图片上传

上传dome var fileNodeTakeStock: any createRef();<inputref{fileNodeTakeStock}onChange{showPictureTakeStock}style{{ display: "none" }}id"fileInpBtn"type"file"accept"image/*" //限制上传格式multiple{false}capture&qu…...

编程日记 2024/2/5 12:00:08

WPF DispatcherTimer用法

System.Windows.Threading.DispatcherTimer 类主要用于WPF应用程序中进行周期性任务调度&#xff0c;并且保证这些任务在UI线程上执行。 这对于需要更新界面或与UI元素交互的定时操作非常有用&#xff0c;因为WPF的所有UI操作都必须在主线程&#xff08;即Dispatcher线程&…...

编程日记 2024/2/5 11:58:07

【网络安全实验】snort实现高级IDS

注&#xff1a;本实验分别使用kali和CentOS6.8进行测试&#xff0c;可惜的是使用kali进行实验过程中遇到了困难&#xff0c;未能完成完整实验&#xff0c;而使用CentOS6.8成功完成了完整实验。 实验中用到的软件&#xff1a; https://download.csdn.net/download/weixin_5255…...

编程日记 2024/2/5 11:56:05

19.HarmonyOS App(JAVA)依赖布局DependentLayout使用方法

layout/ability_main.xml 显示位置不对&#xff1a;检查布局文件ohos:lef_of "id:tuzi",比如显示在兔子的左侧&#xff0c;这里就会显示不对。 需要id前没有$符号。改为&#xff1a; ohos:lef_of "$id:tuzi" <?xml version"1.0" encodi…...

编程日记 2024/2/5 11:54:01

玩家笔记：幻兽帕鲁搭建服务器开服教程

玩转幻兽帕鲁服务器&#xff0c;阿里云推出新手0基础一键部署幻兽帕鲁服务器教程&#xff0c;傻瓜式一键部署&#xff0c;3分钟即可成功创建一台Palworld专属服务器&#xff0c;成本仅需26元&#xff0c;阿里云服务器网aliyunfuwuqi.com分享2024年新版基于阿里云搭建幻兽帕鲁服…...

编程日记 2024/2/5 11:53:00

Liunx基本指令

目录 1、ls 列出当前路径下的文件 2、pwd 打印当前工作目录 (print working directory) 3、cd 进入路径 4、mkdir 创建文件夹(make dirctory) 5、touch 创建文件 6、cp 复制(copy) 7、mv 移动/剪切、重命名 8、rm 删除 (remover) 9、vim 文本编辑器 10、cat 打开文件…...

编程日记 2024/2/5 11:51:59

面试题：Redis 分布式锁存在什么问题 ？如何解决 ？

文章目录 如何实现分布式锁2. Redis 分布式锁存在什么问题2.1 解决死锁问题2.2 解决锁误删问题 如何实现分布式锁 Redis 天生就可以作为一个分布式系统来使用&#xff0c;所以它实现的锁都是分布式锁。 Redis 可以通过 setnx&#xff08;set if not exists&#xff09;命令实…...

编程日记 2024/2/5 11:50:58

通过 C# 将 RTF 格式转换为 Word 文档

在 .NET 项目中处理文档格式转换时&#xff0c;RTF 转 Word 是一个常见的需求。RTF&#xff08;Rich Text Format&#xff09;作为一种跨平台的文档格式&#xff0c;常被用作中间载体&#xff0c;而最终交付时往往需要转换为更通用的 Word 格式&#xff08;.doc 或 .docx&#…...

编程新知 2026/4/3 22:14:13

判断当前页面是否以「添加到主屏幕」应用形态启动 （快捷方式\APP、套壳包等启动）

这里写自定义目录标题判断当前页面是否以「添加到主屏幕」应用形态启动判断当前页面是否以「添加到主屏幕」应用形态启动 /*** 判断当前页面是否以「添加到主屏幕」应用形态启动* - iOS Safari: navigator.standalone* - 标准 PWA: display-mode 为 standalone/fullscreen/min…...

编程新知 2026/4/3 22:12:11

计算机春考-系统管理与服务器配置-01安装Windows Server 2012 R2操作系统

活动1 创建虚拟机1. 单击VMware 主界面中的【创建新的虚拟机】2. 进入【新建虚拟机向导】界面&#xff0c;选中【典型&#xff08;推荐&#xff09;】按钮设置配置类型&#xff0c;点击【下一步】3. 在安装客户机操作系统界面选择【稍后安装操作系统】&#xff0c;单击【下一步…...

编程新知 2026/4/3 21:43:59

“男子靠AI开一人公司年营收达150万”冲上热搜；Claude Code开发团队回应源码泄露：纯属人为失误；树莓派因LPDDR4内存涨价7倍 | 极客头条

「极客头条」—— 技术人员的新闻圈&#xff01;CSDN 的读者朋友们好&#xff0c;「极客头条」来啦&#xff0c;快来看今天都有哪些值得我们技术人关注的重要新闻吧。&#xff08;投稿或寻求报道&#xff1a;zhanghycsdn.net&#xff09;整理 | 郑丽媛出品 | CSDN&#xff08;I…...

编程新知 2026/4/3 19:26:50

kprobe函数入口时的汇编跳板执行流程与栈帧机制

kprobe函数入口汇编跳板执行流程与栈帧机制 文章目录kprobe函数入口汇编跳板执行流程与栈帧机制前言环境准备ftrace跳板创建跳板执行流程与栈帧逐行拆解初始状态与安全校验双层栈帧构建&#xff08;CONFIG_FRAME_POINTER&#xff09;通用寄存器保存与C函数参数准备剩余寄存器保…...

编程新知 2026/4/3 19:00:27

Java 基础核心知识

文章目录1. 谈谈对AQS的理解2. fail-safe机制与fail-fast机制分别有什么作用3. new String("abc")到底创建了几个对象4. 对序列化和反序列化的理解5. 谈谈对Java中SPI的理解6. String、StringBuffer、StringBuilder区别7. Integer 的判断8. 深拷贝和浅拷贝9. 强引用、…...

编程新知 2026/4/3 18:54:26

119. 使用 Fluentd concat 过滤器插件在牧场日志中串接多行日志

Situation 地理位置Logs of multiple lines are separated across multiple log events within Pod logs and there is a need to combine them into a single event before forwarding them to a logging solution. 多行日志在 Pod 日志中被分隔在多个日志事件中&#xff0c;…...

编程新知 2026/4/3 18:44:21

BROADCHIP广芯 BCT0104EGD-TR QFN 转换器/电平移位器

特性 无需方向控制信号数据速率 24Mbps(推) 2Mbps(开漏) A端口1.65V至5.5V&#xff0c;B端口2.3V至5.5V(VCCA < VCCB) VCC隔离:若任一VCC接地&#xff0c;则两个端口均处于高阻抗状态 无需电源供应顺序&#xff0c;VCCA或VCCB可先斜坡上升 lOFF:支持部分断电模式操作 提供QF…...

编程新知 2026/4/3 18:36:19

Keil魔术棒设置详解：为什么你的printf在STM32上不工作？

Keil魔术棒设置详解&#xff1a;为什么你的printf在STM32上不工作&#xff1f; 调试STM32项目时&#xff0c;printf输出功能突然失效是许多开发者遇到的经典问题。明明代码逻辑正确&#xff0c;串口硬件也正常&#xff0c;为什么控制台就是一片寂静&#xff1f;这通常与Keil开…...

编程新知 2026/4/3 18:07:33

数据仓库建模：事实表类型详解与选型实战指南

数据仓库建模&#xff1a;事实表类型详解与选型实战指南一、引言二、定义&#xff1a;什么是数据仓库事实表&#xff1f;三、数据仓库中三大核心事实表类型3.1 类型1&#xff1a;事务事实表&#xff08;Transaction Fact Table&#xff09;3.2 类型2&#xff1a;周期快照事实表…...

编程新知 2026/4/3 17:37:16