当前位置: 首页 > news >正文

100 个 NLP 面试问题

100 个 NLP 面试问题

一、 说明

   对于技术磨练中,其中一项很酷的技能培训是提问。不知道答案并没有多大的错;错就错在不谷歌这些疑问。本篇就是在面试之前,您将此文档复制给自己,做一个系统的模拟实战。

二、经典NLP问题(共8题)

TF-IDF 和 ML ;

  1. 从头开始编写 TF-IDF。

  2. 什么是TF-IDF中的归一化?

  3. 为什么在我们这个时代需要了解TF-IDF,如何在复杂的模型中使用它?

  4. 解释朴素贝叶斯的工作原理。你可以用它来做什么?

  5. SVM 如何容易出现过拟合?

  6. 解释文本预处理的可能方法(词形还原和词干提取)。您知道哪些算法,在什么情况下会使用它们?

  7. 你知道哪些文本相似度指标?

  8. 解释余弦相似度和余弦距离的区别。以下哪个值可以是负数?你会如何使用它们?

三、计量指标 (7题)

  1. 用简单的语言解释精确度和回忆力,如果没有 F1 分数,你会看什么?

  2. 在什么情况下,你会观察到特异性的变化?

  3. 你什么时候会看宏观指标,什么时候看微观指标?为什么存在加权指标?

  4. 什么是困惑?我们可以用什么来考虑它?

  5. 什么是 BLEU 指标?

  6. 解释不同类型的ROUGE指标之间的区别?

  7. BLUE和ROUGE有什么区别?

四、WORD2VEC(9题)

  1. 解释Word2Vec是如何学习的?什么是损失函数?什么是最大化?

  2. 您知道哪些获取嵌入的方法?什么时候会更好?

  3. 静态嵌入和上下文嵌入有什么区别?

  4. 你知道的两种主要架构是什么,哪一种学得更快?

  5. Glove、ELMO、FastText 和 Word2Vec 有什么区别?

  6. 什么是负抽样,为什么需要负抽样?您还知道 Word2Vec 的哪些其他技巧,以及如何应用它们?

  7. 什么是密集嵌入和稀疏嵌入?请举例说明。

  8. 为什么嵌入的维度很重要?

  9. 在短文本数据上训练Word2Vec时会出现什么问题,如何处理?

五、RNN 和 CNN(7题)

  1. 一个简单的 1 层 RNN 有多少个训练参数?

  2. RNN训练是如何进行的?

  3. RNN存在哪些问题?

  4. 您知道哪些类型的 RNN 网络?解释 GRU 和 LSTM 之间的区别?

  5. 我们可以在这样的网络中调整哪些参数?(堆垛,层数)

  6. 什么是RNN的消失梯度?你如何解决这个问题?

  7. 为什么要在 NLP 中使用卷积神经网络,如何使用它?你怎么能在注意力范式中比较CNN?

六、NLP 和 TRANSFORMERS

注意力和变压器架构 (15题)
32.你如何计算注意力?(补充:它被提议用于什么任务,为什么?

  1. 注意力的复杂性?将其与 RNN 的复杂性进行比较。

  2. 比较 RNN 和注意力。在什么情况下你会使用注意力,什么时候 RNN?

  3. 从头开始写注意力。

  4. 解释注意中的掩饰。

  5. 自注意力矩阵的维度是多少?

  6. BERT和GPT在注意力计算方面有什么区别?

  7. 变压器中嵌入层的尺寸是多少?

  8. 为什么嵌入被称为上下文?它是如何工作的?

  9. 变压器中使用什么,层规范或批量规范,为什么?

  10. 为什么变压器有PreNorm和PostNorm?

  11. 解释软注意力和硬注意力(局部/全局)之间的区别?

  12. 解释多头注意力。

  13. 您还知道哪些其他类型的注意力机制?这些修改的目的是什么?

  14. 随着人头数量的增加,自我注意力如何变得更加复杂?

七、变压器型号类型 (7题)

  1. 为什么 BERT 在很大程度上落后于 RoBERTa ,你能从 RoBERTa 中学到什么?

  2. 什么是 T5 和 BART 型号?它们有何不同?

  3. 什么是与任务无关的模型?请举例说明。

  4. 通过比较 BERT、GPT 和 T5 来解释 transformer 模型。

  5. BERT、GPT等在模型知识方面存在哪些主要问题?如何解决这个问题?

  6. 类似解码器的 GPT 在训练和推理过程中是如何工作的?有何不同?

  7. 解释变压器模型中头部和层之间的区别。

八、位置编码 (6题)

  1. 为什么在变压器模型的嵌入中丢失了有关位置的信息?

  2. 解释位置嵌入的方法及其优缺点。

  3. 为什么我们不能简单地添加一个带有标记索引的嵌入?

  4. 我们为什么不训练位置嵌入?

  5. 什么是相对和绝对位置编码?

  6. 详细解释旋转位置嵌入的工作原理。

九、预训练 (4题)

  1. 因果语言建模是如何工作的?

  2. 我们什么时候使用预训练模型?

  3. 如何从头开始训练变压器?解释一下你的管道,在什么情况下你会这样做?

  4. 除了 BERT 和 GPT 之外,您还知道哪些模型可用于各种预训练任务?

十、分词器 (9题)

  1. 您知道哪些类型的分词器?比较它们。

  2. 你能扩展一个分词器吗?如果是,在什么情况下你会这样做?你什么时候会重新训练一个分词器?添加新代币时需要做什么?

  3. 普通代币与特殊代币有何不同?

  4. 为什么变压器中不使用词形还原?为什么我们需要代币?

  5. 如何训练分词器?用 WordPiece 和 BPE 的例子来解释。

  6. CLS向量占据什么位置?为什么?

  7. BERT 中使用了什么分词器,GPT 中使用了哪个分词器?

  8. 解释现代分词器如何处理词汇表外的单词?

  9. 分词器词汇大小有什么影响?在新培训的情况下,您将如何选择它?

十一、训练 (8题)

  1. 什么是阶级失衡?如何识别它?说出解决此问题的所有方法。

  2. 在推理过程中可以使用 dropout 吗,为什么?

  3. Adam 优化器和 AdamW 有什么区别?

  4. 消耗的资源如何随着梯度积累而变化?

  5. 如何优化训练期间的资源消耗?

  6. 你知道哪些分布式训练方法?

  7. 什么是文本增强?说出您知道的所有方法。

  8. 为什么填充物的使用频率较低?取而代之的是做什么?

  9. 解释热身是如何工作的。

  10. 解释渐变裁剪的概念?

  11. 教师强迫如何工作,请举例说明?

  12. 为什么以及如何使用跳过连接?

  13. 什么是适配器?我们可以在哪里以及如何使用它们?

  14. 解释度量学习的概念。你知道什么方法?

十二、推理 (4题)

  1. softmax中的温度控制什么?你会设置什么值?

  2. 解释生成中的采样类型?top-k、top-p、细胞核采样?

  3. 波束搜索的复杂性是什么,它是如何工作的?

  4. 什么是句子嵌入?您可以通过哪些方式获得它?

十三、LLM (13题)

  1. LoRA是如何工作的?您将如何选择参数?想象一下,我们想要微调一个大型语言模型,将 LORA 与小 R 一起应用,但该模型仍然不适合内存。还能做些什么?

  2. prefix tuning , p-tuning 和 prompt tuning 和有什么不一样?

  3. 解释缩放定律。

  4. 解释LLM训练的所有阶段。我们可以从哪些阶段弃权,在什么情况下?

  5. RAG是如何工作的?它与小镜头 KNN 有何不同?

  6. 你知道什么量化方法?我们可以微调量化模型吗?

  7. 如何防止 LLM 中的灾难性遗忘?

  8. 讲解KV缓存、分组查询注意力和多查询注意力的工作原理。

  9. 解释 MixTral 背后的技术,它的优缺点是什么?

  10. 你好吗?事情进展如何?

如果你觉得这些信息有帮助,并想以其他方式感谢我。

相关文章:

100 个 NLP 面试问题

100 个 NLP 面试问题 一、 说明 对于技术磨练中,其中一项很酷的技能培训是提问。不知道答案并没有多大的错;错就错在不谷歌这些疑问。本篇就是在面试之前,您将此文档复制给自己,做一个系统的模拟实战。 二、经典NLP问题(共8题&a…...

C# OMRON PLC FINS TCP协议简单测试

FINS(factory interface network service)通信协议是欧姆龙公司开发的用于工业自动化控制网络的指令/响应系统。运用 FINS指令可实现各种网络间的无缝通信,包括用于信息网络的 Etherne(以太网),用于控制网络的Controller Link和SYSMAC LINK。…...

MQTT在linux下服务端和客户端的应用

MQTT(Message Queuing Telemetry Transport)是一种轻量级、开放标准的消息传输协议,设计用于受限设备和低带宽、不稳定网络的通信。 MQTT的一些关键特点和概念: 发布/订阅模型: MQTT采用发布/订阅(Publ…...

韦达定理用处多

文章目录 前言一、一元二次方程中根和系数之间的关系二、韦达定理的数学推导和作用1. 韦达定理的数学推导2. 韦达定理的作用 三、韦达定理的应用举例1. 解题示例12. 解题示例23. 解题示例34. 解题示例45. 解题示例56. 解题示例67. 解题示例7 总结 前言 韦达定理说明了一元n次方…...

Kotlin-类

构造函数 Java final File file new File("file.txt");Kotlin val file File("file.txt")类 Java public final class User { }Kotlin class User公开类 Java public class User { }Kotlin open class User属性类 Java final class User {pri…...

redis基本数据结构介绍

Redis(Remote Dictionary Server)是一个开源的高性能键值对数据库,它支持多种数据结构,包括字符串、哈希、列表、集合、有序集合等。这些数据结构为开发者提供了丰富的数据操作方式,使得Redis在缓存、消息队列、排行榜…...

云数据库RDS云监控

1. 什么是云数据库RDS?它有哪些特点? 云数据库RDS是一种在线关系型数据库服务,它具备的特点包括: 安全可靠:提供了容灾、备份、恢复等高可用性功能,确保数据的安全与可靠。弹性伸缩:用户可以根…...

全自动网页生成系统重构版源码

全自动网页生成系统重构版源码分享,所有模板经过精心审核与修改,完美兼容小屏手机大屏手机,以及各种平板端、电脑端和360浏览器、谷歌浏览器、火狐浏览器等等各大浏览器显示。 为用户使用方便考虑,全自动网页制作系统无需繁琐的注…...

Leetcode—33. 搜索旋转排序数组【中等】

2024每日刷题&#xff08;110&#xff09; Leetcode—33. 搜索旋转排序数组 实现代码 class Solution { public:int search(vector<int>& nums, int target) {int n nums.size();int l 0, r n - 1;while(l < r) {int m l (r - l) / 2;if(nums[m] target) …...

vulhub中Apache APISIX Dashboard API权限绕过导致RCE(CVE-2021-45232)

Apache APISIX是一个动态、实时、高性能API网关&#xff0c;而Apache APISIX Dashboard是一个配套的前端面板。 Apache APISIX Dashboard 2.10.1版本前存在两个API/apisix/admin/migrate/export和/apisix/admin/migrate/import&#xff0c;他们没有经过droplet框架的权限验证&…...

JavaSE习题 使用函数求最大值、求最大值方法的重载和求和方法的重载

目录 1 使用函数求最大值2 求最大值方法的重载3 求和方法的重载 1 使用函数求最大值 使用函数求最大值&#xff1a;创建方法求两个数的最大值max2&#xff0c;随后再写一个求3个数的最大值的函数max3。 ​要求&#xff1a; 在max3这个函数中&#xff0c;调用max2函数&#xff…...

英码科技携手昇腾共建算力底座:推出EA500I超强AI处理能力边缘计算盒子!

在数字经济浪潮中&#xff0c;算力已成为不可或缺的驱动力&#xff0c;为各行各业的数字化转型提供了强大的推动力。面对多元化和供需不平衡的挑战&#xff0c;需要实现从理论架构到软硬件实现的质的飞跃&#xff0c;以满足持续增长的算力需求&#xff0c;华为昇腾在这一方面展…...

蓝桥杯每日一题-----数位dp练习

题目 链接 参考代码 写了两个&#xff0c;一个是很久以前写的&#xff0c;一个是最近刚写的&#xff0c;很久以前写的时候还不会数位dp所以写了比较详细的注释&#xff0c;这两个代码主要是设置了不同的记忆数组&#xff0c;通过这两个代码可以理解记忆数组设置的灵活性。 im…...

JS(react)图片压缩+图片上传

上传dome var fileNodeTakeStock: any createRef();<inputref{fileNodeTakeStock}onChange{showPictureTakeStock}style{{ display: "none" }}id"fileInpBtn"type"file"accept"image/*" //限制上传格式multiple{false}capture&qu…...

WPF DispatcherTimer用法

System.Windows.Threading.DispatcherTimer 类主要用于WPF应用程序中进行周期性任务调度&#xff0c;并且保证这些任务在UI线程上执行。 这对于需要更新界面或与UI元素交互的定时操作非常有用&#xff0c;因为WPF的所有UI操作都必须在主线程&#xff08;即Dispatcher线程&…...

【网络安全实验】snort实现高级IDS

注&#xff1a;本实验分别使用kali和CentOS6.8进行测试&#xff0c;可惜的是使用kali进行实验过程中遇到了困难&#xff0c;未能完成完整实验&#xff0c;而使用CentOS6.8成功完成了完整实验。 实验中用到的软件&#xff1a; https://download.csdn.net/download/weixin_5255…...

19.HarmonyOS App(JAVA)依赖布局DependentLayout使用方法

layout/ability_main.xml 显示位置不对&#xff1a;检查布局文件ohos:lef_of "id:tuzi",比如显示在兔子的左侧&#xff0c;这里就会显示不对。 需要id前没有$符号。改为&#xff1a; ohos:lef_of "$id:tuzi" <?xml version"1.0" encodi…...

玩家笔记:幻兽帕鲁搭建服务器开服教程

玩转幻兽帕鲁服务器&#xff0c;阿里云推出新手0基础一键部署幻兽帕鲁服务器教程&#xff0c;傻瓜式一键部署&#xff0c;3分钟即可成功创建一台Palworld专属服务器&#xff0c;成本仅需26元&#xff0c;阿里云服务器网aliyunfuwuqi.com分享2024年新版基于阿里云搭建幻兽帕鲁服…...

Liunx基本指令

目录 1、ls 列出当前路径下的文件 2、pwd 打印当前工作目录 (print working directory) 3、cd 进入路径 4、mkdir 创建文件夹(make dirctory) 5、touch 创建文件 6、cp 复制(copy) 7、mv 移动/剪切、重命名 8、rm 删除 (remover) 9、vim 文本编辑器 10、cat 打开文件…...

面试题:Redis 分布式锁存在什么问题 ?如何解决 ?

文章目录 如何实现分布式锁2. Redis 分布式锁存在什么问题2.1 解决死锁问题2.2 解决锁误删问题 如何实现分布式锁 Redis 天生就可以作为一个分布式系统来使用&#xff0c;所以它实现的锁都是分布式锁。 Redis 可以通过 setnx&#xff08;set if not exists&#xff09;命令实…...

内存分配函数malloc kmalloc vmalloc

内存分配函数malloc kmalloc vmalloc malloc实现步骤: 1)请求大小调整:首先,malloc 需要调整用户请求的大小,以适应内部数据结构(例如,可能需要存储额外的元数据)。通常,这包括对齐调整,确保分配的内存地址满足特定硬件要求(如对齐到8字节或16字节边界)。 2)空闲…...

线程同步:确保多线程程序的安全与高效!

全文目录&#xff1a; 开篇语前序前言第一部分&#xff1a;线程同步的概念与问题1.1 线程同步的概念1.2 线程同步的问题1.3 线程同步的解决方案 第二部分&#xff1a;synchronized关键字的使用2.1 使用 synchronized修饰方法2.2 使用 synchronized修饰代码块 第三部分&#xff…...

大数据零基础学习day1之环境准备和大数据初步理解

学习大数据会使用到多台Linux服务器。 一、环境准备 1、VMware 基于VMware构建Linux虚拟机 是大数据从业者或者IT从业者的必备技能之一也是成本低廉的方案 所以VMware虚拟机方案是必须要学习的。 &#xff08;1&#xff09;设置网关 打开VMware虚拟机&#xff0c;点击编辑…...

全球首个30米分辨率湿地数据集(2000—2022)

数据简介 今天我们分享的数据是全球30米分辨率湿地数据集&#xff0c;包含8种湿地亚类&#xff0c;该数据以0.5X0.5的瓦片存储&#xff0c;我们整理了所有属于中国的瓦片名称与其对应省份&#xff0c;方便大家研究使用。 该数据集作为全球首个30米分辨率、覆盖2000–2022年时间…...

RNN避坑指南:从数学推导到LSTM/GRU工业级部署实战流程

本文较长&#xff0c;建议点赞收藏&#xff0c;以免遗失。更多AI大模型应用开发学习视频及资料&#xff0c;尽在聚客AI学院。 本文全面剖析RNN核心原理&#xff0c;深入讲解梯度消失/爆炸问题&#xff0c;并通过LSTM/GRU结构实现解决方案&#xff0c;提供时间序列预测和文本生成…...

Rapidio门铃消息FIFO溢出机制

关于RapidIO门铃消息FIFO的溢出机制及其与中断抖动的关系&#xff0c;以下是深入解析&#xff1a; 门铃FIFO溢出的本质 在RapidIO系统中&#xff0c;门铃消息FIFO是硬件控制器内部的缓冲区&#xff0c;用于临时存储接收到的门铃消息&#xff08;Doorbell Message&#xff09;。…...

网站指纹识别

网站指纹识别 网站的最基本组成&#xff1a;服务器&#xff08;操作系统&#xff09;、中间件&#xff08;web容器&#xff09;、脚本语言、数据厍 为什么要了解这些&#xff1f;举个例子&#xff1a;发现了一个文件读取漏洞&#xff0c;我们需要读/etc/passwd&#xff0c;如…...

Kafka入门-生产者

生产者 生产者发送流程&#xff1a; 延迟时间为0ms时&#xff0c;也就意味着每当有数据就会直接发送 异步发送API 异步发送和同步发送的不同在于&#xff1a;异步发送不需要等待结果&#xff0c;同步发送必须等待结果才能进行下一步发送。 普通异步发送 首先导入所需的k…...

2025年渗透测试面试题总结-腾讯[实习]科恩实验室-安全工程师(题目+回答)

安全领域各种资源&#xff0c;学习文档&#xff0c;以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具&#xff0c;欢迎关注。 目录 腾讯[实习]科恩实验室-安全工程师 一、网络与协议 1. TCP三次握手 2. SYN扫描原理 3. HTTPS证书机制 二…...

uniapp 开发ios, xcode 提交app store connect 和 testflight内测

uniapp 中配置 配置manifest 文档&#xff1a;manifest.json 应用配置 | uni-app官网 hbuilderx中本地打包 下载IOS最新SDK 开发环境 | uni小程序SDK hbulderx 版本号&#xff1a;4.66 对应的sdk版本 4.66 两者必须一致 本地打包的资源导入到SDK 导入资源 | uni小程序SDK …...