大模型面试题总结
文章目录
- 一、大模型（LLMs）基础面
- 二、大模型（LLMs）进阶面
- 三、大模型（LLMs）微调面
- 四、大模型（LLMs）langchain面
- 1. 基于LLM+向量库的文档对话 基础面
- 2. 基于LLM+向量库的文档对话 优化面
- 3. LangChain的概念面试问题
- 4.LangChain的一些模块提问
- 5.LangChain的业务提问
- 6.LangChain的问题解决
- 五、LoRA、QLoRA、AdaLoRA篇
- 六、Fine tune
- 1）基础概念
- 2）为什么需要 P-tuning v2？
- 3）为什么需要 P-tuning？
- 4）为什么需要 指示微调（Prompt-tuning）？
- 5）为什么需要 前缀微调（Prefix-tuning）？
- 6）适配器微调（Adapter-tuning）
- 七、大模型（LLMs）参数高效微调(PEFT) 面
- 八、大模型（LLMs）推理面
- 九、大模型（LLMs）评测面
- 十、大模型（LLMs）强化学习面
- 十一、大模型（LLMs）训练集面
- 十二、LLMs 位置编码篇
- 十三、简单介绍一下 SentencePiece 思路？
- 十四、Layer Normalization 篇
- 十五、LLMs 激活函数篇
- 十六、一些面试问题提问
- 1）为什么会出现 LLMs 复读机问题？
- 2）llama 输入句子长度理论上可以无限长吗？
- 3）什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？
- 4）如何让大模型处理更长的文本？
- 十七、面试高频点
- 十九、其他面试问题
- 二十、题外音（社招来源）
一、大模型（LLMs）基础面
- 目前 主流的开源模型体系 有哪些？
- prefix LM 和 causal LM 区别是什么？
- 涌现能力是啥原因？
- 大模型LLM的架构介绍？
二、大模型（LLMs）进阶面
- llama 输入句子长度理论上可以无限长吗？
- 什么是 LLMs 复读机问题？
- 为什么会出现 LLMs 复读机问题？
- 如何缓解 LLMs 复读机
相关文章：
大模型面试题总结
文章目录 一、大模型（LLMs）基础面二、大模型（LLMs）进阶面三、大模型（LLMs）微调面四、大模型（LLMs）langchain面1. 基于LLM+向量库的文档对话 基础面2. 基于LLM+向量库的文档对话 优化面3. LangChain的概念面试问题4.LangChain的一些模块提问5.LangChain的业务提问6.Lang…...
Authorization Failed You can close this page and return to the IDE
一.问题描述 注册JetBrains成功，并且通过了学生认证，但在activate pycharm时，却显示Authorization Failed You can close this page and return to the IDE如上图 二.原因： 可能是因为之前使用了破解版pycharm 三.解决方法&am…...
【时间序列篇】基于LSTM的序列分类-Pytorch实现 part2 自有数据集构建
系列文章目录 【时间序列篇】基于LSTM的序列分类-Pytorch实现 part1 案例复现 【时间序列篇】基于LSTM的序列分类-Pytorch实现 part2 自有数据集构建 【时间序列篇】基于LSTM的序列分类-Pytorch实现 part3 化为己用 在一个人体姿态估计的任务中，需要用深度学习模型…...
《设计模式的艺术》笔记 - 策略模式
介绍 策略模式定义一系列算法类，将每一个算法封装起来，并让它们可以相互替换。策略模式让算法独立于使用它的客户而变化，也称为政策模式。策略模式是一种对象行为模式。 实现 myclass.h // // Created by yuwp on 2024/1/12. //#ifndef DES…...
【Elasticsearch篇】详解使用RestClient操作索引库的相关操作
文章目录 🍔什么是Elasticsearch🌺什么是RestClient🎆代码操作⭐初始化RestClient⭐使用RestClient操作索引库⭐使用RestClient删除索引库⭐使用RestClient判断索引库是否存在 🍔什么是Elasticsearch Elasticsearch是一个开源的分…...
ES数据处理方法
由于日志数据存在ES项目里，需要从ES中获取日志进行分析，使用SQL数据进行处理，如下： select traceid-- STRING COMMENT 流程id, ,appnum -- BIGINT COMMENT 迭代号, ,appversion --STRING COMMENT APP版本, ,appc…...
STM32实现软件IIC协议操作OLED显示屏（2）
时间记录：2024/1/27 一、OLED相关介绍 （1）显示分辨率128*64点阵 （2）IIC作为从机的地址0x78 （3）操作步骤：主机先发送IIC起始信号S，然后发送OLED的地址0x78，然…...
【linux】远程桌面连接到Debian
远程桌面连接到Debian系统，可以使用以下几种工具： 1. VNC (Virtual Network Computing) VNC（Virtual Network Computing）是一种流行的远程桌面解决方案，它使用RFB（Remote Framebuffer Protocol࿰…...
python222网站实战(SpringBoot+SpringSecurity+MybatisPlus+thymeleaf+layui)-菜单管理实现
锋哥原创的SpringbootLayui python222网站实战： python222网站实战课程视频教程（SpringBootPython爬虫实战） ( 火爆连载更新中... )_哔哩哔哩_bilibilipython222网站实战课程视频教程（SpringBootPython爬虫实战） ( 火…...
JS之隐式转换与布尔判定
大家思考一下 [ ] [ ] ？ 答案是空字符串 为什么呢？ 当做加法运算的时候，发现左右两端存在非原始类型，也就是引用类型对象，就会对对象做隐式类型转换 如何执行的？或者说怎么查找的？ 第一步&…...
ubuntu20根目录扩容
ubuntu根目录/ 或者 /home文件夹有时出现空间满了的情况，可以用gparted工具进行空间的重新分配。 首先，如果你是双系统，需要从windows系统下磁盘压缩分配一部分未使用的空间给ubuntu，注意压缩的空间要邻接ubuntu所在盘的位置。 …...
（四）DQL数据查询语言
基础语法 SELECT {*,列名,函数} FROM 表名 [WHERE 条件]; 说明： -SELECT检索关键字 *匹配所有列 , 匹配指定列 -FROM 所提供的数据源（表，视图，另一个查询机制反馈的结果） -WHERE 条件（控制查询的区…...
网络安全03---Nginx 解析漏洞复现
目录 一、准备环境 二、实验开始 2.1上传压缩包并解压 2.2进入目录，开始制作镜像 2.3可能会受之前环境影响，删除即可 编辑 2.4制作成功结果 2.5我们的环境一个nginx一个php 2.6访问漏洞 2.7漏洞触发结果 2.8上传代码不存在漏洞 2.9补充&#…...
第十四届蓝桥杯C组题目 三国游戏
4965. 三国游戏 - AcWing题库 小蓝正在玩一款游戏。 游戏中魏蜀吴三个国家各自拥有一定数量的士兵 X,Y,Z（一开始可以认为都为 00）。 游戏有 n 个可能会发生的事件，每个事件之间相互独立且最多只会发生一次，当第 i个事件发生时会分…...
)
【LeetCode-435】无重叠区间(贪心)
题目链接 题目简介 给定一个区间的集合，找到需要移除区间的最小数量，使剩余区间互不重叠。 注意: 可以认为区间的终点总是大于它的起点。 区间 [1,2] 和 [2,3] 的边界相互“接触”，但没有相互重叠。 示例 1: 输入: [ [1,2], [2,3], [3,4…...
写读后感的时候，可以适当地引用书中的内容吗？
写读后感时，适当地引用书中的内容是可以的，这样可以更好地支持你的观点和感受，增强文章的可信度和说服力。 引用书中的内容可以帮助读者更好地理解你所讨论的主题和人物，同时也可以展示你对原著的深入理解和阅读能力。但是&#…...
RockChip DRM Display Driver
资料来源： 《Rockchip_DRM_Display_Driver_Development_Guide_V1.0.pdf》 《Rockchip_Developer_Guide_DRM_Display_Driver_CN.pdf》 一：DRM概述 DRM（Direct Rendering Manager）直接渲染管理，buffer分配，帧缓冲。对应userspace库位libdrm，libdrm库提供了一系列友好的…...
【数据库】GaussDB数据类型和简单DDL概述
GaussDB是一款华为公司开发的关系型数据库管理系统（RDBMS），提供了多种数据类型用于存储和处理不同类型的数据。以下是GaussDB常见的数据类型： 1、GaussDB常见的数据类型 1.1、数值型（Numeric Types）&…...
malloc/free和new/delete相关问题：
面试题： 1、两种方式的区别： （1）malloc需要强制类型转换，new不需要 （2）malloc需要计算空间大小，new不需要 例如：创建5个int类型的空间 int*p(int *)malloc(sizeof(i…...
设计一套扑克牌
约束和假设 这是一幅用于类似扑克和二十一点等游戏的通用扑克牌吗？ 我们可以假设这副牌有52张（2-10，杰克，女王，国王，埃斯）和4种花色吗？ 我们可以假设输入是有效的，还是需…...
深入剖析AI大模型：大模型时代的 Prompt 工程全解析
今天聊的内容，我认为是AI开发里面非常重要的内容。它在AI开发里无处不在，当你对 AI 助手说 "用李白的风格写一首关于人工智能的诗"，或者让翻译模型 "将这段合同翻译成商务日语" 时，输入的这句话就是 Prompt。…...
DeepSeek 赋能智慧能源：微电网优化调度的智能革新路径
目录 一、智慧能源微电网优化调度概述1.1 智慧能源微电网概念1.2 优化调度的重要性1.3 目前面临的挑战 二、DeepSeek 技术探秘2.1 DeepSeek 技术原理2.2 DeepSeek 独特优势2.3 DeepSeek 在 AI 领域地位 三、DeepSeek 在微电网优化调度中的应用剖析3.1 数据处理与分析3.2 预测与…...
MySQL 隔离级别：脏读、幻读及不可重复读的原理与示例
一、MySQL 隔离级别 MySQL 提供了四种隔离级别，用于控制事务之间的并发访问以及数据的可见性，不同隔离级别对脏读、幻读、不可重复读这几种并发数据问题有着不同的处理方式，具体如下： 隔离级别脏读不可重复读幻读性能特点及锁机制读未提交（READ UNCOMMITTED）允许出现允许…...
day52 ResNet18 CBAM
在深度学习的旅程中，我们不断探索如何提升模型的性能。今天，我将分享我在 ResNet18 模型中插入 CBAM（Convolutional Block Attention Module）模块，并采用分阶段微调策略的实践过程。通过这个过程，我不仅提升…...
Linux相关概念和易错知识点（42）（TCP的连接管理、可靠性、面临复杂网络的处理）
目录 1.TCP的连接管理机制（1）三次握手①握手过程②对握手过程的理解 （2）四次挥手（3）握手和挥手的触发（4）状态切换①挥手过程中状态的切换②握手过程中状态的切换 2.TCP的可靠性&…...
Java入门学习详细版（一）
大家好，Java 学习是一个系统学习的过程，核心原则就是“理论 实践 坚持”，并且需循序渐进，不可过于着急，本篇文章推出的这份详细入门学习资料将带大家从零基础开始，逐步掌握 Java 的核心概念和编程技能。 …...
06 Deep learning神经网络编程基础 激活函数 --吴恩达
深度学习激活函数详解 一、核心作用 引入非线性：使神经网络可学习复杂模式控制输出范围：如Sigmoid将输出限制在(0,1)梯度传递：影响反向传播的稳定性二、常见类型及数学表达 Sigmoid σ ( x ) = 1 1 +...
服务器--宝塔命令
一、宝塔面板安装命令 ⚠️ 必须使用 root 用户 或 sudo 权限执行！ sudo su - 1. CentOS 系统： yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh2. Ubuntu / Debian 系统…...
【7色560页】职场可视化逻辑图高级数据分析PPT模版
7种色调职场工作汇报PPT，橙蓝、黑红、红蓝、蓝橙灰、浅蓝、浅绿、深蓝七种色调模版 【7色560页】职场可视化逻辑图高级数据分析PPT模版：职场可视化逻辑图分析PPT模版https://pan.quark.cn/s/78aeabbd92d1...
宇树科技，改名了！
提到国内具身智能和机器人领域的代表企业，那宇树科技（Unitree）必须名列其榜。 最近，宇树科技的一项新变动消息在业界引发了不少关注和讨论，即： 宇树向其合作伙伴发布了一封公司名称变更函称，因…...