当前位置： 首页 > news >正文

【NLP高频面题 - LLM架构篇】大模型使用SwiGLU相对于ReLU有什么好处？

news 2026/3/31 0:51:16

【NLP高频面题 - LLM架构篇】大模型使用SwiGLU相对于ReLU有什么好处？

重要性：★★★ 💯

NLP Github 项目：

  • NLP 项目实践：fasterai/nlp-project-practice

    介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验

  • AI 藏经阁：https://gitee.com/fasterai/ai-e-book

    介绍：该仓库主要分享了数百本 AI 领域电子书

  • AI 算法面经：fasterai/nlp-interview-handbook#面经

    介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器

  • NLP 剑指Offer：https://gitee.com/fasterai/nlp-interview-handbook

    介绍：该仓库汇总了 NLP 算法工程师高频面题

使用的SwiGLU替换ReLU最重要的原因是SwiGLU可以更好的捕获序列的特征。

① 使用ReLU的FFN的计算公式：

② 使用SwiGLU的FFN的计算公式：

更直观的看下ReLU和SwiGLU的可视化对比：

Swish 激活函数在参数 β 不同取值下的形状：

SwiGLU在计算中引入了门控机制，门控机制可以使用更软性的权重筛选有用的信息，并且梯度更平滑。这么做有以下几个主要好处：

  1. 动态门控机制：SwiGLU继承了GLU的门控特性，通过使用sigmoid函数作为门控器，可以对输入信号进行筛选和选择性放大。这种门控机制允许模型自适应地选择哪些信息是重要的，从而有助于提高模型对数据的表示能力。
  2. 增加非线性和复杂度：SwiGLU通过引入Swish激活函数，为神经网络增添了更多的非线性，使得模型能够捕捉和学习数据中更为复杂的特征和模式。
  3. 提高信息流动的效率：SwiGLU的门控机制使得模型能够更有效地管理和调整信息的流动，减少无关信息的干扰，提高了信息处理的效率。
  4. 避免“dying ReLU”问题：ReLU的一个主要问题是“dying ReLU”，即某些神经元在训练过程中可能永远不会被激活，导致这些神经元对网络的贡献为零。SwiGLU通过其动态门控机制，减少了这种问题的发生。
  5. 提高模型精度：在某些任务中，SwiGLU可以显著提高模型的精度，尤其是在自然语言处理任务中，如GLUE和SuperGLUE，SwiGLU的使用可以带来超过4%的精度提升。

拔高（举一反三）：深刻理解门控机制，并且知晓门控机制在LSTM、IA3中都有应用。

门机制：控制水闸的门就能阻止或者释放水流。类似的，门机制的作用是控制数据的流动。

如上图所示，门的开合程度由 0.0 ~1.0 的实数表示，通过这个数值控制流出的水量，sigmoid 函数用于求门的开合程度（sigmoid 函数的输出范围在 0.0 ~ 1.0）。

① LSTM 中门控机制的应用：

② PEFT的IA3方法中门控机制的应用：

IA3的思想：抑制和放大内部激活，通过可学习的向量对激活值进行抑制或放大。具体来说，会对K、V、FFN三部分的值进行调整，训练过程中同样冻结原始模型的权重，只更新可学习的部分向量部分。训练完成后，与Lora类似，也可以将学习部分的参数与原始权重合并，没有额外推理开销。

NLP 大模型高频面题汇总

NLP基础篇
BERT 模型面
LLMs 微调面

相关文章：

【NLP高频面题 - LLM架构篇】大模型使用SwiGLU相对于ReLU有什么好处？

【NLP高频面题 - LLM架构篇】大模型使用SwiGLU相对于ReLU有什么好处？ 重要性：★★★ 💯 NLP Github 项目： NLP 项目实践：fasterai/nlp-project-practice 介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化…...

编程日记 2024/12/8 6:21:29

2021 年“泰迪杯”数据分析技能赛B 题肥料登记数据分析

2021 年“泰迪杯”数据分析技能赛B 题肥料登记数据分析 完整代码请私聊 博主 # 一、背景 肥料是农业生产中一种重要的生产资料，其生产销售必须遵循《肥料登记管理办法》，依法在农业行政管理部门进行登记。各省、自治区、直辖市人民政府农业行政主管部门主…...

编程日记 2024/12/8 6:19:27

网络原理之 IP 协议

目录 1. IP 协议报文格式 2. 网段划分 3. 地址管理 1) 动态分配 2) NAT 机制 (网络地址转换) 3) IPv6 4. 路由选择 1. IP 协议报文格式 IP 协议是网络层的重点协议。 网络层要做的事情，主要就是两方面： 1) 地址管理 制定一系列的规则&#xff…...

编程日记 2024/12/8 6:18:25

在 Spring Boot 项目中使用 Thymeleaf 时，通常情况下，你需要配置热加载（Hot Reload）来在开发过程中更快速地看到页面的变化。

配置步骤&#xff1a; 1. 添加 DevTools 依赖 在 pom.xml 中添加 spring-boot-devtools 依赖。DevTools 提供了自动重启、LiveReload、模板热加载等功能。 <dependencies><!-- Spring Boot DevTools (用于热加载) --><dependency><groupId>org.spri…...

编程日记 2024/12/8 6:17:24

arm-linux GPIO控制-脚本及shell格式

以下是针对BCM编号27, 28, 29, 30, 31的shell命令 shell方式 导出GPIO引脚 echo 27 > /sys/class/gpio/export echo 28 > /sys/class/gpio/export echo 29 > /sys/class/gpio/export echo 30 > /sys/class/gpio/export echo 31 > /sys/class/gpio/export 设…...

编程日记 2024/12/8 6:16:23

Go 语言基础知识语法

很早听人说过一句话&#xff1a;“每年学习&#xff08;接触&#xff09;一门新的编程语言”&#xff0c;这听起来可能有点不太现实&#xff0c;但是其实很多种语言都是相通的。掌握新的编程语言不仅仅是增加职业工具箱中的工具&#xff0c;更是一种扩展我们思维方式、解决问题…...

编程日记 2024/12/8 6:15:22

贪心算法part05

文章参考来源代码随想录 (programmercarl.com) 56. 合并区间 本题和前几题类似&#xff0c;都是判断上一个元素的右边界与当前元素的左边界大小关系 但是需要注意是&#xff1a;本题需要更新结果数组元素的右边界&#xff0c;因此比较的是数组最后一个元素右边界与当前元素左…...

编程日记 2024/12/8 6:10:17

02、SpringMVC核心（上）

一、RequestMapping注解 @Target({ElementType.TYPE, ElementType.METHOD}) @Retention(RetentionPolicy.RUNTIME) @Documented @Mapping @Reflective({ControllerMappingReflectiveProcessor.class}) public @interface RequestMapping {String name() default "";…...

编程日记 2024/12/8 6:09:16

EasyPlayerPro的同一个组件实例根据url不同展示视频流

效果 学习 url的组成 webrtc://192.168.1.225:8101/index/api/webrtc?applive&stream001&typeplay 协议部分 webrtc://: 这表示使用 WebRTC 协议来进行实时通信。WebRTC 允许浏览器之间直接交换音频、视频和其他数据&#xff0c;而不需要通过中间服务器 主机和端口部分…...

编程日记 2024/12/8 6:08:14

哈希表介绍、实现与封装

哈希表介绍、实现与封装 一、哈希概念二、哈希表实现直接定址法其他映射方法介绍1. 哈希冲突2. 负载因子3. 将关键字转为整数4. 设计哈希函数除法散列法 / 除留余数法乘法散列法全域散列法其他方法 将关键字转为整数处理哈希冲突开放定址法线性探测二次探测双重散列 开放定址法…...

编程日记 2024/12/8 6:06:12

使用vm配置网络

查看本地ip 配置vm网络 配置固定ip vi /etc/sysconfig/network-script/ifcfg-ens33参考 vm使用nat模式&#xff0c;导致vm中docker部署的服务&#xff0c;无法通过局域网中其他机器连接 https://www.cnblogs.com/junwind/p/14345385.html 三张图看懂vm中&#xff0c;三种网…...

编程日记 2024/12/8 6:05:09

OpenStack介绍

OpenStack概述 OpenStack是一个开源的云计算管理平台软件，主要用于构建和管理云计算环境。它允许企业或组织通过数据中心的物理服务器创建和管理虚拟机、存储资源和网络等云计算服务。其核心组件包括计算（Nova）、网络（Neutron）、存储（Cinder、Swift）等。这些组件相互协作…...

编程日记 2024/12/8 6:04:07

力扣93题：复原 IP 地址

力扣93题&#xff1a;复原 IP 地址&#xff08;C语言实现详解&#xff09; 题目描述 给定一个只包含数字的字符串 s&#xff0c;复原它并返回所有可能的 IP 地址格式。 有效的 IP 地址需满足以下条件&#xff1a; IP 地址由四个整数&#xff08;每个整数位于 0 到 255 之间…...

编程日记 2024/12/8 6:03:06

mock.js介绍

mock.js http://mockjs.com/ 1、mock的介绍 *** 生成随机数据&#xff0c;拦截 Ajax 请求。** 通过随机数据&#xff0c;模拟各种场景&#xff1b;不需要修改既有代码&#xff0c;就可以拦截 Ajax 请求&#xff0c;返回模拟的响应数据&#xff1b;支持生成随机的文本、数字…...

编程日记 2024/12/8 6:02:05

React开发 - 技术细节汇总一

React简介 React 是一个声明式&#xff0c;高效且灵活的用于构建用户界面的 JavaScript 库。使用 React 可以将一些简短、独立的代码片段组合成复杂的 UI 界面&#xff0c;这些代码片段被称作“组件”。 ui render (data) -> 单向数据流 MVC // model var myapp {}; // …...

编程日记 2024/12/8 6:00:59

【论文复现】分割万物-SAM

&#x1f4dd;个人主页&#x1f339;&#xff1a;Eternity._ &#x1f339;&#x1f339;期待您的关注 &#x1f339;&#x1f339; ❀ 分割万物-SAM 介绍原理分割任务任务预训练zero-shot transfer相关任务 模型Image EncoderPrompt EncoderMask Eecoder消除歧义高效Loss 和训…...

编程日记 2024/12/8 5:59:57

实现RAGFlow-0.14.1的输入框多行输入和消息框的多行显示

一、Chat页面输入框的修改 1. macOS配置 我使用MacBook Pro&#xff0c;chip 是 Apple M3 Pro&#xff0c;Memory是18GB&#xff0c;macOS是 Sonoma 14.6.1。 2. 修改chat输入框代码 目前RAGFlow前端的chat功能&#xff0c;输入的内容是单行的&#xff0c;不能主动使用Shift…...

编程日记 2024/12/8 5:58:56

Pointnet++改进71：添加LFE模块|高效长距离注意力网络

简介：1.该教程提供大量的首发改进的方式，降低上手难度，多种结构改进，助力寻找创新点！2.本篇文章对Pointnet++特征提取模块进行改进，加入LFE模块，提升性能。3.专栏持续更新，紧随最新的研究内容。 目录 1.理论介绍 2.修改步骤 2.1 步骤一 2.2 步骤二 2.3 步骤三 1.理…...

编程日记 2024/12/8 5:57:55

C++STL容器vector容器大小相关函数

目录 前言 主要参考 vector::size vector::max_size vector::resize vector::capacity vector::empty vector::reserve vector::shrink_to_fit 共勉 前言 本文将讨论STL容器vector中与迭代器相关的函数&#xff0c;模板参数T为int类型。 主要参考 cpluscplus.com 侯…...

编程日记 2024/12/8 5:56:54

阿里云CPU超载解决记录

现象&#xff1a;阿里云CPU使用率超90%连续5分钟告警&#xff0c;项目日志error.log中存在heap/gc/limit等内存耗尽等信息&#xff0c;阿里云慢查询日志每日有查询时间很长的参数一直不变的慢sql&#xff0c;linux服务器使用top命令并按c可以看到cpu过大是哪个命令行造成的 分…...

编程日记 2024/12/8 5:55:53

解锁3D打印新境界：Blender 3MF插件全面指南 [特殊字符]

解锁3D打印新境界&#xff1a;Blender 3MF插件全面指南 &#x1f680; 【免费下载链接】Blender3mfFormat Blender add-on to import/export 3MF files 项目地址: https://gitcode.com/gh_mirrors/bl/Blender3mfFormat 在当今的3D打印工作流中&#xff0c;选择合适的文件…...

编程新知 2026/3/31 0:34:45

HarmonyOS6 半年磨一剑 - RcCheckbox 组件事件体系与交互逻辑

文章目录前言一、点击处理链1.1 核心点击处理函数1.2 两个点击入口二、三事件分层设计2.1 三个事件的对比2.2 事件使用示例三、labelDisabled 局部禁止机制3.1 设计意图3.2 适用场景四、RcCheckboxGroup 的数量限制拦截4.1 min/max 拦截机制4.2 数量限制示例总结前言 一个看似…...

编程新知 2026/3/31 0:28:44

嵌入式系统内存泄漏防护与实战解决方案

1. 内存泄漏的危害与现状分析在嵌入式系统开发中&#xff0c;内存泄漏堪称"隐形杀手"。我经历过一个真实案例&#xff1a;某通信设备在现网运行三个月后频繁重启&#xff0c;最终定位是某个看似无害的日志处理函数每次调用泄漏512字节内存。这个案例让我深刻认识到&a…...

编程新知 2026/3/31 0:22:42

SMUDebugTool效能优化手册：3大核心场景的性能突破之道

SMUDebugTool效能优化手册&#xff1a;3大核心场景的性能突破之道 【免费下载链接】SMUDebugTool A dedicated tool to help write/read various parameters of Ryzen-based systems, such as manual overclock, SMU, PCI, CPUID, MSR and Power Table. 项目地址: https://gi…...

编程新知 2026/3/30 23:57:27

联邦学习安全指南：5种对抗攻击防御策略实测（PySyft案例详解）

联邦学习安全实战&#xff1a;5类对抗攻击防御策略与PySyft代码实现 联邦学习作为分布式机器学习的前沿技术&#xff0c;在医疗、金融等隐私敏感领域展现出巨大潜力。然而&#xff0c;其去中心化的特性也带来了独特的安全挑战——恶意参与者可能通过精心设计的对抗样本破坏全局…...

编程新知 2026/3/30 23:47:11

实时手机检测-通用效果对比：YOLOv5s/v8n/DAMOYOLO-S三模型同图评测

实时手机检测-通用效果对比&#xff1a;YOLOv5s/v8n/DAMOYOLO-S三模型同图评测 1. 引言&#xff1a;为什么需要更好的手机检测模型&#xff1f; 想象一下&#xff0c;你正在开发一个智能会议室管理系统&#xff0c;需要自动检测参会者是否在会议期间违规使用手机。或者&#…...

编程新知 2026/3/30 23:10:20

Django CORS Headers终极配置指南：Vue、React、Angular前端框架完美集成方案

Django CORS Headers终极配置指南&#xff1a;Vue、React、Angular前端框架完美集成方案 【免费下载链接】django-cors-headers Django app for handling the server headers required for Cross-Origin Resource Sharing (CORS) 项目地址: https://gitcode.com/gh_mirrors/d…...

编程新知 2026/3/30 22:50:03

open-parse快速入门：5分钟掌握智能文档解析的终极方法

open-parse快速入门&#xff1a;5分钟掌握智能文档解析的终极方法 【免费下载链接】open-parse Improved file parsing for LLM’s 项目地址: https://gitcode.com/gh_mirrors/op/open-parse open-parse是一款专为LLM&#xff08;大语言模型&#xff09;优化的智能文档解…...

编程新知 2026/3/30 22:50:03

Scrapy-Redis队列实现原理深度解析：优先级队列、列表与集合操作的终极指南

Scrapy-Redis队列实现原理深度解析&#xff1a;优先级队列、列表与集合操作的终极指南 【免费下载链接】scrapy-redis Redis-based components for Scrapy. 项目地址: https://gitcode.com/gh_mirrors/sc/scrapy-redis Scrapy-Redis 是一个基于 Redis 的 Scrapy 组件库&…...

编程新知 2026/3/30 22:34:01

Microstation v8与Terrasolid插件安装全攻略：从零到精通

1. MicroStation v8安装前的准备工作 在开始安装MicroStation v8之前&#xff0c;我们需要做好充分的准备工作。首先确保你的电脑满足最低系统要求&#xff1a;Windows 7/8/10操作系统&#xff08;32位或64位均可&#xff09;、至少4GB内存、2GB可用磁盘空间。我建议使用独立显…...

编程新知 2026/3/30 22:21:45