当前位置： 首页 > article >正文

从零构建大语言模型全栈开发指南：第二部分：模型架构设计与实现-2.1.3前馈网络（FFN）与激活函数（GELU）优化

article 2026/2/22 1:30:37

👉 点击关注不迷路
👉 点击关注不迷路
👉 点击关注不迷路

文章大纲

  • 2.1.3 前馈网络（FFN）与激活函数（GELU）优化
    • 1. 前馈网络（FFN）的架构设计与数学原理
      • 1.1 FFN在Transformer中的核心作用
    • 2. GELU激活函数的数学特性与优化
      • 2.1 GELU的数学形式与近似计算
    • 3. 逐行代码实现与工程优化
      • 3.1 FFN模块的PyTorch实现
      • 3.2 内存优化策略
    • 4. 高级优化技术
      • 4.1 `Gated Linear Unit（GLU）`变体
      • 4.2 稀疏化FFN
    • 5. 实验分析与性能验证
      • 5.1 FFN维度扩展比例研究
      • 5.2 GELU近似误差分析
    • 6. 总结：FFN与GELU的协同优化

2.1.3 前馈网络（FFN）与激活函数（GELU）优化

在这里插入图片描述

1. 前馈网络（FFN）的架构设计与数学原理

  • 前馈网络（Feed - Forward Network，FFN）是人工神经网络中的一种基础架构，在大语言模型等众多深度学习模型里有着关键作用。
    • 前馈网络是一类神经网络，其特点是信息只沿着一个方向流动，即从输入层经过隐藏层，最终到达输出层，不存在反馈连接。
    • 这意味着在网络中，数据的传播是单向的，不会出现循环，每一层的神经元仅接收来自前一层神经元的输入，并将处理结果传递给下一层。

1.1 FFN在Transformer中的核心作用

前馈

相关文章：

从零构建大语言模型全栈开发指南：第二部分：模型架构设计与实现-2.1.3前馈网络（FFN）与激活函数（GELU）优化

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路 文章大纲 2.1.3 前馈网络（FFN）与激活函数（GELU）优化1. 前馈网络（FFN）的架构设计与数学原理1.1 FFN在Transformer中的核心作用2. GELU激活函数的数学特性与优化2.1 GELU的数学形式与近似计算3. 逐行代码实现…...

编程日记 2026/2/15 14:10:11

3个版本的Unity项目的异同

根据搜索结果，以下是关于 SPR 3D Sample Scene(URP)、SPR Universal 3D 和 3D(Built-In Render Pipeline) 的定义及区别分析： 1. 定义与用途 SPR 3D Sample Scene(URP) 是基于 Universal Render Pipeline (URP) 的 3D 示例场景，专为展示 URP …...

编程日记 2025/9/20 23:59:35

组态软件之万维组态介绍（web组态、html组态、vue2/vue3组态、组态软件、组态编辑器）

一、什么是组态软件 组态软件是一种用于创建、配置和管理监控和控制系统的软件工具。组态是指不需要编写计算机程序、通过配置的方式完成工业应用开发的系统。它们通常用于工业自动化领域，用于实时监视和控制工业过程。组态软件提供了丰富的功能和工具，使…...

编程日记 2026/2/21 12:40:52

Linux系统perf命令使用介绍，如何用此命令进行程序热点诊断和性能优化

Linux perf 命令使用指南：程序热点诊断与性能优化 perf 是 Linux 系统上一个强大的性能分析工具，它能够帮助开发者进行程序热点诊断和性能优化。下面详细介绍 perf 的使用方法。 1. perf 简介 perf (Performance Event Counters) 是 Linux 内核提供的…...

编程日记 2025/4/5 0:31:38

《Linux运维实战：Ubuntu 22.04使用pam_faillock实现登录失败处理策略》

总结：整理不易，如果对你有帮助，可否点赞关注一下？ 更多详细内容请参考：Linux运维实战总结 一、背景信息 在ubuntu 22.04中，pam_tally2模块已被弃用，取而代之的是pam_faillock模块。因此&#xf…...

编程日记 2026/2/17 17:57:29

AI Agent开发大全第八课-Stable Diffusion 3的本地安装全步骤

前言 就像我们前面几课所述，本系列是一门体系化的教学，它不像网上很多个别存在的单篇博客走“吃快餐”模式，而是从扎实的基础来带领大家一步步迈向AI开发高手。所以我们的AI课程设置是相当全面的，除了有牢固的基础知识外还有外面互联网上也搜不到的生产级实战。 前面讲过…...

编程日记 2026/2/13 0:48:22

Spring MVC 深度解析：原理、源码剖析与实战

Spring MVC 深度解析：原理、源码剖析与实战 在 Spring 体系中，Spring MVC 作为 Web 层的核心框架，承担着请求处理、参数解析、视图渲染等关键任务。今天，我们将深入剖析 Spring MVC 的执行流程，结合 源码分析&#xf…...

编程日记 2026/2/13 16:52:40

347 前k个高频元素

步骤1：统计元素频率 使用哈希表（unordered_map）统计每个元素的出现次数，时间复杂度为 O(n)。 步骤2：构建最小堆维护Top K 优先队列（最小堆）：用priority_queue维护当前频率最高的k…...

编程日记 2026/2/14 16:20:05

BUUCTF-web刷题篇

1.EASYSQL破解密码 万能公式： 1 and 11 1 and 11 1 or 11 1 or 11 解释：payload SELECT * FROM tables WHERE username1 or 11 and password1 or 11 优先级排序：and 优先级高于 or，所以要计算 and 然后再计算 or username1…...

编程日记 2026/2/15 6:39:18

LeetCode 第31~33题

目录 LeetCode 第31题：下一个排列 LeetCode 第32题：最长有效括号 LeetCode 第33题：搜索旋转排序数组 LeetCode 第31题：下一个排列 题目描述 整数数组的一个排列就是将所有成员以序列或线性顺序排列。例如arr[1,2,3]，以…...

编程日记 2026/2/20 21:45:29

【NLP 44、实践 ⑪ 用Bert模型结构实现自回归语言模型的训练】

目录 数据文件 一、模型定义 1.模型初始化 代码运行流程 2.前向传播，计算损失 ⭐ 代码运行流程 二、加载语料 代码运行流程 三、 随机生成样本 代码运行流程 四、建立模型 五、采样策略选择 代码运行流程 六、模型效果测试 代码运行流程 七、模型训练 代码运行流程 …...

编程日记 2026/2/21 10:17:12

Go 语言规范学习（1）

文章目录 IntroductionNotation示例（Go 语言的 if 语句）： Source code representationCharacters例子：变量名可以是中文 Letters and digits Lexical elementsCommentsTokensSemicolons例子：查看程序所有的token Ident…...

编程日记 2026/2/12 21:20:36

ShapeCrawler：.NET开发者的PPTX操控魔法

引言 在当今的软件开发领域，随着数据可视化和信息展示需求的不断增长，处理 PPTX 文件的场景日益频繁。无论是自动化生成报告、批量制作演示文稿，还是对现有 PPT 进行内容更新与格式调整，开发者都需要高效的工具来完成这些任务。传…...

编程日记 2026/2/14 6:57:58

微信小程序如何接入直播功能

一、小程序直播开通背景 1.政府资质要求 政府的要求，小程序开通直播需要注册主体具备互联网直播的资质，普通企业需要《信息网络传播视听节目许可证》，表演性质的直播需要《网络文化经营许可证》，政府主体需要《社会信用代码》及…...

编程日记 2026/2/15 20:36:54

ArrayList＜E＞案例//定义一个方法，将价格低于3000的手机信息返回

import java.util.ArrayList;public class ArrayListphone {public static void main(String[] args){//定义一个方法，将价格低于3000的手机信息返回Phone p1new Phone("小米",1000);Phone p2new Phone("苹果",8000);Phone p3new Phone("锤…...

编程日记 2026/2/20 14:22:19

基于Spring Boot的停车场管理系统的设计与实现（LW+源码+讲解）

专注于大学生项目实战开发,讲解,毕业答疑辅导，欢迎高校老师/同行前辈交流合作✌。 技术范围：SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容：…...

编程日记 2026/2/21 11:52:34

慧通测控汽车智能座舱测试技术

一、引言 随着科技的飞速发展，汽车正从单纯的交通工具向智能化移动空间转变。智能座舱作为这一转变的核心体现，融合了多种先进技术，为用户带来前所未有的驾驶体验。从简单的信息娱乐系统到高度集成的人机交互、智能驾驶辅助以及车辆状态监测…...

编程日记 2026/2/20 4:43:56

Qt进程间通信：QSharedMemory 使用详解

1. 什么是 QSharedMemory？ QSharedMemory 是 Qt 中用于进程间共享内存的类。它允许多个进程共享一块内存区域，从而避免数据传输时的 IO 操作，提高通信速度。通过共享内存，多个进程可以直接读写这块内存，而无需经过文件…...

编程日记 2026/2/19 0:11:31

kettle插件-rabbitmq插件

场景：kettle本身可以直接链接rabbitmq，但是需要配置rabbitmq开启mqtt协议，本次讲解下自定义开发组件RabbitMQ consumer，无需开启mqtt协议即可使用。 1、docker 安装rabbitmq 1）下载镜像 docker pull rabbitmq 2&…...

编程日记 2026/2/15 14:44:57

为Windows10的WSL Ubuntu启动sshd服务并使用Trae远程连接

Windows10的WSL Ubuntu，使用起来非常方便，但是美中不足的是，无法从Windows主机ssh到Ubuntu 。 解决的方法是在Ubuntu安装sshd服务 Ubuntu安装sshd服务 执行命令 sudo apt install openssh-server 安装好后，先本地测试&#x…...

编程日记 2026/2/21 20:04:17

【C#.NET】VS2022创建Web API项目

C# Web API 是一种基于 .NET 平台（包括但不限于.NET Framework 和 .NET Core）构建 HTTP 服务的框架，用于创建 RESTful Web 服务。REST（Representational State Transfer）是一种软件架构风格，它利用HTTP协议…...

编程日记 2026/2/20 22:38:07

体育直播系统趣猜功能开发技术实现方案

功能概述 趣猜功能是“东莞梦幻网络科技”体育直播系统源码中的互动功能，主播可以发起竞猜题目，观众使用虚拟货币进行投注，增加直播间的互动性和趣味性。所有货币均为虚拟货币，通过系统活动获取，不可充值提现。 数据…...

编程日记 2026/2/17 14:58:51

33.[前端开发-JavaScript基础]Day10-常见事件-鼠标事件-键盘事件-定时器-案例

1 window定时器 window定时器方法 setTimeout的使用 setInterval的使用 2 轮播消息提示 案例实战一 – 轮播消息提示 3 关闭隐藏消息 案例实战二 – 关闭隐藏消息 4 侧边栏展示 案例实战三 – 侧边栏展示 5 tab切换实现 案例实战四 – 登录框（作业）…...

编程日记 2026/2/20 11:19:34

C# 多标签浏览器 谷歌内核Csharp

采用框架 ：FBrowserCEF3lib 视频演示：点我直达 成品下载： https://wwms.lanzouo.com/iYOd42rl8vje...

编程日记 2026/2/20 4:05:23

如何同步fork的更新

当你fork了一个代码仓库后，要将其与原始源码保持同步，可以按照以下步骤进行操作： 1. 添加原始仓库作为远程源 在本地命令行中，进入到你fork后的代码仓库目录，然后使用以下命令添加原始仓库（通常称为upstr…...

编程日记 2026/2/17 5:56:37

如何从0设计开发一款JS-SDK

一、前言 前端SDK是什么？前端SDK是为了帮助前端实现特定需求，而向开发者暴露的一些JS-API的集合，规范的SDK包括若干API实现、说明文档等 前端SDK其实很常见了，比如： UI组件库：通过封装一系列组件&#xff…...

编程日记 2026/2/14 21:24:10

linux实现rsync+sersync实时数据备份

1.概述 rsync(Remote Sync) 是一个Unix/linux系统下的文件同步和传输工具 2.端口和运行模式 tcp/873 采用C/S模式（客户端/服务器模式） 3.特点 可以镜像保存整个目录和文件第一次全量备份(备份全部的文件),之后是增量备份(只备份变化的文件) 4. 数…...

编程日记 2026/2/16 15:22:58

【计算机网络】计算机网络协议、接口与服务全面解析——结合生活化案例与图文详解

协议、接口与服务 导读一、协议1.1 定义1.2 组成 二、接口三、服务3.1 定义3.2 服务与协议的区别3.3 分类3.3.1 面向连接服务于无连接服务3.3.2 可靠服务和不可靠服务3.3.3 有应答服务和无应答服务 结语 导读 大家好，很高兴又和大家见面啦！！…...

编程日记 2026/2/15 21:59:56

51c自动驾驶~合集26

我自己的原文哦~ https://blog.51cto.com/whaosoft/11968755 #大模型/Sora/世界模型之间是什么关系 1 什么是大模型 人工智能大模型（Artificial Intelligence Large Model，简称AI大模型）是指具有庞大的参数规模和复杂程度的机器学习模…...

编程日记 2026/2/21 16:29:08

【汽车传感系统架构：借助传感获取安全】

为了将车辆自动化提升到一个新的水平，设计人员研究了 LiDAR 等传感器选项的权衡，并着眼于传感系统架构。 本文引用地址：https://www.eepw.com.cn/article/202503/468584.htm 每年，约有 120 万人死于道路交通事故，还有…...

编程日记 2026/2/16 12:43:13