当前位置： 首页 > news >正文

长短期记忆网络LSTM

news 2026/3/31 15:20:21

视频链接

1.LSTM与RNN的区别

RNN想把所有信息都记住，不管是有用的信息还是没用的信息，并且有梯度爆炸或者梯度消失的问题
而LSTM设计了一个记忆细胞，具备选择记忆功能，可以选择记忆重要信息，过滤掉噪声信息，减轻记忆负担。

2. 前向传播的过程

2.1对比RNN

在这里插入图片描述

2.2 单元结构

符号解释：
C t − 1 C_{t-1} Ct−1​表示t-1时刻的记忆细胞
h t − 1 h_{t-1} ht−1​表示t-1时刻的隐藏层状态
s i g m o i d sigmoid sigmoid门单元
f t f_t ft​遗忘门
i t i_t it​更新门
o t o_t ot​输出门

在LSTM的每个时间步里面，都有一个记忆cell，这个东西给予了LSTM选择记忆功能，使得LSTM有能力自由选择每个时间步里面记忆的内容

在这里插入图片描述

2.3 结合例子理解LSTM单元结构

场景：期末考试周（高数→线性代数）
输入 X t X_t Xt​：线性代数
输出 h t h_t ht​：高分
遗忘门：遗忘高数积累的记忆 C t − 1 C_{t-1} Ct−1​
更新门：选择性的提取有用的线性代数知识，然后结合高数保留下来的数学运算能力
输出门：把没考的知识丢掉
t a n h tanh tanh：把记忆的知识 C t C_t Ct​转为答题解题的能力

在这里插入图片描述

4. LSTM如何缓解梯度消失

4.1 RNN梯度消失回顾

在这里插入图片描述

4.2LSTM反向传播

假设： t = 3 t=3 t=3，即从左到右的输出分别是 y 1 y_1 y1​、 y 2 y_2 y2​、 y 3 y_3 y3​

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

相关文章：

长短期记忆网络LSTM

视频链接 1.LSTM与RNN的区别 RNN想把所有信息都记住，不管是有用的信息还是没用的信息，并且有梯度爆炸或者梯度消失的问题 而LSTM设计了一个记忆细胞，具备选择记忆功能，可以选择记忆重要信息，过滤掉噪声信息&#xff0…...

编程日记 2025/1/26 14:24:15

2. 握手问题python解法——2024年省赛蓝桥杯真题

原题传送门：1.握手问题 - 蓝桥云课 问题描述 小蓝组织了一场算法交流会议，总共有 50人参加了本次会议。在会议上，大家进行了握手交流。按照惯例他们每个人都要与除自己以外的其他所有人进行一次握手 (且仅有一次)。但有 7 个人，…...

编程日记 2025/1/26 14:22:12

poi在word中打开本地文件

poi版本 5.2.0 方法1：使用XWPFFieldRun（推荐） 比如打开当前相对路径的aaaaa.docx XWPFFieldRun run paragraph.createFieldRun();CTRPr ctrPr run.getCTR().addNewRPr();CTFonts font ctrPr.addNewRFonts();// 设置字体font.setAscii(&quo…...

编程日记 2025/1/26 14:21:11

国产编辑器EverEdit - 输出窗口

1 输出窗口 1.1 应用场景 输出窗口可以显示用户执行某些操作的结果，主要包括： 查找类：查找全部，筛选等待操作，可以把查找结果打印到输出窗口中； 程序类：在执行外部程序时(如：命令窗…...

编程日记 2025/1/26 14:20:09

整数的个数（信息学奥赛一本通-1067）

【题目描述】 给定k(1<k<100)个正整数&#xff0c;其中每个数都是大于等于1&#xff0c;小于等于10的数。写程序计算给定的k个正整数中&#xff0c;1&#xff0c;5和10出现的次数。 【输入】 输入有两行&#xff1a;第一行包含一个正整数k&#xff0c;第二行包含k个正整数…...

编程日记 2025/1/26 14:18:07

ios swift画中画技术尝试

继上篇&#xff1a;iOS swift 后台运行应用尝试失败-CSDN博客 为什么想到画中画&#xff0c;起初是看到后台模式里有一个picture in picture&#xff0c;去了解了后发现这个就是小窗口视频播放&#xff0c;方便用户执行多任务。看小窗口视频的同时&#xff0c;可以作其他的事情…...

编程日记 2025/1/26 14:17:06

MyBatis 写法

MyBatis 高效使用技巧 常见 MyBatis 使用技巧&#xff0c;这些技巧有助于简化数据库操作&#xff0c;提高开发效率&#xff0c;并增强系统的性能。 1. 动态 SQL 动态 SQL 让开发者能够依据参数灵活地构建 SQL 语句&#xff0c;避免了手动拼接字符串带来的复杂性和错误风险。…...

编程日记 2025/1/26 14:12:00

Three城市引擎地图插件Geo-3d

一、简介 基于Three开发&#xff0c;为Three 3D场景提供GIS能力和城市底座渲染能力。支持Web墨卡托、WGS84、GCJ02等坐标系&#xff0c;支持坐标转换&#xff0c;支持影像、地形、geojson建筑、道路&#xff0c;植被等渲染。支持自定义主题。 二、效果 三、代码 //插件初始化…...

编程日记 2025/1/26 14:10:59

【贪心算法】洛谷P1106 - 删数问题

2025 - 01 - 22 - 第 46 篇 【洛谷】贪心算法题单 - 【贪心算法】 - 【学习笔记】 作者(Author): 郑龙浩 / 仟濹(CSND账号名) 目录 文章目录 目录P1106 删数问题题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 提示思路代码 P1106 删数问题 题目描述 键盘输入一个高…...

编程日记 2025/1/26 14:08:57

WPS计算机二级•幻灯片的页面布局

听说这是目录哦 设置PPT页面尺寸&#x1f5bc;️PPT母版怎么用&#x1f3a8;巧用PPT母版统一修改 字体颜色与背景&#x1f3a1;如何快速更改应用 幻灯片中的不同母版&#x1f451;能量站&#x1f61a; 设置PPT页面尺寸&#x1f5bc;️ 在制作PPT时&#xff0c;我们需要先选定一…...

编程日记 2025/1/26 14:07:57

从入门到精通：HttpClient深度剖析与实战指南

一、引言 1.1 背景引入 在当今数字化时代&#xff0c;网络编程已成为软件开发中不可或缺的一部分。而 HTTP 通信作为网络编程的核心&#xff0c;承担着客户端与服务器之间数据传输的重任。无论是 Web 应用、移动应用&#xff0c;还是分布式系统&#xff0c;HTTP 协议都扮演着…...

编程日记 2025/1/26 14:04:54

IoTDB 2025 春节值班与祝福

2025 春节快乐 瑞蛇迎吉庆&#xff0c;祥光映华年&#xff0c;2025 春节已近在眼前。社区祝福 IoTDB 的所有关注者、支持者、使用者 2025 新年快乐&#xff0c;“蛇”来运转&#xff01; IoTDB 团队的春节放假时间为 2025 年 1 月 27 日至 2 月 4 日&#xff0c;1 月 25 日、26…...

编程日记 2025/1/26 13:59:46

Java 大视界 -- Java 大数据中的隐私增强技术全景解析（64）

&#x1f496;亲爱的朋友们&#xff0c;热烈欢迎来到 青云交的博客&#xff01;能与诸位在此相逢&#xff0c;我倍感荣幸。在这飞速更迭的时代&#xff0c;我们都渴望一方心灵净土&#xff0c;而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识&#xff0c;也…...

编程日记 2025/1/26 13:57:43

【2024年华为OD机试】 (A卷,100分)- 整理扑克牌（JavaScriptJava PythonC/C++）

一、问题描述 题目描述 给定一组数字，表示扑克牌的牌面数字，忽略扑克牌的花色，请按如下规则对这一组扑克牌进行整理： 步骤1：分组形成组合牌 炸弹：当牌面数字相同张数大于等于4时。葫芦：3张相同牌面数字 + 2张相同牌面数字，且3张牌与2张牌不相同。三张：3张相同牌面数…...

编程日记 2025/1/26 13:55:40

周末总结(2024/01/25)

工作 人际关系核心实践&#xff1a; 要学会随时回应别人的善意&#xff0c;执行时间控制在5分钟以内 坚持每天早会打招呼 遇到接不住的话题时拉低自己&#xff0c;抬高别人(无阴阳气息) 朋友圈点赞控制在5min以内&#xff0c;职场社交不要放在5min以外 职场的人际关系在面对利…...

编程日记 2025/1/26 13:49:32

Apache Flink 概述学习笔记

一、引言 在大数据处理领域&#xff0c;Apache Flink 是一个极具影响力的开源流批一体化计算框架&#xff0c;它以其独特的架构和强大的功能&#xff0c;为大规模数据处理提供了高效、灵活的解决方案。 二、基本概念 Flink 是什么&#xff1a;Flink 是一个分布式流批处理框架…...

编程日记 2025/1/26 13:48:31

双足机器人开源项目

双足机器人&#xff08;也称为人形机器人或仿人机器人&#xff09;是一个复杂的领域&#xff0c;涉及机械设计、电子工程、控制理论、计算机视觉等多个学科。对于想要探索或开发双足机器人的开发者来说&#xff0c;有许多开源项目可以提供帮助。这些项目通常包括硬件设计文件、…...

编程日记 2025/1/26 13:46:28

Linux 部署 Java 项目：Tomcat、Redis、MySQL 教程

在 Linux 服务器上部署 Java 项目通常需要配置应用服务器&#xff08;如 Tomcat&#xff09;、数据库&#xff08;如 MySQL&#xff09;和缓存服务器&#xff08;如 Redis&#xff09;。本文将详细介绍如何在 Linux 环境中部署一个 Java 项目&#xff0c;涵盖 Tomcat、Redis 和…...

编程日记 2025/1/26 13:44:26

Django 多环境配置实战指南

在现代 Web 开发中，一个项目通常需要在多个环境中运行，例如开发环境、测试环境和生产环境。每个环境的配置可能不同，比如数据库连接、调试模式、密钥等。为了确保项目在不同环境中的灵活性和安全性，我们需要合理地管理多环境配置。 本文将详细介绍如何在 Django 项目中实现…...

编程日记 2025/1/26 13:41:22

【C++高并发服务器WebServer】-6：信号

本文目录 信号的概念1.1 core文件1.2 kill命令1.3 alarm函数1.4 setitimer调用1.5 signal捕捉信号1.6 信号集1.7 内核实现信号捕捉的过程1.8 sigaction1.9 sigchld 信号的概念 信号是 Linux 进程间通信的最古老的方式之一&#xff0c;是事件发生时对进程的通知机制&#xff0c…...

编程日记 2025/1/26 13:39:19

Vue3项目实战：5分钟搞定DeepSeek API对接，打造你的专属AI聊天助手

Vue3项目实战&#xff1a;5分钟搞定DeepSeek API对接&#xff0c;打造你的专属AI聊天助手 最近在重构个人博客时&#xff0c;突然想到如果能给访客加个智能问答助手应该挺酷的。作为一个长期混迹开源社区的全栈开发者&#xff0c;我习惯性先搜了圈现有方案——结果发现DeepSeek…...

编程新知 2026/3/31 15:10:35

Kandinsky-5.0-I2V-Lite-5s实战案例：用会议合影生成带入场动画的团队介绍视频

Kandinsky-5.0-I2V-Lite-5s实战案例&#xff1a;用会议合影生成带入场动画的团队介绍视频 1. 项目背景与价值 想象一下这个场景&#xff1a;公司刚开完年度战略会议&#xff0c;团队拍了一张大合影。现在需要制作一个团队介绍视频&#xff0c;传统方式需要找专业剪辑师&#…...

编程新知 2026/3/31 14:38:05

智能猫砂盆：除臭静音，养猫更省心！

行业痛点分析当前智能猫砂盆领域面临两大核心挑战&#xff1a;清洁残留与安全防护。传统自动铲屎机型在完成集便动作后&#xff0c;猫砂盆底部仍会残留约15%-20%的沾尿结团猫砂&#xff08;数据表明&#xff1a;第三方实验室对6款主流机型测试结果&#xff09;&#xff0c;用户…...

编程新知 2026/3/31 14:01:14

从旅游Vlog到新闻视频：QVHIGHLIGHTS数据集在跨领域应用中的实战指南

QVHIGHLIGHTS数据集&#xff1a;跨领域视频内容智能解析的工程实践 当你在旅行Vlog中搜索"日落时分的海滩漫步"&#xff0c;或在新闻视频中寻找"抗议活动现场冲突画面"&#xff0c;传统视频平台只能返回整段视频——这就像给你一整本书而不是精确的页码。Q…...

编程新知 2026/3/31 14:01:14

Graphormer部署教程：/etc/supervisor/conf.d/graphormer.conf配置解析

Graphormer部署教程&#xff1a;/etc/supervisor/conf.d/graphormer.conf配置解析 1. 项目介绍 Graphormer是一种基于纯Transformer架构的图神经网络模型&#xff0c;专门为分子图&#xff08;原子-键结构&#xff09;的全局结构建模与属性预测而设计。该模型在OGB、PCQM4M等…...

编程新知 2026/3/31 13:37:04

Fish-Speech-1.5在短视频生产的应用：批量生成多语种配音方案

Fish-Speech-1.5在短视频生产的应用&#xff1a;批量生成多语种配音方案 1. 引言 短视频内容创作正面临着一个普遍痛点&#xff1a;多语言配音成本高、周期长。传统方式下&#xff0c;一个MCN机构要为一条短视频制作中文、英文、日文三种语言的配音&#xff0c;需要分别联系不…...

编程新知 2026/3/31 11:47:20

别再只加Mask了！手把手教你用FlashAttention实现真正的Sliding Window Attention（附代码）

突破传统误区&#xff1a;用FlashAttention实现高效滑动窗口注意力的实战指南 在Transformer模型优化领域&#xff0c;许多开发者对滑动窗口注意力(Sliding Window Attention, SWA)存在一个普遍误解——认为只需在注意力矩阵上添加滑动窗口掩码就能实现线性复杂度。这种错误认…...

编程新知 2026/3/31 11:41:18

YOLO12入门必看：从上传图片到JSON结果输出完整操作流程

YOLO12入门必看&#xff1a;从上传图片到JSON结果输出完整操作流程 1. 引言&#xff1a;为什么你需要了解YOLO12&#xff1f; 如果你正在寻找一个既快又准的目标检测工具&#xff0c;那么YOLO12的出现&#xff0c;可能就是你一直在等的那个答案。 想象一下这样的场景&#x…...

编程新知 2026/3/31 10:30:44

比特币钱包密码与助记词恢复工具：从入门到精通

比特币钱包密码与助记词恢复工具&#xff1a;从入门到精通 【免费下载链接】btcrecover An open source Bitcoin wallet password and seed recovery tool designed for the case where you already know most of your password/seed, but need assistance in trying different…...

编程新知 2026/3/31 10:28:44

保姆级教程：在Windows系统本地部署Qwen3-14B-Int4-AWQ对话模型

保姆级教程&#xff1a;在Windows系统本地部署Qwen3-14B-Int4-AWQ对话模型 1. 前言&#xff1a;为什么选择本地部署&#xff1f; 在个人电脑上运行大语言模型听起来可能有些遥不可及&#xff0c;但随着模型量化技术的进步&#xff0c;现在即使是消费级显卡也能流畅运行14B参数…...

编程新知 2026/3/31 10:22:37