当前位置： 首页 > news >正文

长短期记忆网络LSTM

news 文章来源：https://blog.csdn.net/2301_79749355/article/details/145353701 2025/5/6 22:46:07

视频链接

1.LSTM与RNN的区别

RNN想把所有信息都记住，不管是有用的信息还是没用的信息，并且有梯度爆炸或者梯度消失的问题
而LSTM设计了一个记忆细胞，具备选择记忆功能，可以选择记忆重要信息，过滤掉噪声信息，减轻记忆负担。

2. 前向传播的过程

2.1对比RNN

在这里插入图片描述

2.2 单元结构

符号解释：
C t − 1 C_{t-1} Ct−1​表示t-1时刻的记忆细胞
h t − 1 h_{t-1} ht−1​表示t-1时刻的隐藏层状态
s i g m o i d sigmoid sigmoid门单元
f t f_t ft​遗忘门
i t i_t it​更新门
o t o_t ot​输出门

在LSTM的每个时间步里面，都有一个记忆cell，这个东西给予了LSTM选择记忆功能，使得LSTM有能力自由选择每个时间步里面记忆的内容

在这里插入图片描述

2.3 结合例子理解LSTM单元结构

场景：期末考试周（高数→线性代数）
输入 X t X_t Xt​：线性代数
输出 h t h_t ht​：高分
遗忘门：遗忘高数积累的记忆 C t − 1 C_{t-1} Ct−1​
更新门：选择性的提取有用的线性代数知识，然后结合高数保留下来的数学运算能力
输出门：把没考的知识丢掉
t a n h tanh tanh：把记忆的知识 C t C_t Ct​转为答题解题的能力

在这里插入图片描述

4. LSTM如何缓解梯度消失

4.1 RNN梯度消失回顾

在这里插入图片描述

4.2LSTM反向传播

假设： t = 3 t=3 t=3，即从左到右的输出分别是 y 1 y_1 y1​、 y 2 y_2 y2​、 y 3 y_3 y3​

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

相关文章：

长短期记忆网络LSTM

视频链接 1.LSTM与RNN的区别 RNN想把所有信息都记住，不管是有用的信息还是没用的信息，并且有梯度爆炸或者梯度消失的问题 而LSTM设计了一个记忆细胞，具备选择记忆功能，可以选择记忆重要信息，过滤掉噪声信息&#xff0…...

编程日记 2025/1/26 14:24:15

2. 握手问题python解法——2024年省赛蓝桥杯真题

原题传送门：1.握手问题 - 蓝桥云课 问题描述 小蓝组织了一场算法交流会议，总共有 50人参加了本次会议。在会议上，大家进行了握手交流。按照惯例他们每个人都要与除自己以外的其他所有人进行一次握手 (且仅有一次)。但有 7 个人，…...

编程日记 2025/1/26 14:22:12

poi在word中打开本地文件

poi版本 5.2.0 方法1：使用XWPFFieldRun（推荐） 比如打开当前相对路径的aaaaa.docx XWPFFieldRun run paragraph.createFieldRun();CTRPr ctrPr run.getCTR().addNewRPr();CTFonts font ctrPr.addNewRFonts();// 设置字体font.setAscii(&quo…...

编程日记 2025/1/26 14:21:11

国产编辑器EverEdit - 输出窗口

1 输出窗口 1.1 应用场景 输出窗口可以显示用户执行某些操作的结果，主要包括： 查找类：查找全部，筛选等待操作，可以把查找结果打印到输出窗口中； 程序类：在执行外部程序时(如：命令窗…...

编程日记 2025/1/26 14:20:09

整数的个数（信息学奥赛一本通-1067）

【题目描述】 给定k(1<k<100)个正整数&#xff0c;其中每个数都是大于等于1&#xff0c;小于等于10的数。写程序计算给定的k个正整数中&#xff0c;1&#xff0c;5和10出现的次数。 【输入】 输入有两行&#xff1a;第一行包含一个正整数k&#xff0c;第二行包含k个正整数…...

编程日记 2025/1/26 14:18:07

ios swift画中画技术尝试

继上篇&#xff1a;iOS swift 后台运行应用尝试失败-CSDN博客 为什么想到画中画&#xff0c;起初是看到后台模式里有一个picture in picture&#xff0c;去了解了后发现这个就是小窗口视频播放&#xff0c;方便用户执行多任务。看小窗口视频的同时&#xff0c;可以作其他的事情…...

编程日记 2025/1/26 14:17:06

MyBatis 写法

MyBatis 高效使用技巧 常见 MyBatis 使用技巧&#xff0c;这些技巧有助于简化数据库操作&#xff0c;提高开发效率&#xff0c;并增强系统的性能。 1. 动态 SQL 动态 SQL 让开发者能够依据参数灵活地构建 SQL 语句&#xff0c;避免了手动拼接字符串带来的复杂性和错误风险。…...

编程日记 2025/1/26 14:12:00

Three城市引擎地图插件Geo-3d

一、简介 基于Three开发&#xff0c;为Three 3D场景提供GIS能力和城市底座渲染能力。支持Web墨卡托、WGS84、GCJ02等坐标系&#xff0c;支持坐标转换&#xff0c;支持影像、地形、geojson建筑、道路&#xff0c;植被等渲染。支持自定义主题。 二、效果 三、代码 //插件初始化…...

编程日记 2025/1/26 14:10:59

【贪心算法】洛谷P1106 - 删数问题

2025 - 01 - 22 - 第 46 篇 【洛谷】贪心算法题单 - 【贪心算法】 - 【学习笔记】 作者(Author): 郑龙浩 / 仟濹(CSND账号名) 目录 文章目录 目录P1106 删数问题题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 提示思路代码 P1106 删数问题 题目描述 键盘输入一个高…...

编程日记 2025/1/26 14:08:57

WPS计算机二级•幻灯片的页面布局

听说这是目录哦 设置PPT页面尺寸&#x1f5bc;️PPT母版怎么用&#x1f3a8;巧用PPT母版统一修改 字体颜色与背景&#x1f3a1;如何快速更改应用 幻灯片中的不同母版&#x1f451;能量站&#x1f61a; 设置PPT页面尺寸&#x1f5bc;️ 在制作PPT时&#xff0c;我们需要先选定一…...

编程日记 2025/1/26 14:07:57

从入门到精通：HttpClient深度剖析与实战指南

一、引言 1.1 背景引入 在当今数字化时代&#xff0c;网络编程已成为软件开发中不可或缺的一部分。而 HTTP 通信作为网络编程的核心&#xff0c;承担着客户端与服务器之间数据传输的重任。无论是 Web 应用、移动应用&#xff0c;还是分布式系统&#xff0c;HTTP 协议都扮演着…...

编程日记 2025/1/26 14:04:54

IoTDB 2025 春节值班与祝福

2025 春节快乐 瑞蛇迎吉庆&#xff0c;祥光映华年&#xff0c;2025 春节已近在眼前。社区祝福 IoTDB 的所有关注者、支持者、使用者 2025 新年快乐&#xff0c;“蛇”来运转&#xff01; IoTDB 团队的春节放假时间为 2025 年 1 月 27 日至 2 月 4 日&#xff0c;1 月 25 日、26…...

编程日记 2025/1/26 13:59:46

Java 大视界 -- Java 大数据中的隐私增强技术全景解析（64）

&#x1f496;亲爱的朋友们&#xff0c;热烈欢迎来到 青云交的博客&#xff01;能与诸位在此相逢&#xff0c;我倍感荣幸。在这飞速更迭的时代&#xff0c;我们都渴望一方心灵净土&#xff0c;而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识&#xff0c;也…...

编程日记 2025/1/26 13:57:43

【2024年华为OD机试】 (A卷,100分)- 整理扑克牌（JavaScriptJava PythonC/C++）

一、问题描述 题目描述 给定一组数字，表示扑克牌的牌面数字，忽略扑克牌的花色，请按如下规则对这一组扑克牌进行整理： 步骤1：分组形成组合牌 炸弹：当牌面数字相同张数大于等于4时。葫芦：3张相同牌面数字 + 2张相同牌面数字，且3张牌与2张牌不相同。三张：3张相同牌面数…...

编程日记 2025/1/26 13:55:40

周末总结(2024/01/25)

工作 人际关系核心实践&#xff1a; 要学会随时回应别人的善意&#xff0c;执行时间控制在5分钟以内 坚持每天早会打招呼 遇到接不住的话题时拉低自己&#xff0c;抬高别人(无阴阳气息) 朋友圈点赞控制在5min以内&#xff0c;职场社交不要放在5min以外 职场的人际关系在面对利…...

编程日记 2025/1/26 13:49:32

Apache Flink 概述学习笔记

一、引言 在大数据处理领域&#xff0c;Apache Flink 是一个极具影响力的开源流批一体化计算框架&#xff0c;它以其独特的架构和强大的功能&#xff0c;为大规模数据处理提供了高效、灵活的解决方案。 二、基本概念 Flink 是什么&#xff1a;Flink 是一个分布式流批处理框架…...

编程日记 2025/1/26 13:48:31

双足机器人开源项目

双足机器人&#xff08;也称为人形机器人或仿人机器人&#xff09;是一个复杂的领域&#xff0c;涉及机械设计、电子工程、控制理论、计算机视觉等多个学科。对于想要探索或开发双足机器人的开发者来说&#xff0c;有许多开源项目可以提供帮助。这些项目通常包括硬件设计文件、…...

编程日记 2025/1/26 13:46:28

Linux 部署 Java 项目：Tomcat、Redis、MySQL 教程

在 Linux 服务器上部署 Java 项目通常需要配置应用服务器&#xff08;如 Tomcat&#xff09;、数据库&#xff08;如 MySQL&#xff09;和缓存服务器&#xff08;如 Redis&#xff09;。本文将详细介绍如何在 Linux 环境中部署一个 Java 项目&#xff0c;涵盖 Tomcat、Redis 和…...

编程日记 2025/1/26 13:44:26

Django 多环境配置实战指南

在现代 Web 开发中，一个项目通常需要在多个环境中运行，例如开发环境、测试环境和生产环境。每个环境的配置可能不同，比如数据库连接、调试模式、密钥等。为了确保项目在不同环境中的灵活性和安全性，我们需要合理地管理多环境配置。 本文将详细介绍如何在 Django 项目中实现…...

编程日记 2025/1/26 13:41:22

【C++高并发服务器WebServer】-6：信号

本文目录 信号的概念1.1 core文件1.2 kill命令1.3 alarm函数1.4 setitimer调用1.5 signal捕捉信号1.6 信号集1.7 内核实现信号捕捉的过程1.8 sigaction1.9 sigchld 信号的概念 信号是 Linux 进程间通信的最古老的方式之一&#xff0c;是事件发生时对进程的通知机制&#xff0c…...

编程日记 2025/1/26 13:39:19

HBase的原理

一、什么是HBase HBase是一个分布式&#xff0c;版本化&#xff0c;面向列的数据库&#xff0c;依赖Hadoop和Zookeeper &#xff08;1&#xff09;HBase的优点 提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统 (2) HBase 表的特性 Region包含多行 列族包含多…...

编程日记 2025/1/26 13:37:09

[b01lers2020]Life on Mars1

打开题目页面如下 看了旁边的链接&#xff0c;也没有什么注入点&#xff0c;是正常的科普 利用burp suite抓包&#xff0c;发现传参 访问一下 http://5edaec92-dd87-4fec-b0e3-501ff24d3650.node5.buuoj.cn:81/query?searchtharsis_rise 接下来进行sql注入 方法一&#xf…...

编程日记 2025/1/26 13:31:53

Go学习：常量

变量&#xff1a;程序运行期间&#xff0c;可以改变的量&#xff0c;变量声明需要使用 var 常量&#xff1a;程序运行期间&#xff0c;不可以改变的量&#xff0c;常量声明需要使用 const 目录 1. 常量不允许修改 2. 常量赋值不使用 : 3. 常量能够自动推导类型 1. 常量不允许…...

编程日记 2025/1/26 13:30:52

Python 爬虫——爬取Web页面图片

从网页页面上批量下载jpg格式图片&#xff0c;并按照数字递增命名保存到指定的文件夹。 Web地址&#xff1a;http://p.weather.com.cn/2017/06/2720826.shtml#p1 import urllib import urllib.request import re #正则表达式#解析页面 def load_page(url):requesturllib.reque…...

编程日记 2025/1/26 13:28:50

微信小程序1.1 微信小程序介绍

1.1 微信小程序介绍 内容提要 1.1 什么是微信小程序 1.2 微信小程序的功能 1.3 微信小程序使用场景 1.4 微信小程序能取代App吗 1.5 微信小程序的发展历程 1.6微信小程序带来的机会...

编程日记 2025/1/26 13:27:48

记录备战第十六届蓝桥杯的过程

1.学会了原来字符串也有比较方法&#xff0c;也就是字符串987 > 98 等等&#xff0c;可以解决拼最大数问题 题目链接&#xff1a;5.拼数 - 蓝桥云课 (lanqiao.cn) 2.今天又复习了一下bfs&#xff0c;感觉还是很不熟练&#xff0c;可能是那个过程我些许有点不熟悉&#xff…...

编程日记 2025/1/26 13:26:47

AI 编程工具—Cursor进阶使用 Rules for AI

AI 编程工具—Cursor进阶使用 Rules for AI 这里配置是给所有的会话和内嵌模式的，你可以理解为是一个全局的配置 下面的代码是之前Cursor 给我们生成的，下面我们开始配置Rules ，来让Cursor生成的代码更加符合我们的编程习惯 def quick_sort(arr):"""使用快…...

编程日记 2025/1/26 13:25:45

以租赁合同的例子讲清楚 开源协议原理和区别

开源协议通俗易懂的方式介绍清楚原理和区别 开源协议其实就是软件的“使用规则”&#xff0c;决定了别人可以如何使用、修改、分享你的代码。通俗一点说&#xff0c;如果你写了一段代码&#xff0c;开源协议就是告诉别人在什么条件下他们可以使用你的代码&#xff0c;以及他们可…...

编程日记 2025/1/26 13:21:41

mysql如何修改密码

在MySQL中修改密码可以通过多种方式完成&#xff0c;具体取决于你的MySQL版本和你是否有足够的权限。以下是一些常用的方法来修改MySQL用户的密码&#xff1a; 方法1: 使用ALTER USER命令 这是最常用的方法&#xff0c;适用于MySQL 5.7及以上版本。 ALTER USER usernameloca…...

编程日记 2025/1/26 13:19:39

解数独力扣

题目 解题思路 1.双层循环每一个位置都要去判断能不能放数字 2.每到一个位置如果为空&#xff0c;for循环遍历1-9&#xff0c;通过函数判断是否能放这个数字能放开始回溯判断放下这个数字之后 3.不设结束条件&#xff0c;一直循环判断下去知道所有位置全部填满数字然后retur…...

编程日记 2025/1/26 13:16:34