当前位置： 首页 > news >正文

跟李沐学AI：长短期记忆网络LSTM

news 2026/3/30 8:39:42

输入们、遗忘门和输出门

LSTM引入输入门、忘记门和输出门

输入门计算公式为：\sigma(X_tW_{xi}+H_{t-1}W_{h1}+b_i)。

遗忘门计算公式为：\sigma(X_tW_{xf}+H_{t-1}W_{hf}+b_f)。

输出门计算公式为：\sigma(X_tW_{xo}+H_{t-1}W_{ho}+b_o)。

 它们由三个具有sigmoid激活函数的全连接层处理， 以计算输入门、遗忘门和输出门的值。 因此，这三个门的值都在(0,1)的范围内。

候选记忆元

类似RNN中的H_t，计算公式为：\widetilde{C_t}=tanh(X_tW_{xc}+H_{t-1}W_{hc}+b_c)。

记忆元

LSTM中，输入门和遗忘门类似GRU中控制输入或遗忘的机制。输入们用于控制采用多少来自\widetilde{C_t}的新数据，遗忘门用于控制保留多少过去的记忆元C_{t-1}的内容。随后按元素乘法，得出C_t=F_t\odot C_{t-1} + T_t\odot \widetilde{C_t}。

如果遗忘门始终为1且输入门始终为0， 则过去的记忆元Ct−1 将随时间被保存并传递到当前时间步。 引入这种设计是为了缓解梯度消失问题， 并更好地捕获序列中的长距离依赖关系。

隐状态 

LSTM中，输出门用于计算隐状态：H_t=O_t \odot tanh(C_t)。只要输出门接近1，我们就能够有效地将所有记忆信息传递给预测部分， 而对于输出门接近0，我们只保留记忆元内的所有信息，而不需要更新隐状态。

相关文章：

跟李沐学AI：长短期记忆网络LSTM

输入们、遗忘门和输出门 LSTM引入输入门、忘记门和输出门 输入门计算公式为：。 遗忘门计算公式为：。 输出门计算公式为：。 它们由三个具有sigmoid激活函数的全连接层处理， 以计算输入门、遗忘门和输出门的值。 因此&#xff0c…...

编程日记 2024/9/12 14:00:47

【BIM模型数据】BIM模型的数据如何存储，BIM大模型数据云端存储，需要考虑哪些因素，BIM模型数据存储和获取

【BIM模型数据】BIM模型的数据如何存储，BIM大模型数据云端存储，需要考虑哪些因素，BIM模型数据存储和获取 BIM文件的结构化数据和非结构化数据的存储方式，需要根据数据的特性和使用需求来选择。以下是一些推荐的存储策略&#xff1…...

编程日记 2024/9/12 13:58:45

【LLM大模型】大模型架构：layer\_normalization

2.layer_normalization 1.Normalization 1.1 Batch Norm 为什么要进行BN呢？ 在深度神经网络训练的过程中，通常以输入网络的每一个mini-batch进行训练，这样每个batch具有不同的分布，使模型训练起来特别困难。Internal Covariat…...

编程日记 2024/9/12 13:57:44

PON光模块的独特类型和特性

在当前互联网需求快速增长的背景下，PON光模块已成为实现光纤网络高速数据传输的重要组成部分。从住宅宽带到各种企业应用程序解决方案，PON光模块始终致力于实现高质量的数据传输与无缝通信。了解PON光模块的类型和特性对于深入理解现代网络基础设施至关重…...

编程日记 2024/9/12 13:56:42

架构与业务的一致性应用：实现企业战略目标和合规管理的全面指南

在当今快速变化的数字经济中，信息架构已成为企业实现其业务目标、优化运营效率和确保数据安全的关键工具。 一个成功的信息架构不仅要与企业的战略目标紧密对齐，还必须遵循日益严格的合规性要求，以保护敏感数据并满足法规规定。《信息架构&a…...

编程日记 2024/9/12 13:54:40

时尚穿搭想换就换，各种风格一键完美搭配！亲测在线虚拟试衣换装平台效果超赞！

随着科技的发展，时尚领域也迎来了新的革命。传统的试衣方式逐渐被现代科技所取代，虚拟试衣间的出现使得用户可以在舒适的家中轻松体验不同的服装风格。 先前给大家也介绍过一些虚拟试衣的技术，例如AnyFit或者OutfitAnyone等，今天…...

编程日记 2024/9/12 13:52:37

【C++】C++ 标准库string类介绍(超详细解析，小白必看系列）

C 标准库中的 std::string 类是一个非常强大的工具&#xff0c;用于处理和操作字符串。它属于 <string> 头文件&#xff0c;并提供了一套丰富的功能和方法。以下是 std::string 类的一些主要特性和常用操作&#xff1a; 1 string简介 字符串是表示字符序列的类 标准的字…...

编程日记 2024/9/12 13:50:36

若依RuoYi项目环境搭建教程（RuoYi-Vue + RuoYi-Vue3版本）

文章目录 一、开发脚手架选择二、RuoYi框架1、介绍2、版本发展3、为什么选择若依4、优缺点5、项目内置功能 三、后端项目部署1、拉取源码2、环境要求3、Maven构建4、MySQL相关&#xff08;1&#xff09;导入SQL脚本&#xff08;2&#xff09;配置信息 5、Redis相关&#xff08;…...

编程日记 2024/9/12 13:48:33

Java 后端接口入参 - 联合前端VUE 使用AES完成入参出参加密解密

加密效果&#xff1a; 解密后的数据就是正常数据&#xff1a; 后端&#xff1a;使用的是spring-cloud框架&#xff0c;在gateway模块进行操作 <dependency><groupId>com.google.guava</groupId><artifactId>guava</artifactId><version>30…...

编程日记 2024/9/12 13:46:31

HarmonyOS开发之使用PhotoViewPicker（图库选择器）保存图片

一&#xff1a;效果图 二&#xff1a;添加依赖 import fs from ohos.file.fs;//文件管理 import picker from ohos.file.picker//选择器 三&#xff1a;下载&#xff0c;保存图片的实现 // 下载图片imgUrldownloadAndSaveImage(imgUrl: string) {http.createHttp().request(…...

编程日记 2024/9/12 13:45:30

跨境独立站支付收款常见问题排雷篇1.0丨出海笔记

最近小伙伴们在社群讨论挺多关于独立站支付问题的&#xff0c;鉴于不少朋友刚接触独立站&#xff0c;我整理了一些独立站支付相关的问题和解决方案&#xff0c;供大家参考&#xff0c;百度网上一堆媒体的那些软文大家就别看了&#xff0c;都是软广或者抄来抄去&#xff0c;让大…...

编程日记 2024/9/12 13:44:29

uni-app实现web-view和App之间的相互通信

双向实时 如果app端部署成网站&#xff0c;则web-view就是iframe&#xff0c;使用也可以双向通讯 https://uniapp.dcloud.net.cn/component/web-view.html APP端代码 index.vue: <template><web-viewid"m-webview":fullscreen"true":src"…...

编程日记 2024/9/12 13:42:17

HTB-Vaccine(suid提权、sqlmap、john2zip)

前言 各位师傅大家好&#xff0c;我是qmx_07&#xff0c;今天来为大家讲解Vaccine靶机 渗透过程 信息搜集 服务器开放了 21FTP服务、22SSH服务、80HTTP服务 通过匿名登录FTP服务器 通过匿名登录到服务器&#xff0c;发现backup.zip文件&#xff0c;可能存在账号密码 发现b…...

编程日记 2024/9/12 13:40:52

【达梦数据库】异构数据库迁移到达梦

目录 1、迁移准备2、正式迁移3、问题处理3.1、return附近出现错误3.1.1、排查过程3.1.2、问题原因3.1.2、解决方法 3.2、对象[XXX]处于无效状态-类型13.2.1、排查过程3.2.2、问题原因3.2.3、解决方法 3.3、对象[XXX]处于无效状态-类型23.3.1、排查过程3.3.2、问题原因3.3.3、解…...

编程日记 2024/9/12 13:39:27

抽象类和接口(1)

抽象类&#xff1a; 什么是抽象类&#xff1a; 听着就很抽象&#xff0c;确实挺抽象&#xff0c;先来写一个抽象类感觉一下&#xff1a; 这就是抽象类&#xff01; 在 Java 中&#xff0c;一个类如果被 abstract 修饰称为抽象类&#xff0c;抽象类中被 abstract 修饰的方法…...

编程日记 2024/9/12 13:38:26

epoll内核原理与实现详解

目录 1 epoll相关理论基础 1.1 I/O多路复用技术 1.2 事件驱动模型 1.2.1 基本概念 1.2.2 优缺点分析 1.2.3 与epoll的关联 1.3 epoll机制简介 1.3.1 核心原理 1.3.2 优点 2 epoll内核原理 2.1 epoll数据结构 2.1.1 主要数据结构 2.1.2 数据结构关系 2.2 epoll工作…...

编程日记 2024/9/12 13:37:25

被低估的SQL

SQL是现代数据库管理系统中不可或缺的一部分。尽管它的使用已十分普遍&#xff0c;但在数据处理领域&#xff0c;SQL的某些功能和潜力仍然被许多人低估。接下来&#xff0c;小编将与您一起&#xff0c;探讨SQL的一些被忽视的特性&#xff0c;揭示它在数据管理中的真正实力。 1.…...

编程日记 2024/9/12 13:34:02

数字证书、数字签名及其关系

一.数字证书与数字签名 1.数字证书是一个经证书授权中心数字签名的包含公开密钥拥有者信息以及公开密钥的文件。简单地说&#xff0c;数字证书是一段包含用户身份信息、用户公钥信息以及份验证机构数字签名的数据。 通俗理解&#xff1a;数字证书相当于【身份证】 —— 确认你…...

编程日记 2024/9/12 13:32:57

一文读懂：如何将广告融入大型语言模型(LLM)输出

本文是我翻译过来的&#xff0c;讨论了在线广告行业的现状以及如何将大型语言模型&#xff08;LLM&#xff09;应用于在线广告。 原文请参见”阅读原文“。 在2024年&#xff0c;预计全球媒体广告支出的69%将流向数字广告市场。这个数字预计到2029年将增长到79%。在Meta的2024…...

编程日记 2024/9/12 13:31:47

godotenv拜读

简介 应用提倡将配置存储在环境变量中。任何从开发环境切换到生产环境时需要修改的东西都从代码抽取到环境变量里。 但是在实际开发中&#xff0c;如果同一台机器运行多个项目&#xff0c;设置环境变量容易冲突&#xff0c;不实用。godotenv库从.env文件中读取配置&#xff0c;…...

编程日记 2024/9/12 13:30:42

Java医疗系统通过等保三级测评前，这8个高危漏洞必须在72小时内闭环（附OWASP Top 10映射清单）

第一章&#xff1a;医疗Java系统等保三级合规性基线与高危漏洞判定标准在医疗行业&#xff0c;Java系统承载着电子病历、HIS、LIS、PACS等核心业务&#xff0c;其安全合规性直接关系患者隐私与公共健康。等保三级要求系统具备完善的身份鉴别、访问控制、安全审计、入侵防范及可…...

编程新知 2026/3/30 7:12:58

EcomGPT-7B模型蒸馏实践：训练更轻量的小模型服务于高并发场景

EcomGPT-7B模型蒸馏实践&#xff1a;训练更轻量的小模型服务于高并发场景 你是不是也遇到过这样的烦恼&#xff1f;手里有一个像EcomGPT-7B这样的大模型&#xff0c;它在电商场景下回答问题、生成文案的效果确实不错&#xff0c;但一到像“双十一”这样的大促节点&#xff0c;…...

编程新知 2026/3/30 6:46:53

手机续航的秘密武器：深入解读LPDDR5的Power Down与Deep Sleep省电机制

手机续航的秘密武器&#xff1a;深入解读LPDDR5的Power Down与Deep Sleep省电机制 当你的手机屏幕熄灭时&#xff0c;一场精密的节能芭蕾正在内存芯片内部上演。现代智能手机中&#xff0c;LPDDR5内存的功耗可能占到整机待机功耗的30%以上&#xff0c;而Power Down与Deep Sleep…...

编程新知 2026/3/30 6:44:53

Waymo Open Dataset Docker部署：环境配置与容器化最佳实践

Waymo Open Dataset Docker部署&#xff1a;环境配置与容器化最佳实践 【免费下载链接】waymo-open-dataset Waymo Open Dataset 项目地址: https://gitcode.com/gh_mirrors/wa/waymo-open-dataset Waymo Open Dataset是自动驾驶领域的重要开源项目&#xff0c;提供了丰…...

编程新知 2026/3/30 6:36:52

RMBG-2.0效果对比：不同光照/背景复杂度下头发分割准确率实测数据表

RMBG-2.0效果对比&#xff1a;不同光照/背景复杂度下头发分割准确率实测数据表 头发&#xff0c;无疑是图像背景去除&#xff08;抠图&#xff09;领域公认的“硬骨头”。无论是电商商品图、人像写真还是短视频素材&#xff0c;发丝边缘的精细度直接决定了最终效果的成败。今天…...

编程新知 2026/3/30 5:56:35

手把手教你搞定VMware VCP-DCV 2024线下考试预约（附北上广考位抢票攻略）

2024年VMware VCP-DCV认证考试抢位全攻略&#xff1a;一线城市实战技巧 凌晨三点&#xff0c;北京中关村某科技公司的运维工程师小李又一次刷新了Pearson VUE页面——这已经是他连续第七天蹲守VCP-DCV 2024的考位。作为晋升技术主管的硬性条件&#xff0c;这张认证对他来说价值…...

编程新知 2026/3/30 5:36:23

如何为 Play With Docker 贡献代码：社区参与与开发流程详解

如何为 Play With Docker 贡献代码&#xff1a;社区参与与开发流程详解 【免费下载链接】play-with-docker You know it, you use it, now its time to improve it. PWD!. 项目地址: https://gitcode.com/gh_mirrors/pl/play-with-docker Play With Docker&#xff08;P…...

编程新知 2026/3/30 4:15:24

YOLOv8训练自己的道路裂缝数据集，从数据标注到模型部署的保姆级避坑指南

YOLOv8道路裂缝检测实战&#xff1a;从数据标注到模型部署的全流程避坑指南 道路养护工程师小张最近遇到了头疼的问题——每天需要人工巡检数十公里道路&#xff0c;用粉笔标记裂缝位置再拍照记录。这种传统方式效率低下且容易遗漏细微裂缝。直到他发现了YOLOv8这个目标检测利器…...

编程新知 2026/3/30 2:52:39

腾讯音乐开源的SuperSonic到底强在哪？手把手教你配置专属数据分析Agent

腾讯音乐SuperSonic深度解析&#xff1a;如何打造智能数据问答Agent 当企业数据量呈指数级增长时&#xff0c;传统BI工具已经难以满足实时决策的需求。腾讯音乐开源的SuperSonic作为新一代AIBI平台&#xff0c;通过融合Chat BI与Headless BI两大范式&#xff0c;正在重新定义数…...

编程新知 2026/3/30 1:54:22

如何通过Bilibili-Evolved打造个性化B站体验？解锁高效视频浏览新方式

如何通过Bilibili-Evolved打造个性化B站体验&#xff1f;解锁高效视频浏览新方式 【免费下载链接】Bilibili-Evolved 强大的哔哩哔哩增强脚本 项目地址: https://gitcode.com/gh_mirrors/bi/Bilibili-Evolved 你是否曾经在B站浏览时遇到这样的困扰&#xff1a;界面广告太…...

编程新知 2026/3/30 1:18:02