当前位置： 首页 > news >正文

循环神经网络中的梯度消失或梯度爆炸问题产生原因分析（二）

news 2026/5/16 20:41:03

上一篇中讨论了一般性的原则，这里我们具体讨论通过时间反向传播（backpropagation through time，BPTT）的细节。我们将展示目标函数对于所有模型参数的梯度计算方法。

出于简单的目的，我们以一个没有偏置参数的循环神经网络为例说明，其在隐藏层中的激活函数使用恒等函数（\phi \left ( x \right )=x）。

对于时间步t，单个样本的输入及其标签分别为\mathbf{x}_{t}\in \mathbb{R}^{d}和y_{t}。计算隐状态\mathbf{h}_{t}\in \mathbb{R}^{h}和输出\mathbf{o}_{t}\in \mathbb{R}^{q}的公式为

\mathbf{h}_{t}=\mathbf{W}_{hx}\mathbf{x}_{t}+\mathbf{W}_{hh}\textbf{h}_{t-1}

\mathbf{o}_{t}=\mathbf{W}_{qh}\mathbf{h}_{t}

其中，权重参数为\mathbf{W}_{hx}\in \mathbb{R}^{h\times d}，\mathbf{W}_{hh}\in \mathbb{R}^{h\times h}和\mathbf{W}_{qh}\in \mathbb{R}^{q\times h}。

目标函数为：

L=\frac{1}{T}\sum_{t=1}^{T}l\left ( y_{t} ,\mathbf{o}_{t}\right )。

通常，训练这个模型需要对这些参数分别进行梯度计算：\partial L/\partial \textbf{W}_{hx}、\partial L/\partial \textbf{W}_{hh}和\partial L/\partial \textbf{W}_{qh}。

\frac{\partial L}{\partial \textbf{o}_{t}}=\frac{\partial l\left ( \textbf{o}_{t},y_{t} \right )}{T\cdot \partial o_{t}}\in \mathbb{R}^{q}

\frac{\partial L}{\partial \mathbf{W}_{qh}}=\sum_{t=1}^{T}\frac{\partial L}{\partial \textbf{o}_{t}}\textbf{h}_{t}^{\top }

\frac{\partial L}{\partial \mathbf{W}_{hx}}=\sum_{t=1}^{T}\frac{\partial L}{\partial \textbf{h}_{t}}\textbf{x}_{t}^{\top }

\frac{\partial L}{\partial \mathbf{W}_{hh}}=\sum_{t=1}^{T}\frac{\partial L}{\partial \textbf{h}_{t}}\textbf{h}_{t-1}^{\top }

其中：\frac{\partial L}{\partial \mathbf{h}_{t}}=\sum_{i=t}^{T}\left (\textbf{W} _{hh}^{\top } \right )^{T-i}\textbf{W}_{qh}^{\top }\frac{\partial L}{\partial \textbf{o}_{T+t-i}}

从\frac{\partial L}{\partial \mathbf{h}_{t}}中可以看到，这个简单的线性例子已经展现出长序列模型的一些关键问题：

它陷入到了\textbf{W} _{hh}^{\top }的潜在的非常大的指数幂。在这个指数幂中，小于1的特征值将会消失（出现梯度消失），大于1的特征值将会发散（出现梯度爆炸）。

相关文章：

循环神经网络中的梯度消失或梯度爆炸问题产生原因分析（二）

上一篇中讨论了一般性的原则，这里我们具体讨论通过时间反向传播（backpropagation through time，BPTT）的细节。我们将展示目标函数对于所有模型参数的梯度计算方法。 出于简单的目的，我们以一个没有偏置参数的循环神经…...

编程日记 2023/12/25 11:50:47

JWT signature does not match locally computed signature

1. 问题背景 最近在协助团队小盆友调试一个验签问题，结果还“节外生枝”了，原来不是签名过程的问题，是token的问题。 当你看到“JWT signature does not match locally computed signature. JWT validity cannot be asserted and should not…...

编程日记 2023/12/25 11:48:45

vitepress项目使用github的action自动部署到github-pages中，理论上可以通用所有

使用github的action自动部署到github-pages中 创建部署的deploy.yml文件，在项目的根目录下面 .github\workflows\deploy.yml 完整的代码：使用的是pnpm进行依赖安装。 name: 部署VitePresson:push:branches:- docs # 这段是在推送到 docs 分支时触发该…...

编程日记 2023/12/25 11:45:42

Python爬虫---解析---JSONPath

Xpath可以解析本地文件和服务器响应的文件，JSONPath只能解析本地文件 1. 安装jsonpath：pip install jsonpath 注意：需要安装在python解释器相同的位置,例如：D:\Program Files\Python3.11.4\Scripts 2. 使用步骤 2.1 导入&…...

编程日记 2023/12/25 11:44:41

路由器介绍和命令操作

先来回顾一下上次的内容： ip地址就是由32位二进制数组 二进位数就是只有数字0和1组成 网络位：类似于区号，表示区域作用 主机位：类似于号码，表示区域中编号 网络名称：网络位不变，主机位全为0 …...

编程日记 2023/12/25 11:43:40

Hadoop——分布式计算

一、分布式计算概述 1. 什么是计算、分布式计算？ 计算：对数据进行处理，使用统计分析等手段得到需要的结果分布式计算：多台服务器协同工作，共同完成一个计算任务2. 分布式计算常见的2种工作模式分散->汇总 （MapReduce就是这种模式）将数据分片，多台服务器各自负责一…...

编程日记 2023/12/25 11:40:37

LaTeX引用参考文献 | Texstudio引用参考文献

图片版教程： 文字版教程： ref.bib里面写参考的文献，ref.bib和document.tex要挨着放，同一个目录里面. 解析一下bib文件格式：aboyeji2023effect是引用文献的关键字，需要在正文document.tex里面使用\cite指令…...

编程日记 2023/12/25 11:39:37

如何在Go中使用模板

引言 您是否需要以格式良好的输出、文本报告或HTML页面呈现一些数据?你可以使用Go模板来做到这一点。任何Go程序都可以使用text/template或html/template包(两者都包含在Go标准库中)来整齐地显示数据。 这两个包都允许你编写文本模板并将数据传递给它们，以按你喜欢的格式呈…...

编程日记 2023/12/25 11:37:35

云原生之深入解析基于FunctionGraph在Serverless领域的FinOps的探索和实践

一、背景 Serverless 精确到毫秒级的按用付费模式使得用户不再需要为资源的空闲时间付费。然而，对于给定的某个应用函数，由于影响其计费成本的因素并不唯一，使得用户对函数运行期间的总计费进行精确的事先估计变成了一项困难的工作。以传统云…...

编程日记 2023/12/25 11:36:34

电子电器架构（E/E）演化 —— 主流主机厂域集中架构概述

电子电器架构（E/E）演化 —— 主流主机厂域集中架构概述 我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 屏蔽力是信息过载时代一个人的特殊竞争力，任何消耗你的人和事，多看一眼都是你的不对。…...

编程日记 2023/12/25 11:33:32

Python常用的几个函数

print()函数：用于打印输出信息到控制台。 input()函数：用于从控制台获取用户输入。 len()函数：用于获取字符串、列表、元组、字典等对象的长度。 range()函数：用于生成一个整数序列，常用于循环中。 type()函数&…...

编程日记 2023/12/25 11:31:28

【Linux系统基础】（2）在Linux上部署MySQL、RabbitMQ、ElasticSearch等各类软件

实战章节：在Linux上部署各类软件 前言 为什么学习各类软件在Linux上的部署 在前面，我们学习了许多的Linux命令和高级技巧，这些知识点比较零散，同学们跟随着课程的内容进行练习虽然可以基础掌握这些命令和技巧的使用，…...

编程日记 2023/12/25 11:26:24

HarmonyOS4.0系统性深入开发01应用模型的构成要素

应用模型的构成要素 应用模型是HarmonyOS为开发者提供的应用程序所需能力的抽象提炼，它提供了应用程序必备的组件和运行机制。有了应用模型，开发者可以基于一套统一的模型进行应用开发，使应用开发更简单、高效。 HarmonyOS应用模型的构成要…...

编程日记 2023/12/25 11:23:20

线下终端门店调研包含哪些内容

品牌渠道一般分为线上和线下，线上的价格、促销信息、店铺优惠机制等都可以通过登录查看，但是线下门店的数据则需要进店巡查，否则无法得到真实的店铺销售数据，当然也有品牌是靠线下的业务团队报备机制获得这些信息，但是…...

编程日记 2023/12/25 11:21:19

倾斜摄影三维模型数据在行业应用分析

倾斜摄影三维模型数据在行业应用分析 倾斜摄影三维模型数据是一种重要的地理信息资源，可以广泛应用于各个行业和场景，以解决不同领域的问题。以下将详细探讨几个典型的行业或场景，它们利用倾斜摄影三维模型数据解决问题的应用。 1、地理测绘…...

编程日记 2023/12/25 11:20:18

Apache Flink 进阶教程（七）：网络流控及反压剖析

目录 前言 网络流控的概念与背景 为什么需要网络流控 网络流控的实现：静态限速 网络流控的实现：动态反馈/自动反压 案例一：Storm 反压实现 案例二：Spark Streaming 反压实现 疑问：为什么 Flink（bef…...

编程日记 2023/12/25 11:19:17

k8s学习 — （DevOps实践）第十三章 DevOps 环境搭建

k8s学习 — （DevOps实践）第十三章 DevOps 环境搭建 学习资料1 Gitlab1.1 安装 Gitlab1.2 页面配置1.3 配置 Secret1.4 为项目配置 Webhook1.5 卸载 2 Harbor2.1 安装 Harbor2.1 配置 Secret 3 SonarQube3.1 安装 SonarQube3.2 生成服务 token3.3 创建 We…...

编程日记 2023/12/25 11:18:16

Java_Stream流

一、JDK8新特性（Stream流） 接下来学习一个全新的知识，叫做Stream流（也叫Stream API）。它是从JDK8以后才有的一个新特性，是专业用于对集合或者数组进行便捷操作的。有多方便呢？我们用一个案例体…...

编程日记 2023/12/25 11:17:15

delphi中，tstringlist使用方法示例

delphi中，tstringlist使用方法示例 在 Delphi 中，TStringList 是一个常用的字符串列表类，它提供了许多用于处理字符串列表的方法。以下是一个示例，演示了如何在 Delphi 中使用 TStringList 类： program TStringListEx…...

编程日记 2023/12/25 11:15:13

【飞凌 OK113i-C 全志T113-i开发板】视频编解码测试

前言 本文测试OK113i-S开发板-视频编解码的功能 OK113i-S开发板是支持视频的编解码的，下面是官方介绍的编解码功能 T113-i 是一种为多媒体解码平台设计的高级应用处理器。T113-i 集成了64位玄铁C906 RISC-V CPU， 双核 Cortex - A7 CPU 和 HiFi4 DSP&a…...

编程日记 2023/12/25 11:14:12

保姆级教程：为Ultralytics YOLOv8 v8.0+ 添加mAP75和mAP90输出（附完整代码与验证方法）

深度优化YOLOv8评估体系：实战添加mAP75与mAP90指标全指南 当目标检测模型的mAP50达到80%以上时，研究者常陷入性能提升的瓶颈期。此时，引入mAP75和mAP90等更严格的评估指标，能有效区分"优秀"与"卓越"模型的边界…...

编程新知 2026/5/16 20:25:59

企业微信多账号协同管理方案：矩阵如何统一管理？

账号越来越多、运营越来越乱？通过企业微信 API，实现多账号统一管理与自动化调度。很多私域团队在业务增长后，都会开始运营多个企业微信账号。 但账号一多，人工切换、消息管理、客户分配都会变得非常混乱。QiWe 开放平台通过标准化…...

编程新知 2026/5/16 19:41:52

Harness Engineering：用“确定性“驾驭AI的“不确定性“

上一篇 SDD 系列收尾时，留了一句话：“如何驾驭 AI 来赋能整个软件开发周期，将是另外一个值得深入探讨的话题。” 到现在有将近一个月没更新！期间除了偷懒，五一跑高速添堵之外，主要的原因是这个问题没怎么想…...

编程新知 2026/5/16 19:29:32

基于LLM与向量数据库的家庭智能体助手：架构、部署与场景实践

1. 项目概述：一个面向家庭的智能体助手最近在GitHub上看到一个挺有意思的项目，叫“Home-agent-assistant”。光看名字，你可能会觉得这又是一个智能家居控制中心，或者一个简单的语音助手。但当我深入去研究它的代码和设计理念后&am…...

编程新知 2026/5/16 18:55:42

EB Garamond 12：免费复古字体完整指南，如何优雅应用于网页和印刷设计

EB Garamond 12：免费复古字体完整指南，如何优雅应用于网页和印刷设计 【免费下载链接】EBGaramond12 项目地址: https://gitcode.com/gh_mirrors/eb/EBGaramond12 EB Garamond 12是一款基于16世纪经典设计的开源复古字体，为设计师和开…...

编程新知 2026/5/16 18:42:48

亲身体验AI智能体在实际项目中展现的核心能力

AI 智能体能力实战学习笔记 通过与 AI 智能体的协作，我亲身体验了 AI 在软件开发全流程中的强大能力。本文记录了智能体在实际项目中展现的核心功能，以及如何使用这些能力提高工作效率。 🎯 核心能力概览 能力地图 AI 智能体能力 ├── &a…...

编程新知 2026/5/16 18:18:37

RK3576开发板AIoT实战：从模型转换到边缘部署全流程解析

1. 项目概述：从一块开发板到AI应用落地的完整旅程 最近几年，AIoT（人工智能物联网）的概念越来越火，但很多开发者朋友拿到一块功能强大的开发板后，往往卡在“如何把AI模型真正跑起来”这一步。我手头这块RK35…...

编程新知 2026/5/16 16:35:46

Programming Bitcoin最佳实践：10个核心编程技巧助你从零掌握比特币开发 [特殊字符]

Programming Bitcoin最佳实践：10个核心编程技巧助你从零掌握比特币开发 🚀 【免费下载链接】programmingbitcoin Repository for the book 项目地址: https://gitcode.com/gh_mirrors/pr/programmingbitcoin 想要深入理解比特币技术并掌握区块链编…...

编程新知 2026/5/16 15:15:52

终极指南：3分钟学会用Onekey下载Steam游戏清单，告别手动烦恼

终极指南：3分钟学会用Onekey下载Steam游戏清单，告别手动烦恼 【免费下载链接】Onekey Onekey Steam Depot Manifest Downloader 项目地址: https://gitcode.com/gh_mirrors/one/Onekey 想要快速获取Steam游戏清单却苦于复杂操作？Oneke…...

编程新知 2026/5/16 14:39:14

K8s安全加固清单：从RBAC到数据加密的实战指南

在云原生时代，Kubernetes 已成为容器编排的事实标准，但默认配置下的 K8s 并不安全。一次错误的 RBAC 权限配置、一个暴露的 etcd 端口、或者一个特权模式的 Pod，都可能成为攻击者的入口。本文从认证授权、Pod 安全、网络隔离、数据加密四个维…...

编程新知 2026/5/16 14:24:47