当前位置： 首页 > news >正文

循环神经网络中的梯度消失或梯度爆炸问题产生原因分析（二）

news 2025/9/16 5:06:43

上一篇中讨论了一般性的原则，这里我们具体讨论通过时间反向传播（backpropagation through time，BPTT）的细节。我们将展示目标函数对于所有模型参数的梯度计算方法。

出于简单的目的，我们以一个没有偏置参数的循环神经网络为例说明，其在隐藏层中的激活函数使用恒等函数（\phi \left ( x \right )=x）。

对于时间步t，单个样本的输入及其标签分别为\mathbf{x}_{t}\in \mathbb{R}^{d}和y_{t}。计算隐状态\mathbf{h}_{t}\in \mathbb{R}^{h}和输出\mathbf{o}_{t}\in \mathbb{R}^{q}的公式为

\mathbf{h}_{t}=\mathbf{W}_{hx}\mathbf{x}_{t}+\mathbf{W}_{hh}\textbf{h}_{t-1}

\mathbf{o}_{t}=\mathbf{W}_{qh}\mathbf{h}_{t}

其中，权重参数为\mathbf{W}_{hx}\in \mathbb{R}^{h\times d}，\mathbf{W}_{hh}\in \mathbb{R}^{h\times h}和\mathbf{W}_{qh}\in \mathbb{R}^{q\times h}。

目标函数为：

L=\frac{1}{T}\sum_{t=1}^{T}l\left ( y_{t} ,\mathbf{o}_{t}\right )。

通常，训练这个模型需要对这些参数分别进行梯度计算：\partial L/\partial \textbf{W}_{hx}、\partial L/\partial \textbf{W}_{hh}和\partial L/\partial \textbf{W}_{qh}。

\frac{\partial L}{\partial \textbf{o}_{t}}=\frac{\partial l\left ( \textbf{o}_{t},y_{t} \right )}{T\cdot \partial o_{t}}\in \mathbb{R}^{q}

\frac{\partial L}{\partial \mathbf{W}_{qh}}=\sum_{t=1}^{T}\frac{\partial L}{\partial \textbf{o}_{t}}\textbf{h}_{t}^{\top }

\frac{\partial L}{\partial \mathbf{W}_{hx}}=\sum_{t=1}^{T}\frac{\partial L}{\partial \textbf{h}_{t}}\textbf{x}_{t}^{\top }

\frac{\partial L}{\partial \mathbf{W}_{hh}}=\sum_{t=1}^{T}\frac{\partial L}{\partial \textbf{h}_{t}}\textbf{h}_{t-1}^{\top }

其中：\frac{\partial L}{\partial \mathbf{h}_{t}}=\sum_{i=t}^{T}\left (\textbf{W} _{hh}^{\top } \right )^{T-i}\textbf{W}_{qh}^{\top }\frac{\partial L}{\partial \textbf{o}_{T+t-i}}

从\frac{\partial L}{\partial \mathbf{h}_{t}}中可以看到，这个简单的线性例子已经展现出长序列模型的一些关键问题：

它陷入到了\textbf{W} _{hh}^{\top }的潜在的非常大的指数幂。在这个指数幂中，小于1的特征值将会消失（出现梯度消失），大于1的特征值将会发散（出现梯度爆炸）。

相关文章：

循环神经网络中的梯度消失或梯度爆炸问题产生原因分析（二）

上一篇中讨论了一般性的原则，这里我们具体讨论通过时间反向传播（backpropagation through time，BPTT）的细节。我们将展示目标函数对于所有模型参数的梯度计算方法。 出于简单的目的，我们以一个没有偏置参数的循环神经…...

编程日记 2023/12/25 11:50:47

JWT signature does not match locally computed signature

1. 问题背景 最近在协助团队小盆友调试一个验签问题，结果还“节外生枝”了，原来不是签名过程的问题，是token的问题。 当你看到“JWT signature does not match locally computed signature. JWT validity cannot be asserted and should not…...

编程日记 2023/12/25 11:48:45

vitepress项目使用github的action自动部署到github-pages中，理论上可以通用所有

使用github的action自动部署到github-pages中 创建部署的deploy.yml文件，在项目的根目录下面 .github\workflows\deploy.yml 完整的代码：使用的是pnpm进行依赖安装。 name: 部署VitePresson:push:branches:- docs # 这段是在推送到 docs 分支时触发该…...

编程日记 2023/12/25 11:45:42

Python爬虫---解析---JSONPath

Xpath可以解析本地文件和服务器响应的文件，JSONPath只能解析本地文件 1. 安装jsonpath：pip install jsonpath 注意：需要安装在python解释器相同的位置,例如：D:\Program Files\Python3.11.4\Scripts 2. 使用步骤 2.1 导入&…...

编程日记 2023/12/25 11:44:41

路由器介绍和命令操作

先来回顾一下上次的内容： ip地址就是由32位二进制数组 二进位数就是只有数字0和1组成 网络位：类似于区号，表示区域作用 主机位：类似于号码，表示区域中编号 网络名称：网络位不变，主机位全为0 …...

编程日记 2023/12/25 11:43:40

Hadoop——分布式计算

一、分布式计算概述 1. 什么是计算、分布式计算？ 计算：对数据进行处理，使用统计分析等手段得到需要的结果分布式计算：多台服务器协同工作，共同完成一个计算任务2. 分布式计算常见的2种工作模式分散->汇总 （MapReduce就是这种模式）将数据分片，多台服务器各自负责一…...

编程日记 2023/12/25 11:40:37

LaTeX引用参考文献 | Texstudio引用参考文献

图片版教程： 文字版教程： ref.bib里面写参考的文献，ref.bib和document.tex要挨着放，同一个目录里面. 解析一下bib文件格式：aboyeji2023effect是引用文献的关键字，需要在正文document.tex里面使用\cite指令…...

编程日记 2023/12/25 11:39:37

如何在Go中使用模板

引言 您是否需要以格式良好的输出、文本报告或HTML页面呈现一些数据?你可以使用Go模板来做到这一点。任何Go程序都可以使用text/template或html/template包(两者都包含在Go标准库中)来整齐地显示数据。 这两个包都允许你编写文本模板并将数据传递给它们，以按你喜欢的格式呈…...

编程日记 2023/12/25 11:37:35

云原生之深入解析基于FunctionGraph在Serverless领域的FinOps的探索和实践

一、背景 Serverless 精确到毫秒级的按用付费模式使得用户不再需要为资源的空闲时间付费。然而，对于给定的某个应用函数，由于影响其计费成本的因素并不唯一，使得用户对函数运行期间的总计费进行精确的事先估计变成了一项困难的工作。以传统云…...

编程日记 2023/12/25 11:36:34

电子电器架构（E/E）演化 —— 主流主机厂域集中架构概述

电子电器架构（E/E）演化 —— 主流主机厂域集中架构概述 我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 屏蔽力是信息过载时代一个人的特殊竞争力，任何消耗你的人和事，多看一眼都是你的不对。…...

编程日记 2023/12/25 11:33:32

Python常用的几个函数

print()函数：用于打印输出信息到控制台。 input()函数：用于从控制台获取用户输入。 len()函数：用于获取字符串、列表、元组、字典等对象的长度。 range()函数：用于生成一个整数序列，常用于循环中。 type()函数&…...

编程日记 2023/12/25 11:31:28

【Linux系统基础】（2）在Linux上部署MySQL、RabbitMQ、ElasticSearch等各类软件

实战章节：在Linux上部署各类软件 前言 为什么学习各类软件在Linux上的部署 在前面，我们学习了许多的Linux命令和高级技巧，这些知识点比较零散，同学们跟随着课程的内容进行练习虽然可以基础掌握这些命令和技巧的使用，…...

编程日记 2023/12/25 11:26:24

HarmonyOS4.0系统性深入开发01应用模型的构成要素

应用模型的构成要素 应用模型是HarmonyOS为开发者提供的应用程序所需能力的抽象提炼，它提供了应用程序必备的组件和运行机制。有了应用模型，开发者可以基于一套统一的模型进行应用开发，使应用开发更简单、高效。 HarmonyOS应用模型的构成要…...

编程日记 2023/12/25 11:23:20

线下终端门店调研包含哪些内容

品牌渠道一般分为线上和线下，线上的价格、促销信息、店铺优惠机制等都可以通过登录查看，但是线下门店的数据则需要进店巡查，否则无法得到真实的店铺销售数据，当然也有品牌是靠线下的业务团队报备机制获得这些信息，但是…...

编程日记 2023/12/25 11:21:19

倾斜摄影三维模型数据在行业应用分析

倾斜摄影三维模型数据在行业应用分析 倾斜摄影三维模型数据是一种重要的地理信息资源，可以广泛应用于各个行业和场景，以解决不同领域的问题。以下将详细探讨几个典型的行业或场景，它们利用倾斜摄影三维模型数据解决问题的应用。 1、地理测绘…...

编程日记 2023/12/25 11:20:18

Apache Flink 进阶教程（七）：网络流控及反压剖析

目录 前言 网络流控的概念与背景 为什么需要网络流控 网络流控的实现：静态限速 网络流控的实现：动态反馈/自动反压 案例一：Storm 反压实现 案例二：Spark Streaming 反压实现 疑问：为什么 Flink（bef…...

编程日记 2023/12/25 11:19:17

k8s学习 — （DevOps实践）第十三章 DevOps 环境搭建

k8s学习 — （DevOps实践）第十三章 DevOps 环境搭建 学习资料1 Gitlab1.1 安装 Gitlab1.2 页面配置1.3 配置 Secret1.4 为项目配置 Webhook1.5 卸载 2 Harbor2.1 安装 Harbor2.1 配置 Secret 3 SonarQube3.1 安装 SonarQube3.2 生成服务 token3.3 创建 We…...

编程日记 2023/12/25 11:18:16

Java_Stream流

一、JDK8新特性（Stream流） 接下来学习一个全新的知识，叫做Stream流（也叫Stream API）。它是从JDK8以后才有的一个新特性，是专业用于对集合或者数组进行便捷操作的。有多方便呢？我们用一个案例体…...

编程日记 2023/12/25 11:17:15

delphi中，tstringlist使用方法示例

delphi中，tstringlist使用方法示例 在 Delphi 中，TStringList 是一个常用的字符串列表类，它提供了许多用于处理字符串列表的方法。以下是一个示例，演示了如何在 Delphi 中使用 TStringList 类： program TStringListEx…...

编程日记 2023/12/25 11:15:13

【飞凌 OK113i-C 全志T113-i开发板】视频编解码测试

前言 本文测试OK113i-S开发板-视频编解码的功能 OK113i-S开发板是支持视频的编解码的，下面是官方介绍的编解码功能 T113-i 是一种为多媒体解码平台设计的高级应用处理器。T113-i 集成了64位玄铁C906 RISC-V CPU， 双核 Cortex - A7 CPU 和 HiFi4 DSP&a…...

编程日记 2023/12/25 11:14:12

Redis相关知识总结（缓存雪崩，缓存穿透，缓存击穿，Redis实现分布式锁，如何保持数据库和缓存一致）

文章目录 1.什么是Redis？2.为什么要使用redis作为mysql的缓存？3.什么是缓存雪崩、缓存穿透、缓存击穿？3.1缓存雪崩3.1.1 大量缓存同时过期3.1.2 Redis宕机 3.2 缓存击穿3.3 缓存穿透3.4 总结 4. 数据库和缓存如何保持一致性5. Redis实现分布式…...

编程新知 2025/9/13 17:44:49

2.Vue编写一个app

1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...

编程新知 2025/9/14 12:35:19

1.3 VSCode安装与环境配置

进入网址Visual Studio Code - Code Editing. Redefined下载.deb文件&#xff0c;然后打开终端&#xff0c;进入下载文件夹&#xff0c;键入命令 sudo dpkg -i code_1.100.3-1748872405_amd64.deb 在终端键入命令code即启动vscode 需要安装插件列表 1.Chinese简化 2.ros …...

编程新知 2025/8/25 22:27:27

Cinnamon修改面板小工具图标

Cinnamon开始菜单-CSDN博客 设置模块都是做好的&#xff0c;比GNOME简单得多&#xff01; 在 applet.js 里增加 const Settings imports.ui.settings;this.settings new Settings.AppletSettings(this, HTYMenusonichy, instance_id); this.settings.bind(menu-icon, menu…...

编程新知 2025/8/14 2:06:45

Nginx server_name 配置说明

Nginx 是一个高性能的反向代理和负载均衡服务器&#xff0c;其核心配置之一是 server 块中的 server_name 指令。server_name 决定了 Nginx 如何根据客户端请求的 Host 头匹配对应的虚拟主机&#xff08;Virtual Host&#xff09;。 1. 简介 Nginx 使用 server_name 指令来确定…...

编程新知 2025/9/6 16:47:17

Mac软件卸载指南，简单易懂！

刚和Adobe分手&#xff0c;它却总在Library里给你写"回忆录"&#xff1f;卸载的Final Cut Pro像电子幽灵般阴魂不散&#xff1f;总是会有残留文件&#xff0c;别慌&#xff01;这份Mac软件卸载指南&#xff0c;将用最硬核的方式教你"数字分手术"&#xff0…...

编程新知 2025/8/13 4:43:34

Unit 1 深度强化学习简介

Deep RL Course ——Unit 1 Introduction 从理论和实践层面深入学习深度强化学习。学会使用知名的深度强化学习库&#xff0c;例如 Stable Baselines3、RL Baselines3 Zoo、Sample Factory 和 CleanRL。在独特的环境中训练智能体&#xff0c;比如 SnowballFight、Huggy the Do…...

编程新知 2025/7/31 23:29:01

基于单片机的宠物屋智能系统设计与实现（论文+源码）

本设计基于单片机的宠物屋智能系统核心是实现对宠物生活环境及状态的智能管理。系统以单片机为中枢&#xff0c;连接红外测温传感器&#xff0c;可实时精准捕捉宠物体温变化&#xff0c;以便及时发现健康异常&#xff1b;水位检测传感器时刻监测饮用水余量&#xff0c;防止宠物…...

编程新知 2025/9/9 10:05:43

LangChain【6】之输出解析器：结构化LLM响应的关键工具

文章目录 一 LangChain输出解析器概述1.1 什么是输出解析器&#xff1f;1.2 主要功能与工作原理1.3 常用解析器类型 二 主要输出解析器类型2.1 Pydantic/Json输出解析器2.2 结构化输出解析器2.3 列表解析器2.4 日期解析器2.5 Json输出解析器2.6 xml输出解析器 三 高级使用技巧3…...

编程新知 2025/9/8 10:44:26

VSCode 没有添加Windows右键菜单

关键字&#xff1a;VSCode&#xff1b;Windows右键菜单&#xff1b;注册表。 文章目录 前言一、工程环境二、配置流程1.右键文件打开2.右键文件夹打开3.右键空白处打开文件夹 三、测试总结 前言 安装 VSCode 时没有注意&#xff0c;实际使用的时候发现 VSCode 在 Windows 菜单栏…...

编程新知 2025/9/9 10:00:24