当前位置： 首页 > news >正文

2022最新版-李宏毅机器学习深度学习课程-P26 Recurrent Neural Network

news 2026/2/11 2:08:49

RNN

应用场景：填满信息

把每个单词表示成一个向量的方法：独热向量

还有其他方法，比如：Word hashing 单词哈希

  • 输入：单词
  • 输出：该单词属于哪一类的概率分布

由于输入是文字序列，这就产生了一个问题：

是到达还是离开？

隐藏层的输出会被存储在内存中，内存能被视为另一个输入。

改变序列的顺序会改变输出。

RNN的网络结构

目前已提出的两个网络及区别

双向RNN

        它与传统的循环神经网络（RNN）相比有一个重要的区别：它在每个时间步上包含两个方向的循环连接，一个从过去到未来（正向），另一个从未来到过去（逆向）。

        在双向RNN中，每个时间步的隐藏状态是由两部分组成，一部分来自正向传播，另一部分来自逆向传播。这使得双向RNN能够捕捉到序列中的上下文信息，不仅考虑了过去的信息还考虑了未来的信息。这对于很多自然语言处理任务，如情感分析、命名实体识别、语言建模等非常有用，因为理解一个词语或标记通常需要考虑它周围的上下文。

        在训练双向RNN时，通常会使用标准的反向传播算法，但是需要在正向和逆向传播中分别计算梯度，然后将它们合并以更新网络参数。这使得双向RNN的训练稍微复杂一些，但在实际应用中，往往能够提供更好的性能。

RNN的经典变形：LSTM

四个输入，1个输出，三个门

网络结构

三个门都是1：打开，0：关闭

注意这与遗忘门的名字是反着的，但就是这么奇怪~

操作例子

原本的网络结构

参数是原本的四倍

结构简图

一个单元

多个单元

多层的LSTM

Keras支持三个RNN：LSTM GRU SimpleRNN

相关文章：

2022最新版-李宏毅机器学习深度学习课程-P26 Recurrent Neural Network

RNN 应用场景：填满信息 把每个单词表示成一个向量的方法：独热向量 还有其他方法，比如：Word hashing 单词哈希 输入：单词输出：该单词属于哪一类的概率分布 由于输入是文字序列，这就产生了一个问…...

编程日记 2023/10/18 22:29:17

【Qt控件之QButtonGroup】概述及使用

概述 QButtonGroup 类提供了一个容器来组织一组按钮部件。 QButtonGroup 提供了一个抽象容器，可以将按钮部件放置其中。它不提供此容器的可视表示（请参见 QGroupBox，用于容器部件），而是管理组中每个按钮的状态。 一个…...

编程日记 2023/10/18 22:28:16

【开源分享】基于Html开发的房贷计算器，模仿新浪财经

房贷计算器是一种房贷计算的在线计算Web应用，按用户选择的贷款类型、贷款金额、期限、利率可计算得出每月月供参考、支付利息、还款总额这些信息。本文模仿新浪财经开发的房贷计算器。 作品预览 https://fangdai.gitapp.cn 源码地址 https://github.com/geeeeeee…...

编程日记 2023/10/18 22:27:15

ftp文件上传缓慢问题

问题描述 某环境下，通过vsftp上传文件缓慢。 问题分析 这个问题是由于服务器DNS导致，如果在内网机器中，配置了公网的DNS或者其他不能链接的DNS，会导致上传缓慢。 解决方案 目前有两种解决方式，任选其一即可&#…...

编程日记 2023/10/18 22:26:13

【周末闲谈】VR新视界，“眼”见未来

个人主页：【😊个人主页】 系列专栏：【❤️周末闲谈】 系列目录 ✨第一周 二进制VS三进制 ✨第二周 文心一言，模仿还是超越？ ✨第二周 畅想AR 文章目录 系列目录前言虚拟现实(VR)技术虚拟现实技术的原理虚拟现实技术发…...

编程日记 2023/10/18 22:25:12

CSRF和XSS是什么？

CSRF（Cross-site request forgery）：跨站请求伪造。 用户是网站A的注册用户，且登录进去，于是网站A就给用户下发cookie。 满足条件： （1）登录受信任网站A，并在本地生成Cook…...

编程日记 2023/10/18 22:24:11

【Machine Learning】01-Supervised learning

01-Supervised learning 1. 机器学习入门1.1 What is Machine Learning?1.2 Supervised learning1.3 Unsupervised learning 2. Supervised learning2.1 单元线性回归模型2.1.1 Linear Regression Model（线性回归模型）2.1.2 Cost Function（代…...

编程日记 2023/10/18 22:23:10

《视觉 SLAM 十四讲》V2 第 8 讲 视觉里程计2 【如何根据图像 估计 相机运动】【光流 —＞ 直接法】

OpenCV关于 光流的教程 文章目录 第 8 讲 视觉里程计 28.2 光流8.3 实践： LK 光流 【Code】本讲 CMakeLists.txt 8.4 直接法8.5 实践： 双目的稀疏直接法 【Code】8.5.4 直接法的优缺点 习题 8√ 题1 光流方法题2题3题4题5 第 8 讲 视觉里程计 2 P205 …...

编程日记 2023/10/18 22:22:09

Unity DOTS System与SystemGroup概述

最近DOTS终于发布了正式的版本, 我们来分享以下DOTS里面System关键概念，方便大家上手学习掌握Unity DOTS开发。 对惹，这里有一个游戏开发交流小组，希望大家可以点击进来一起交流一下开发经验呀！ System是迭代计算与处理World中的…...

编程日记 2023/10/18 22:20:07

IDEA使用内置database数据库连接mysql报错：javax.net.ssl.SSLHandshakeException

参考一些博客的方式： 使用idea内置database连接数据库报错javax.net.ssl.SSLHandshakeException: No appropriate protocol_idea database ssl_你当像山的博客-CSDN博客 他们的方式是：在url后添加useSSLfalse 介绍另外一种方式： 点击datab…...

编程日记 2023/10/18 22:19:05

从Flink的Kafka消费者看算子联合列表状态的使用

背景 算子的联合列表状态是平时使用的比较少的一种状态，本文通过kafka的消费者实现来看一下怎么使用算子列表联合状态 算子联合列表状态 首先我们看一下算子联合列表状态的在进行故障恢复或者从某个保存点进行扩缩容启动应用时状态的恢复情况 算子联合列表状态主…...

编程日记 2023/10/18 22:18:04

CSS3 按钮

创建 CSS3 按钮可以通过组合样式属性和伪类来实现 <!DOCTYPE html> <html> <head><link rel"stylesheet" type"text/css" href"styles.css"> </head> <body><button class"basic-button">…...

编程日记 2023/10/18 22:17:02

STM32 BootLoader设置

编写bootloader程序&#xff1a; 直接复制下面代码到自己程序中。 typedef void (*iapfun)(void); //定义一个函数类型的参数. iapfun jump2app; //设置栈顶地址 //addr:栈顶地址 __asm void MSR_MSP(u32 addr) {MSR MSP, r0 //set Main Stack valueBX r14 }//跳转到…...

编程日记 2023/10/18 22:16:00

django REST framework-使用与不使用的区别？

首先&#xff0c;来回顾一下传统的基于模板引擎的 django 开发工作流&#xff1a; 绑定 URL 和视图函数。当用户访问某个 URL 时&#xff0c;调用绑定的视图函数进行处理。 编写视图函数的逻辑。视图中通常涉及数据库的操作。 在视图中渲染 HTML 模板&#xff0c;返回 HTTP 响应…...

编程日记 2023/10/18 22:15:00

获取URL中的参数

获取URL中的参数 function getUrlParam(name) {var reg new RegExp("(^|&)" name "([^&]*)(&|$)");var r window.location.search.substr(1).match(reg);if (r ! null)return unescape(r[2]);return null; } 这个正则表达式就是一个URL路…...

编程日记 2023/10/18 22:13:59

一起学数据结构（9）——二叉树的链式存储及相关功能实现

目录 1. 二叉树的链式存储&#xff1a; 2. 二叉树的前序遍历&#xff1a; 3. 二叉树的中序遍历&#xff1a; 4. 二叉树的后序遍历&#xff1a; 5. 统计二叉树的结点总数 6.统计二叉树的叶子结点数&#xff1a; 7. 统计二叉树第层的结点数量&#xff1a; 8. 二叉树的销毁…...

编程日记 2023/10/18 22:12:58

vue 后端返回二进制流-前端通过blob对象下载文件-图片

前言 在实际开发中我们经常会遇见下载文件的场景&#xff0c;比如下载合同&#xff0c;下载文件 下载文件有2种方式&#xff0c;一种是后端返回二进制流&#xff0c;前端通过blob对象接受根据不同类型下载 还有一种把地址直接在浏览器新窗口打开浏览器打开pdf可以预览和下载&…...

编程日记 2023/10/18 22:11:56

vue el-dialog封装成子组件（组件化）

前言 实际开发过程中我们经常听见组件化开发&#xff0c;但在实际开发过程中&#xff08;没有人审查时&#xff09;怎么方便来 我们有时是因为时间不够&#xff0c;所以把所有代码写在一个页面。当业务逻辑复杂时可能会有1k多行 虽然不能要求自己写出高效复用性高的组件&…...

编程日记 2023/10/18 22:10:55

爬虫教程 一 requests包的使用

request 简介 requests 是一个常用的 HTTP 请求库&#xff0c;可以方便地向网站发送 HTTP 请求&#xff0c;并获取响应结果。 response.text 和response.content的区别 response.text 类型&#xff1a;str解码类型&#xff1a; requests模块自动根据HTTP 头部对响应的编码作…...

编程日记 2023/10/18 22:09:54

Aria2NG连接aria2-pro提示认证失败的处理办法

本文档适用于已经安装了aria2-pro和AriaNg的小伙伴~ 第一次登录管理端会提示”认证失败“ 这是因为aria设置了密码&#xff0c;需要在设置中配置上密码即可 配置完密码重新加载就可以正常使用啦 下载速度明显比以前快了很多 下载参考文档 Docker安装下载神器aria2并使用过程记…...

编程日记 2023/10/18 22:08:53

基于大模型的 UI 自动化系统

基于大模型的 UI 自动化系统 下面是一个完整的 Python 系统，利用大模型实现智能 UI 自动化，结合计算机视觉和自然语言处理技术，实现"看屏操作"的能力。 系统架构设计 #mermaid-svg-2gn2GRvh5WCP2ktF {font-family:"trebuchet ms",verdana,arial,sans-…...

编程新知 2025/10/22 11:16:20

Robots.txt 文件

什么是robots.txt&#xff1f; robots.txt 是一个位于网站根目录下的文本文件&#xff08;如&#xff1a;https://example.com/robots.txt&#xff09;&#xff0c;它用于指导网络爬虫&#xff08;如搜索引擎的蜘蛛程序&#xff09;如何抓取该网站的内容。这个文件遵循 Robots…...

编程新知 2025/9/9 5:38:23

WordPress插件：AI多语言写作与智能配图、免费AI模型、SEO文章生成

厌倦手动写WordPress文章&#xff1f;AI自动生成&#xff0c;效率提升10倍&#xff01; 支持多语言、自动配图、定时发布&#xff0c;让内容创作更轻松&#xff01; AI内容生成 → 不想每天写文章&#xff1f;AI一键生成高质量内容&#xff01;多语言支持 → 跨境电商必备&am…...

编程新知 2026/1/30 17:24:20

JUC笔记(上)-复习 涉及死锁 volatile synchronized CAS 原子操作

一、上下文切换 即使单核CPU也可以进行多线程执行代码&#xff0c;CPU会给每个线程分配CPU时间片来实现这个机制。时间片非常短&#xff0c;所以CPU会不断地切换线程执行&#xff0c;从而让我们感觉多个线程是同时执行的。时间片一般是十几毫秒(ms)。通过时间片分配算法执行。…...

编程新知 2026/1/31 23:25:09

爬虫基础学习day2

# 爬虫设计领域 工商&#xff1a;企查查、天眼查短视频&#xff1a;抖音、快手、西瓜 ---> 飞瓜电商&#xff1a;京东、淘宝、聚美优品、亚马逊 ---> 分析店铺经营决策标题、排名航空&#xff1a;抓取所有航空公司价格 ---> 去哪儿自媒体&#xff1a;采集自媒体数据进…...

编程新知 2025/12/5 3:38:11

【学习笔记】深入理解Java虚拟机学习笔记——第4章 虚拟机性能监控，故障处理工具

第2章 虚拟机性能监控&#xff0c;故障处理工具 4.1 概述 略 4.2 基础故障处理工具 4.2.1 jps:虚拟机进程状况工具 命令&#xff1a;jps [options] [hostid] 功能&#xff1a;本地虚拟机进程显示进程ID&#xff08;与ps相同&#xff09;&#xff0c;可同时显示主类&#x…...

编程新知 2026/1/15 1:34:10

项目部署到Linux上时遇到的错误（Redis，MySQL，无法正确连接，地址占用问题）

Redis无法正确连接 在运行jar包时出现了这样的错误 查询得知问题核心在于Redis连接失败&#xff0c;具体原因是客户端发送了密码认证请求&#xff0c;但Redis服务器未设置密码 1.为Redis设置密码&#xff08;匹配客户端配置&#xff09; 步骤&#xff1a; 1&#xff09;.修…...

编程新知 2026/2/10 23:35:00

快刀集(1): 一刀斩断视频片头广告

一刀流&#xff1a;用一个简单脚本&#xff0c;秒杀视频片头广告&#xff0c;还你清爽观影体验。 1. 引子 作为一个爱生活、爱学习、爱收藏高清资源的老码农&#xff0c;平时写代码之余看看电影、补补片&#xff0c;是再正常不过的事。 电影嘛&#xff0c;要沉浸&#xff0c;…...

编程新知 2026/1/8 0:40:27

MySQL 部分重点知识篇

一、数据库对象 1. 主键 定义 &#xff1a;主键是用于唯一标识表中每一行记录的字段或字段组合。它具有唯一性和非空性特点。 作用 &#xff1a;确保数据的完整性&#xff0c;便于数据的查询和管理。 示例 &#xff1a;在学生信息表中&#xff0c;学号可以作为主键&#xff…...

编程新知 2025/8/19 22:24:50

WPF八大法则：告别模态窗口卡顿

⚙️ 核心问题&#xff1a;阻塞式模态窗口的缺陷 原始代码中ShowDialog()会阻塞UI线程&#xff0c;导致后续逻辑无法执行&#xff1a; var result modalWindow.ShowDialog(); // 线程阻塞 ProcessResult(result); // 必须等待窗口关闭根本问题&#xff1a…...

编程新知 2026/1/26 17:26:03