当前位置： 首页 > news >正文

张伟楠动手学强化学习笔记|第一讲（上）

news 2026/2/9 12:43:06

张伟楠动手学强化学习笔记|第一讲（上）

在这里插入图片描述
在这里插入图片描述

人工智能的两种任务类型

  • 预测型任务
    • 有监督学习
    • 无监督学习
  • 决策型任务
    • 强化学习
      在这里插入图片描述

序贯决策(Sequential Decision Making)

智能体序贯地做出一个个决策，并接续看到新的观测，知道最终任务结束
max ⁡ π E π , E n v [ ∑ t = 0 T γ t r ( s t , a t ) ] \max_{\pi} \mathbb{E}_{\pi,Env}[\sum_{t=0}^{T}\gamma^{t}r(s_t,a_t)] πmax​Eπ,Env​[t=0∑T​γtr(st​,at​)]

强化学习的定义

通过交互学习来实现目标的计算方法

在这里插入图片描述

三个方面

  • 感知：可以某种程度上感知环境的状态
  • 动作：可以采取动作来影响状态或者达到目标
  • 目标：随着时间推移最大化累计奖励

交互过程

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

相关文章：

张伟楠动手学强化学习笔记|第一讲（上）

张伟楠动手学强化学习笔记|第一讲（上） 人工智能的两种任务类型 预测型任务 有监督学习无监督学习 决策型任务 强化学习 序贯决策(Sequential Decision Making) 智能体序贯地做出一个个决策，并接续看到新的观测，知道最终任务结…...

编程日记 2024/12/4 8:46:12

python脚本：Word文档批量转PDF格式

读取指定文件夹中的所有 .doc 和 .docx 文件，并利用 Word 软件将它们转换为 PDF 格式，并保存在同一个文件夹中，以源文件命名。 请确保你已经安装了 Microsoft Word，并且在运行脚本时关闭了所有正在运行的 Word 实例。运行该程序时…...

编程日记 2024/12/4 8:45:11

性能测试常见面试问题和答案

一、有没有做过性能测试，具体怎么做的 性能测试是有做过的，不过我们那个项目的性能做得不多，公司要求也不严格。一般SE 给我们相关的性能需求，首先我们需要对性能需求进行场景分析与设计，这里，其实主要就是…...

编程日记 2024/12/4 8:44:07

uniapp进阶技巧：如何优雅地封装request实例

在uniapp开发过程中，合理封装网络请求是提高代码质量和开发效率的关键。本文将介绍一种更为优雅的封装方式，通过创建一个request实例来管理不同类型的HTTP请求。 一、准备工作 在开始封装之前，请确保你的项目中已经安装了uniapp开发环境&…...

编程日记 2024/12/4 8:43:06

实验五、流式视频服务程序mjpg-streamer移植实验

实验日期： 2024 年 10 月 22 日 报告退发 (订正 、 重做) 一、实验目的 1、掌握流式视频服务程序源代码mjpg-streamer的交叉编译方法； 2、掌握在tiny210开发板中运行mjpg-streamer方法； 二、实验内容 1、开启一台烧写了嵌入式Linux系统的…...

编程日记 2024/12/4 8:42:05

(长期更新）《零基础入门 ArcGIS(ArcMap) 》实验三----学校选址与路径规划（超超超详细！！！）

目录 实验三 学校选址与道路规划 3.1 实验内容及目的 3.1.1 实验内容 3.1.2 实验目的 3.2 实验方案 3.3 操作流程 3.3.1 环境设置 3.3.2 地势分析 （1）提取坡度: (2)重分类: 3.3.3 学校点分析 (1)欧氏距离: (2)重分类: 3.3.4 娱乐场所点分析 (1)欧氏距离…...

编程日记 2024/12/4 8:41:04

L16.【LeetCode笔记】前序遍历

目录 1.知识回顾 2.题目 代码模板 3.分析 数组的初始化 malloc开辟的几种方案对比 奇怪的参数returnSize 做法 代码框架 4.代码 提交结果 5.PreOrder函数常见的错误写法 1.知识回顾 106.【C语言】数据结构之二叉树的三种递归遍历方式 2.题目 https://leetcode.…...

编程日记 2024/12/4 8:39:02

泰州榉之乡全托机构探讨：自闭症并非家庭的 “末日”

当提及自闭症时，很多人会担忧地问：自闭症对家庭来说是毁灭性的吗？今天，泰州榉之乡全托机构就来为大家解开这个疑问。 榉之乡大龄自闭症托养机构在江苏、广东、江西等地都有分校，一直致力于为大龄自闭症患者提供专业的支…...

编程日记 2024/12/4 8:37:01

BiGRU：双向门控循环单元在序列处理中的深度探索

一、引言 在当今的人工智能领域，序列数据的处理是一个极为重要的任务，涵盖了自然语言处理、语音识别、时间序列分析等多个关键领域。循环神经网络（RNN）及其衍生结构在处理序列数据方面发挥了重要作用。然而，传统的 RN…...

编程日记 2024/12/4 8:35:58

【vue-router】Vue-router如何实现路由懒加载

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，…...

编程日记 2024/12/4 8:34:57

Linux网络编程基础

目录 一、网络发展历史和分层 1.1Internet的历史 1.2网络的体系结构 1.2.1OSI模型 1.2.2TCP/IP协议族 1.2.3各层典型协议 1.2.4网络的封包和拆包 二、网络编程的预备知识 2.1Socket 2.1.1概念 2.1.2类型 2.2IP地址 2.3端口号 2.4字节序 一、网络发展历史和分层 …...

编程日记 2024/12/4 8:33:56

MySQL中的幻读问题

1. 什么是幻读？ 幻读是一种数据库事务中可能出现的并发问题，具体表现为：在同一个事务中，前后两次查询的结果集不同，仿佛“幻影”一般，出现了原本不存在的数据。 1.1 具体表现： 现象描述 事务 A…...

编程日记 2024/12/4 8:32:54

AI后端工程师面试题的内容

AI后端工程师面试题主要包括以下几个方面的内容‌： ‌一、技术基础和项目经验‌： ‌1. 微服务架构的理解和应用‌：请描述你对微服务架构的理解，并举例说明一个你参与过的微服务项目，阐述你在该项目中扮演的角色和所承…...

编程日记 2024/12/4 8:31:53

MFC工控项目实例三十五读取数据库数据

点击按钮打开文件夹中的数据文件生成曲线 相关代码 void CSEAL_PRESSUREDlg::OnTesReport() {CFileDialog dlgOpen(TRUE/*TRUE打开，FALSE保存*/,0,0,OFN_NOCHANGEDIR|OFN_FILEMUSTEXIST,"All Files(mdb.*)|*.*||",//文件过滤器NULL);CString mdb_1, m…...

编程日记 2024/12/4 8:30:52

OpenWrt -制作ubifs文件系统的固件

目的 创建一个ubifs为文件系统的镜像 将backup目录中的内容打包成ubifs文件系统。 ubifs的分区定义 ubi-backup.cfg 文件内容如下， [backup] modeubi imagenand-ipq6018-single.img vol_id0 vol_typedynamic vol_namebackup [bkver] modeubi imagebackup.ubifs v…...

编程日记 2024/12/4 8:29:50

C++ - 继承

继承的基本概念 继承就是一种代码的复用. 子类通过继承父类, 就能使用父类的变量, 方法. 学生和老师这两种身份, 他们都有共同的属性: 他们都有名称, 年龄, 性别 .... 当然他们也有各种独有的属性, 学生有学号, 老师有工号 .... 对于这些共有的属性, 我们可以将它们提取出来: …...

编程日记 2024/12/4 8:26:47

华为服务器使用U盘重装系统

一、准备工作 下载官方系统（注意服务器CPU的架构是x86-64还是aarch64，不然可能报意想不到的错）制作启动U盘（下载rufus制作工具，注意文件系统选FAT32还是NTFS） 二、安装步骤 将U盘插入USB接口重启服务器…...

编程日记 2024/12/4 8:24:44

网络分层模型（ OSI、TCP/IP、五层协议）

1、网络分层模型 计算机网络是一个极其复杂的系统。想象一下最简单的情况：两台连接在网络上的计算机需要相互传输文件。不仅需要确保存在一条传输数据的通路，还需要完成以下几项工作： 发起通信的计算机必须激活数据通路，这包括发…...

编程日记 2024/12/4 8:22:42

前端开发 之 15个页面加载特效上【附完整源码】

文章目录 一：彩球环绕加载特效1.效果展示2.HTML完整代码 二：跷跷板加载特效1.效果展示2.HTML完整代码 三：两个圆形加载特效1.效果展示2.HTML完整代码 四：半环加载特效1.效果展示2.HTML完整代码 五：音乐波动加载特效1.效…...

编程日记 2024/12/4 8:21:41

Spring Boot使用JDK 21虚拟线程

JDK 21引入的虚拟线程（Virtual Threads）是 Project Loom 的一部分，旨在显著简化并发编程并提高 Java 应用的可扩展性。以下是虚拟线程的主要特点： 1. 概念 虚拟线程是轻量级线程，与传统的操作系统线程不同&#xff0…...

编程日记 2024/12/4 8:19:38

【kafka】Golang实现分布式Masscan任务调度系统

要求： 输出两个程序，一个命令行程序（命令行参数用flag）和一个服务端程序。 命令行程序支持通过命令行参数配置下发IP或IP段、端口、扫描带宽，然后将消息推送到kafka里面。 服务端程序： 从kafka消费者接收…...

编程新知 2026/2/8 20:41:58

Prompt Tuning、P-Tuning、Prefix Tuning的区别

一、Prompt Tuning、P-Tuning、Prefix Tuning的区别 1. Prompt Tuning（提示调优） 核心思想：固定预训练模型参数，仅学习额外的连续提示向量（通常是嵌入层的一部分）。实现方式：在输入文本前添加可训练的连续向量（软提示），模型只更新这些提示参数。优势：参数量少（仅提…...

编程新知 2026/2/9 1:17:40

Appium+python自动化（十六）- ADB命令

简介 Android 调试桥(adb)是多种用途的工具，该工具可以帮助你你管理设备或模拟器 的状态。 adb ( Android Debug Bridge)是一个通用命令行工具，其允许您与模拟器实例或连接的 Android 设备进行通信。它可为各种设备操作提供便利，如安装和调试…...

编程新知 2026/1/21 18:20:51

Java 8 Stream API 入门到实践详解

一、告别 for 循环&#xff01; 传统痛点&#xff1a; Java 8 之前&#xff0c;集合操作离不开冗长的 for 循环和匿名类。例如&#xff0c;过滤列表中的偶数&#xff1a; List<Integer> list Arrays.asList(1, 2, 3, 4, 5); List<Integer> evens new ArrayList…...

编程新知 2026/1/12 10:41:22

【HarmonyOS 5.0】DevEco Testing：鸿蒙应用质量保障的终极武器

——全方位测试解决方案与代码实战 一、工具定位与核心能力 DevEco Testing是HarmonyOS官方推出的​​一体化测试平台​​&#xff0c;覆盖应用全生命周期测试需求&#xff0c;主要提供五大核心能力&#xff1a; ​​测试类型​​​​检测目标​​​​关键指标​​功能体验基…...

编程新知 2026/1/28 8:17:53

蓝牙 BLE 扫描面试题大全(2)：进阶面试题与实战演练

前文覆盖了 BLE 扫描的基础概念与经典问题蓝牙 BLE 扫描面试题大全(1)&#xff1a;从基础到实战的深度解析-CSDN博客&#xff0c;但实际面试中&#xff0c;企业更关注候选人对复杂场景的应对能力&#xff08;如多设备并发扫描、低功耗与高发现率的平衡&#xff09;和前沿技术的…...

编程新知 2026/2/5 3:41:42

macOS多出来了：Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用

文章目录 问题现象问题原因解决办法 问题现象 macOS启动台&#xff08;Launchpad&#xff09;多出来了&#xff1a;Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用。 问题原因 很明显&#xff0c;都是Google家的办公全家桶。这些应用并不是通过独立安装的…...

编程新知 2025/12/4 19:00:05

相机从app启动流程

一、流程框架图 二、具体流程分析 1、得到cameralist和对应的静态信息 目录如下： 重点代码分析： 启动相机前，先要通过getCameraIdList获取camera的个数以及id，然后可以通过getCameraCharacteristics获取对应id camera的capabilities（静态信息）进行一些openCamera前的…...

编程新知 2026/1/31 5:09:19

鸿蒙DevEco Studio HarmonyOS 5跑酷小游戏实现指南

1. 项目概述 本跑酷小游戏基于鸿蒙HarmonyOS 5开发&#xff0c;使用DevEco Studio作为开发工具&#xff0c;采用Java语言实现&#xff0c;包含角色控制、障碍物生成和分数计算系统。 2. 项目结构 /src/main/java/com/example/runner/├── MainAbilitySlice.java // 主界…...

编程新知 2025/12/19 22:56:05

服务器--宝塔命令

一、宝塔面板安装命令 ⚠️ 必须使用 root 用户 或 sudo 权限执行&#xff01; sudo su - 1. CentOS 系统&#xff1a; yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh2. Ubuntu / Debian 系统…...

编程新知 2025/10/3 10:56:48