当前位置： 首页 > article >正文

什么是 近端策略优化算法PPO

article 2026/4/18 18:39:39

什么是 近端策略优化算法PPO

近端策略优化算法（Proximal Policy Optimization，PPO）是OpenAI公司于2017年开发的一系列无模型强化学习算法，用于优化策略网络以最大化累计奖励。以下是具体介绍及示例：

算法原理

  • 策略梯度：PPO基于策略梯度算法，通过估计策略网络的梯度来更新策略，使得智能体在环境中采取的行动能够最大化累计奖励。策略梯度算法的核心思想是根据当前策略在环境中采样得到的轨迹，计算出能够使奖励增加的策略更新方向。
  • 重要性采样：为了在不重新收集数据的情况下利用旧策略收集的数据来更新当前策略，PPO采用了重要性采样技术。它通过计算新旧策略下动作的概率比值，来对旧数据的奖励进行加权，使得这些数据能够在新策略的更新中发挥作用。
  • 近端优化：PPO算法引入了近端策略优化的思想，限制每次策略更新的幅度，以确保策略的更新不会过于剧烈，从而保证训练的稳定性和收敛性。具体来说，它通过在目标函数中添加一个与新旧策略之间的**KL散度相关的项，**来约束策略的

相关文章：

什么是 近端策略优化算法PPO

什么是 近端策略优化算法PPO 近端策略优化算法（Proximal Policy Optimization，PPO）是OpenAI公司于2017年开发的一系列无模型强化学习算法，用于优化策略网络以最大化累计奖励。以下是具体介绍及示例： 算法原理 策略梯度：PPO基于策略梯度算法，通过估计策略网络的梯度来更…...

编程日记 2026/2/20 14:26:06

【Java】实现后端请求接口

【Java】实现后端请求接口 【一】使用 HttpURLConnection 实现四种请求方式的示例【1】Get请求【2】POST请求【3】PUT请求【4】DELETE 请求【5】汇总工具类，通过传参实现4种请求 【二】HttpClient 实现四种请求方式的示例【1】GET请求【2】POST 请求【3】PUT 请求【…...

编程日记 2026/4/11 1:22:16

假面与演员：到底是接口在使用类，还是类在使用接口？编程接口与物理接口的区别又是什么？

前言：本篇文章解释了接口学习过程中的2个常见问题，一个是“为什么是类在使用接口”，另一个一个是“编程接口与物理接口的差异源于所处的抽象层次和交互模式的不同”，旨在揭示编程接口的本质。 Part1.是类在使用接口 当学习接口时…...

编程日记 2026/4/18 1:26:33

Node.js 中的 Event 模块详解

Node.js 中的 Event 模块是实现事件驱动编程的核心模块。它基于观察者模式，允许对象（称为“事件发射器”）发布事件，而其他对象（称为“事件监听器”）可以订阅并响应这些事件。这种模式非常适合处理异步操作和…...

编程日记 2026/1/19 23:39:48

C# 添加图标

一、前言 为应用程序添加图标是优化用户界面、提升应用辨识度的重要操作。合适的图标能帮助用户快速识别和区分不同应用，增强应用的易用性和专业性。 本指南旨在为你提供详细、易懂的步骤，教你如何为应用程序的窗体添加图标。从图标素材的获取到具体的…...

编程日记 2026/4/13 18:16:07

Docker 入门与实战：从安装到容器管理的完整指南

🚀 Docker 入门与实战：从安装到容器管理的完整指南 🌟 📖 简介 在现代软件开发中，容器化技术已经成为不可或缺的一部分。而 Docker 作为容器化领域的领头羊，以其轻量级、高效和跨平台的特性，深…...

编程日记 2026/4/15 8:21:16

4.【线性代数】——矩阵的LU分解

四 矩阵的LU分解 1. AB的逆矩阵2. 转置矩阵3. ALU3.1 2x2矩阵3.2 3x3矩阵3.3 nxn的矩阵分解的次数？ 1. AB的逆矩阵 { ( A B ) ( B − 1 A − 1 ) I ( B − 1 A − 1 ) ( A B ) I ⇒ ( A B ) − 1 B − 1 A − 1 \begin{cases} (AB)(B^{-1}A^{-1}) I\\ (B^{-1}A^…...

编程日记 2026/1/8 11:19:14

ELK8.17部署（Ubantu24x64）

检查java环境 ELK8.x不支持java8 若无环境可执行 sudo apt install openjdk-17-jre-headless 准备安装包 官网下载地址: ELK products 搜Elasticsearch、Kibana、Logstash、Filebeat versions需一致，这里使用8.17.0 Elasticsearch Kibana Logstash Filebeat e…...

编程日记 2026/3/29 8:09:26

什么是算法的空间复杂度和时间复杂度，分别怎么衡量。

1. 时间复杂度 时间复杂度衡量的是算法运行时间与输入规模之间的关系。它通常用大O记号（Big O Notation）表示，例如 O(1)、O(n)、O(n2) 等。 衡量方法： 常数时间复杂度 O(1)：无论输入规模如何，算法的执行时…...

编程日记 2025/12/24 9:54:46

HCIA项目实践---ACL访问控制列表相关知识和配置过程

十 ACL访问控制列表 1 策略的概念 在网络连通之后， 把所有为了追求控制而实现的技术都叫策略 2 访问控制 在路由器流量流入或者流出的接口上，匹配流量，执行相应的动作。（流量流入或者流出的接口并不是一个固定的概念而是一个相对的…...

编程日记 2026/4/14 2:13:24

细说STM32F407单片机RTC入侵检测和时间戳的原理及使用方法

目录 一、入侵检测的功能 二、示例功能 三、项目设置 1、晶振、DEBUG、CodeGenerator、USART6、KEYLED 2、RTC （1）设置RTC的模式。 （2）General、Time、Date\Wake Up分组 （3）Tamper分组 1&#xff…...

编程日记 2026/4/13 8:34:02

STM32 CAN过滤器配置和应用方法介绍

目录 概述 一、CAN过滤器核心概念 二、过滤器配置步骤（以标准ID为例） 三、不同模式的配置示例 四、高级配置技巧 五、调试与问题排查 六、关键计算公式 总结 概述 在STM32微控制器中，CAN过滤器可以配置为标识符屏蔽模式和标识符列表模…...

编程日记 2025/12/1 23:37:49

搜狗浏览器卸载教程

需求背景 今天发现geek居然无法卸载搜狗浏览器，作为一个老司机，这是不允许的。如果你使用geek或者windows的卸载，或者直接在它的安装包的Uninstall.exe中卸载，他走到100%就一直不动了。那玩意是假的。 卸载教程 结束 -----华丽的…...

编程日记 2026/4/17 16:49:11

Go 模块管理工具 `go mod tidy` 和 `go.sum` 文件详解

Go 模块管理工具 go mod tidy 和 go.sum 文件详解 引言 Go 语言自引入模块（module）系统以来，极大地简化了依赖管理和版本控制。go mod tidy 和 go.sum 文件是 Go 模块系统中的两个重要组成部分，它们共同确保项目的依赖项是最新的…...

编程日记 2026/1/9 0:32:24

音视频入门基础：RTP专题（9）——FFmpeg接收RTP流的原理和内部实现

一、引言 由《音视频入门基础：RTP专题（2）——使用FFmpeg命令生成RTP流》可以知道，推流端通过下面FFmpeg命令可以将一个媒体文件转推RTP，生成RTP流： ffmpeg -re -stream_loop -1 -i input.mp4 -vcodec cop…...

编程日记 2026/4/18 0:05:02

STM32 串口转 虚拟串口---实现USB转串口功能

一，USART与UART 区别 USART（Universal Synchronous/Asynchronous Receiver/Transmitter）通用同步/异步串行接收/发送器 相较于UART：通用异步收发传输器（Universal Asynchronous Receiver/Transmitter）多了…...

编程日记 2026/4/9 21:24:50

【进程与线程】Linux 线程、同步以及互斥

每个用户进程有自己的地址空间。 线程是操作系统与多线程编程的基础知识。 系统为每个用户进程创建一个 task_struct 来描述该进程：该结构体中包含了一个指针指向该进程的虚拟地址空间映射表： 实际上 task_struct 和地址空间映射表一起用来表示一个进程…...

编程日记 2026/4/8 4:17:48

胶囊网络动态路由算法：突破CNN空间局限性的数学原理与工程实践

一、CNN的空间局限性痛点解析 传统CNN的瓶颈： 池化操作导致空间信息丢失（最大池化丢弃85%激活值）无法建模层次空间关系（旋转/平移等变换不敏感）局部感受野限制全局特征整合 示例对比： # CNN最大池化示例…...

编程日记 2026/4/17 16:22:40

当pcie设备变化时centos是否会修改网络设备的名称（AI回答）

当pcie设备变化时centos是否会修改网络设备的名称 在CentOS（以及其他基于Linux的操作系统）中，网络接口的命名通常遵循特定的规则，尤其是在使用PCIe设备（如网络适配器）时。网络接口的命名通常基于设备的物理…...

编程日记 2026/4/18 17:41:21

【人工智能】释放数据潜能：使用Featuretools进行自动化特征工程

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！ 解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界 特征工程是机器学习流程中至关重要的一步，它直接影响模型的性能。然而，手动特征工程既耗时又需要领域专业知识。Featuretools是一个强大的…...

编程日记 2025/12/24 2:34:05

docker批量pull/save/load/tag/push镜像shell脚本

目录 注意： 脚本内容 执行效果 注意： 以下脚本为shell脚本通过docker/nerdctl进行镜像独立打包镜像的相关操作脚本内仓库信息和镜像存取路径需自行更改需自行创建images.txt并填写值，并且与脚本位于同级目录下 [rootmaster01 sulibao]# l…...

编程日记 2026/4/7 18:47:32

对正则表达式说不！！！

可能大家都会和我一样，时常会遇到正则表达式，有时候会忘记某些字符而苦恼。今天就帮助大家克服它，虽然不多，但我认为掌握这些足够了，万变不离其宗，以不变应万变。 一、正则表达式内容分类 1. 字符类 [abc…...

编程日记 2025/8/6 19:19:28

Redis日志分析

主从同步尝试： 日志中多次出现“Master is currently unable to PSYNC but should be in the future: -NOMASTERLINK Can’t SYNC while not connected with my master”。这表明从服务器尝试与主服务器进行部分重同步（PSYNC），但由…...

编程日记 2026/4/15 12:54:21

【做一个微信小程序】校园地图页面实现

前言 上一个教程我们实现了小程序的一些的功能，有背景渐变色，发布功能有的呢，已支持图片上传功能，表情和投票功能开发中（请期待）。下面是一个更高级的微信小程序实现，包含以下功能：…...

编程日记 2026/4/8 11:21:08

Web后端 - Maven管理工具

一 Maven简单介绍 Maven是apache旗下的一个开源项目，是一款用于管理和构建java项目的工具。 Maven的作用 二 Maven 安装配置 依赖配置 依赖传递 依赖范围 生命周期 注意事项：在同一套生命周期中，当运行后面的阶段时，前面的阶段都…...

编程日记 2026/4/14 23:37:34

20250217-POMO笔记

文章目录 前言一、伪代码一：POMO Training二、伪代码二：POMO Inference三、POMO注意力模型3.1、自注意力机制3.2、AM模型 前言 以下主要讲解两个算法的伪代码以及注意力模型。 一、伪代码一：POMO Training POMO Training是POMO模型训练的伪…...

编程日记 2026/4/12 16:35:26

JavaEE-SpringBoot快速入门

文章目录 本节目标Maven什么是Maven创建一个Maven项目maven项目功能maven的依赖管理全球仓库, 私服, 本地服务器, 配置国内镜像 第一个SpringBoot项目创建项目运行SpringBoot程序 SpringBoot原理初步Web服务器 总结 本节目标 了解什么是maven, 配置国内源使用Springboot创建项…...

编程日记 2026/4/12 20:42:53

游戏引擎学习第107天

仓库:https://gitee.com/mrxiao_com/2d_game_2 回顾我们之前停留的位置 在这段内容中，讨论了如何处理游戏中的三维效果，特别是如何处理额外的“Z层”。由于游戏中的艺术资源是位图而不是3D模型，因此实现三维效果变得非常具有挑战性。虽然可…...

编程日记 2026/4/8 10:25:59

Sprinig源码解析

前言 Spring 框架是 Java 企业级开发的基石，其源码设计体现了模块化、扩展性和灵活性。以下从 IoC 容器、AOP 实现、核心模块和关键设计模式四个角度对 Spring 源码进行深度解析，帮助理解其底层机制。即使Spring会使用的人见得就能使用。 一、IoC 容器源…...

编程日记 2025/3/15 22:16:51

ComfyUI流程图生图原理详解

一、引言 ComfyUI 是一款功能强大的工具，在图像生成等领域有着广泛应用。本文补充一点ComfyUI 的安装与配置过程遇到的问题，并深入剖析图生图过程及相关参数，帮助读者快速入门并深入理解其原理。 二、ComfyUI 的安装与配置中遇到的问题 &a…...

编程日记 2026/4/8 14:01:02