强化学习笔记7——DDPG到TD3
前提：基于TD 的方法多少都会有高估问题，即Q值偏大。原因两个：一、TD目标是真实动作的高估。 二：自举法高估。
DDPG 属于AC方法：异策略，适合连续动作空间，因为他的策略网络直接输出的动作，是向量就表示执行的动作。
而之前的PPO是输出动作的均值和方差，DQN 等输出每个动作的概率
################## ### ###################相当于 TDerror 的两部分用两个网络预测 ###################### ########
TD3参考
TD3 相比DDPG 改进其实就是 针对不稳定、高估问题，加了两个策略网络和价值网络。即targetNet 和 mainNet ,和之前DQN的做法很像。
针对 Critic网络预测Q 偏大问题，设置两个Critic 同时估计Q ，然后选择小的那一个Q再做error
相关文章：
强化学习笔记7——DDPG到TD3
前提：基于TD 的方法多少都会有高估问题，即Q值偏大。原因两个：一、TD目标是真实动作的高估。 二：自举法高估。 DDPG 属于AC方法：异策略，适合连续动作空间，因为他的策略网络直接输出的动作&#…...
win10 系统 自定义Ollama安装路径 及模型下载位置
win10 系统 自定义Ollama安装路径 及模型下载位置 由于Ollama的exe安装软件双击安装的时候默认是在C盘，以及后续的模型数据下载也在C盘，导致会占用C盘空间，所以这里单独写了一个自定义安装Ollama安装目录的教程。 Ollama官网地址࿱…...
-bash:/usr/bin/rm: Argument list too long 解决办法
问题概述 小文件日志太多导致无法使用rm命令，因为命令行参数列表的长度超过了系统允许的最大值。 需要删除/tmp目录下的所有文件，文件数量比较多。 ls -lt /tmp | wc -l 5682452 解决方法如下： 使用find -exec 遍历，然后执行删…...
内容中台重构企业内容管理流程驱动智能协作升级
内容概要 内容中台作为企业数字化转型的核心基础设施，通过技术架构革新与功能模块整合，重构了传统内容管理流程的底层逻辑。其核心价值在于构建动态化、智能化的内容生产与流转体系，将分散的创作、存储、审核及分发环节纳入统一平台管理。基…...
python实现YouTube关键词爬虫（2025/02/11）
在当今数字化时代，YouTube作为全球最大的视频分享平台之一，拥有海量的视频资源。无论是进行市场调研、内容创作还是学术研究，能够高效地获取YouTube上的相关视频信息都显得尤为重要。今天，我将为大家介绍一个基于Python实现的YouT…...
【效率技巧】怎么做思维导图||数学思维||费曼学习法
目录标题 常见问题：认知误区和建议：思维导图按照功能分类思维导图好处步骤（拆解的步骤） 常见问题： 1、做好的思维导图浪费时间 2、做简单的思维导图没有效果 认知误区和建议： 1、做思维导图工具…...
LabVIEW与USB设备开发
开发一台USB设备并使用LabVIEW进行上位机开发，涉及底层驱动的编写、USB通信协议的实现以及LabVIEW与设备的接口设计。本文将详细介绍如何开发USB设备驱动、实现LabVIEW与USB设备的通信以及优化数据传输，帮助用户顺利完成项目开发。下面是一个详细的说明&…...
动态规划LeetCode-416.分割等和子集
给你一个 只包含正整数 的 非空 数组 nums 。请你判断是否可以将这个数组分割成两个子集，使得两个子集的元素和相等。 示例 1： 输入：nums [1,5,11,5] 输出：true 解释：数组可以分割成 [1, 5, 5] 和 [11] 。 示例 2&…...
云原生（五十五） | ECS中自建数据库迁移到RDS
文章目录 ECS中自建数据库迁移到RDS 一、场景说明 二、ECS中自建数据库迁移到RDS实现步骤 三、 创建wordpress数据库 四、登录ECS导出wordpress数据库 五、返回RDS数据库管理控制台 六、开启外网地址并设置白名单 七、获取RDS外网访问地址 八、重新设置wordpress的wp-…...
【吾爱出品】 视频批量分段工具
视频批量分段工具 链接：https://pan.xunlei.com/s/VOJDvtHQE7GOiJ84WNea5Ay1A1?pwd5nta# 选择视频文件 启动程序后，点击 "文件" 菜单下的 "选择视频文件" 按钮，或者直接将视频文件拖放到程序窗口中的视频列表区域。支…...
HTML【详解】input 标签
input 标签主要用于接收用户的输入，随 type 属性值的不同，变换其具体功能。 通用属性 属性属性值功能name字符串定义输入字段的名称，在表单提交时，服务器通过该名称来获取对应的值disabled布尔值禁用输入框，使其无法被…...
二叉搜索树的实现（C++）
前言 二叉搜索树（搜索二叉树，Binary search tree）是一种特殊的二叉树。其规则为：左子树的值一定小于等于根，右子树的值一定大于等于根，并且左右子树也为搜索二叉树。 二叉搜索树的插入 1.若树为空…...
vue2老版本 npm install 安装失败_安装卡主
vue2老版本 npm install 安装失败_安装卡主 特别说明：vue2老版本安装慢、运行慢，建议升级vue3element plus vite 解决方案1： 第一步、修改npm 镜像为国内镜像 使用淘宝镜像： npm config set registry https://registry.npmmir…...
【MySQL】索引篇
1.什么时候适用索引？ 字段有唯一限制，比如商品编码经常用于where查询条件的字段经常用于group by和order by 的字段 2.什么时候不需要创建索引？ 字段中存在大量重复经常更新的字段表数据太少的时候 where条件、group by，order by里…...
Arduino 第十六章：pir红外人体传感器练习
Arduino 第十六章：PIR 传感器练习 一、引言 在 Arduino 的众多有趣项目中，传感器的应用是非常重要的一部分。今天我们要学习的主角是 PIR（被动红外）传感器。PIR 传感器能够检测人体发出的红外线，常用于安防系统、自动…...
鸿蒙面试题
1.0penHarmony的系统架构是怎样的？ 2.电话服务的框架？ 3.OpenHarmony与HarmonyOS有啥区别？...
Rust 语言入门(一）：打印与格式化输出
对于初学者来说，掌握 Rust 的基本 I/O 操作是入门的第一步。本篇博客将介绍 Rust 语言的打印机制，包括基本的 print!、println! 宏，格式化输出方式，并探讨其底层原理。 Rust 的基本打印 在 Rust 中，最常见的输出方式…...
vue3.x 的 toRef详细解读
在 Vue 3.x 中，toRef 是一个用于创建响应式引用的工具函数。它可以将一个响应式对象的某个属性转换为一个独立的 ref 对象，同时保持与原始属性的响应式连接。以下是 toRef 的详细解读和示例。 1. toRef 的作用 核心功能 toRef 用于从响应式对象&#x…...
wordpress资讯类网站整站打包
wordpress程序，内置了价值499元的模板.但是有了模板没有全自动采集相信大多数人都搞不懂，目录那么多，全靠原创几乎是不可能的事情，除非你是大公司，每人控制一个板块， 这套源码里面最有价值的应该是这个采集…...
GitHub基本操作及Git简单命令
GitHub简介 GitHub就是一个远程仓库，远程仓库可以理解为就是一个可以保存自己代码的地方，在实际开发当中一个项目往往是有多个人来共同协作开发完成的，那么就需要一个统一代码保存的地方，而GitHub就是起到一个共享和汇总代码的作…...
3步搞定顽固窗口：用WindowResizer强制调整任意应用窗口尺寸的完整指南
3步搞定顽固窗口：用WindowResizer强制调整任意应用窗口尺寸的完整指南 【免费下载链接】WindowResizer 一个可以强制调整应用程序窗口大小的工具 项目地址: https://gitcode.com/gh_mirrors/wi/WindowResizer 还在为那些无法拖拽调整大小的应用程序窗口而烦恼…...
AgentGym-RL：基于ScalingInter-RL的LLM智能体强化学习训练框架实战
1. 项目概述：用强化学习教会大模型“走多步棋” 如果你关注过大语言模型（LLM）智能体的发展，可能会发现一个现象：很多模型在单轮问答、代码生成或数学解题上表现惊艳，但一旦把它们放到一个需要连续决策、与…...
如何在现代Windows系统上完美运行经典游戏：DDrawCompat兼容性解决方案终极指南
如何在现代Windows系统上完美运行经典游戏：DDrawCompat兼容性解决方案终极指南 【免费下载链接】DDrawCompat DirectDraw and Direct3D 1-7 compatibility, performance and visual enhancements for Windows Vista, 7, 8, 10 and 11 项目地址: https://gitcode.c…...
Go语言构建Webhook转发桥梁：解决内网穿透，实现自动化流程
1. 项目概述：一个轻量级的Webhook转发桥梁如果你在开发微服务、自动化流程，或者正在折腾各种SaaS工具之间的联动，那你一定对Webhook不陌生。简单来说，Webhook就是一种“反向API”，它允许一个应用在特定事件发生时&…...
利川乡村民宿：口碑驱动的选品与运营策略解析
利川乡村民宿：口碑驱动的选品与运营策略解析“‘利川乡村民宿的核心竞争力，从来不是装修多豪华，而是能否让游客真正享受清凉与安心’——这是利川乡村民宿行业的共识，但如何选到靠谱的民宿、理解其运营逻辑，却困扰着不…...
LLM上下文工程化实践：从向量检索到智能问答的完整解决方案
1. 项目概述：从“上下文”到“工程化”的桥梁 如果你是一名AI应用开发者，或者正在尝试将大语言模型（LLM）集成到你的产品中，那么“上下文管理”这个词对你来说一定不陌生，甚至可能是一个痛点。我们常常会遇到…...
HPH的构造是怎样的
HPH（高压均质机）的构造乍一看显得颇为复杂，然而深入探究后会发现其原理清晰明了。简单来讲，它主要由动力系统、均质阀组、冷却系统和进排料模块这四大部分所构成。动力系统为整个高压均质机提供运转的动力源泉，均质阀组…...
3步解锁Windows触控板三指拖拽：像MacBook一样高效操作
3步解锁Windows触控板三指拖拽：像MacBook一样高效操作 【免费下载链接】ThreeFingersDragOnWindows Enables macOS-style three-finger dragging functionality on Windows Precision touchpads. 项目地址: https://gitcode.com/gh_mirrors/th/ThreeFingersDragOn…...
HS2-HF_Patch：5分钟解锁《Honey Select 2》完整体验的终极指南
HS2-HF_Patch：5分钟解锁《Honey Select 2》完整体验的终极指南 【免费下载链接】HS2-HF_Patch Automatically translate, uncensor and update HoneySelect2! 项目地址: https://gitcode.com/gh_mirrors/hs/HS2-HF_Patch HS2-HF_Patch是《Honey Select 2》玩…...
AI Agent与区块链交互：aelf钱包技能包架构设计与实战指南
1. 项目概述：为AI Agent赋能的aelf区块链钱包技能包如果你正在开发一个需要与aelf区块链交互的AI Agent，或者你希望让Claude、Cursor这类AI工具能帮你管理数字资产、查询链上数据，那么你很可能需要一套标准化的“技能”。portkey/eoa-agent-s…...