IsaacLab | 如何在Manipulation任务中添加新的目标(target)
如是我闻: 终于让我给摸索出来了,在这里描述一下问题场景。
假使说我们有一个机械臂操作的任务,这样婶的
Isaac Lab | Push
我们想做多目标的任务,这时候需要向环境中添加第二个目标,像这样
Isaac Lab | Add target
那么就需要改动如下代码。
1. 添加新的目标命令
假如你的环境保留了IsaacLab他提供的的文件结构,像这样
我们应该有一个叫做 ****_env_cfg.py
的文件环境名,在lift环境里,有一个 lift_env_cfg.py
,在reach 环境中,有一个reach_env_cfg.py
。也许你有一个自己命名的文件,但是没有关系。
在 ****_env_cfg.py
中,我们包装了如环境设置ObjectTableSceneCfg
,目标命令CommandsCfg
,动作空间ActionCfg
,观察空间ObservationCfg
,随机化事件EvetCfg
,奖励函数RewardsCfg
,终止条件TerminationsCfg
等项
我们首先需要改动的在 ****_env_cfg.py
中,找到目标命令类CommandsCfg
,他可能长这样
@configclass
class CommandsCfg:"""Command terms for the MDP."""object_pose = mdp.UniformPoseCommandCfg(asset_name="robot",body_name=MISSING, # will be set by agent env cfgresampling_time_range=(5.0, 5.0),debug_vis=True,ranges=mdp.UniformPoseCommandCfg.Ranges(pos_x=(0.3, 0.7), pos_y=(-0.3, 0.3), pos_z=(0.0, 0.0), roll=(0.0, 0.0), pitch=(0.0, 0.0), yaw=(0.0, 0.0)),)
这里只写了一个目标命令object_pose
,我们直接复制粘贴,可以得到
@configclass
class CommandsCfg:"""Command terms for the MDP."""object_pose = mdp.UniformPoseCommandCfg(asset_name="robot",body_name=MISSING, # will be set by agent env cfgresampling_time_range=(5.0, 5.0),debug_vis=True,ranges=mdp.UniformPoseCommandCfg.Ranges(pos_x=(0.3, 0.7), pos_y=(-0.3, 0.3), pos_z=(0.0, 0.0), roll=(0.0, 0.0), pitch=(0.0, 0.0), yaw=(0.0, 0.0)),)object2_pose = mdp.UniformPoseCommandCfg(asset_name="robot",body_name=MISSING, # will be set by agent env cfgresampling_time_range=(5.0, 5.0),debug_vis=True,ranges=mdp.UniformPoseCommandCfg.Ranges(pos_x=(0.3, 0.7), pos_y=(-0.3, 0.3), pos_z=(0.0, 0.0), roll=(0.0, 0.0), pitch=(0.0, 0.0), yaw=(0.0, 0.0)),)
这样我们就有两个目标命令了(傻笑)。
2. 将新的目标命令添加到观察空间中
还是在这个****_env_cfg.py
文件中,找到观察空间类ObservationCfg
@configclass
class ObservationsCfg:"""Observation specifications for the MDP."""@configclassclass PolicyCfg(ObsGroup):"""Observations for policy group."""joint_pos = ObsTerm(func=mdp.joint_pos_rel)joint_vel = ObsTerm(func=mdp.joint_vel_rel)object_position = ObsTerm(func=mdp.object_position_in_robot_root_frame)target1_object1_position = ObsTerm(func=mdp.generated_commands, params={"command_name": "object_pose"})# Add object2 position in robot root frameobject2_position = ObsTerm(func=mdp.object2_position_in_robot_root_frame)actions = ObsTerm(func=mdp.last_action)def __post_init__(self):self.enable_corruption = Trueself.concatenate_terms = True# observation groupspolicy: PolicyCfg = PolicyCfg()
这里我们需要添加新的target_object_position
,所以object2_position
后面会加一句。
@configclass
class ObservationsCfg:"""Observation specifications for the MDP."""@configclassclass PolicyCfg(ObsGroup):"""Observations for policy group."""joint_pos = ObsTerm(func=mdp.joint_pos_rel)joint_vel = ObsTerm(func=mdp.joint_vel_rel)object_position = ObsTerm(func=mdp.object_position_in_robot_root_frame)target1_object1_position = ObsTerm(func=mdp.generated_commands, params={"command_name": "object_pose"})# Add object2 position in robot root frameobject2_position = ObsTerm(func=mdp.object2_position_in_robot_root_frame)target2_object2_position = ObsTerm(func=mdp.generated_commands, params={"command_name": "object2_pose"})actions = ObsTerm(func=mdp.last_action)def __post_init__(self):self.enable_corruption = Trueself.concatenate_terms = True# observation groupspolicy: PolicyCfg = PolicyCfg()
当然这里使用的是我个人的一种情况举例,只是为了告诉老铁们如果添加了新的目标到环境里,不要忘了把他加到观察空间中哦!
3. 把body_name的名字传进去
事情是这样的,让我们回过头去看目标命令类的代码CommandsCfg
@configclass
class CommandsCfg:"""Command terms for the MDP."""object_pose = mdp.UniformPoseCommandCfg(asset_name="robot",body_name=MISSING, # will be set by agent env cfgresampling_time_range=(5.0, 5.0),debug_vis=True,ranges=mdp.UniformPoseCommandCfg.Ranges(pos_x=(0.3, 0.7), pos_y=(-0.3, 0.3), pos_z=(0.0, 0.0), roll=(0.0, 0.0), pitch=(0.0, 0.0), yaw=(0.0, 0.0)),)object2_pose = mdp.UniformPoseCommandCfg(asset_name="robot",body_name=MISSING, # will be set by agent env cfgresampling_time_range=(5.0, 5.0),debug_vis=True,ranges=mdp.UniformPoseCommandCfg.Ranges(pos_x=(0.3, 0.7), pos_y=(-0.3, 0.3), pos_z=(0.0, 0.0), roll=(0.0, 0.0), pitch=(0.0, 0.0), yaw=(0.0, 0.0)),)
他的body_name属性是没有(Missing)的,他的注释后面说 will be set by agent env cfg,会被agent的环境配置传进来,这就神奇了。
众所周知,agent的环境配置在这个文件夹下,以lift任务为例
打开我们想更改的配置文件,我们能看到这样的代码
@configclass
class Franka2CubePushEnvCfg(Push2EnvCfg):def __post_init__(self):# post init of parentsuper().__post_init__()# Set Franka as robotself.scene.robot = FRANKA_PANDA_CFG.replace(prim_path="{ENV_REGEX_NS}/Robot")# Set actions for the specific robot type (franka)self.actions.body_joint_pos = mdp.JointPositionActionCfg(asset_name="robot", joint_names=["panda_joint.*"], scale=0.5, use_default_offset=True)self.actions.finger_joint_pos = mdp.BinaryJointPositionActionCfg(asset_name="robot",joint_names=["panda_finger.*"],open_command_expr={"panda_finger_.*": 0.04},close_command_expr={"panda_finger_.*": 0.0},)# Set the body name for the end effectorself.commands.object_pose.body_name = "panda_hand"
可以看到是在最后一行,他把panda_hand
的名字传进来了, 所以我们要为新的目标命令也把名字传过去,修改后的代码会像
@configclass
class Franka2CubePushEnvCfg(Push2EnvCfg):def __post_init__(self):# post init of parentsuper().__post_init__()# Set Franka as robotself.scene.robot = FRANKA_PANDA_CFG.replace(prim_path="{ENV_REGEX_NS}/Robot")# Set actions for the specific robot type (franka)self.actions.body_joint_pos = mdp.JointPositionActionCfg(asset_name="robot", joint_names=["panda_joint.*"], scale=0.5, use_default_offset=True)self.actions.finger_joint_pos = mdp.BinaryJointPositionActionCfg(asset_name="robot",joint_names=["panda_finger.*"],open_command_expr={"panda_finger_.*": 0.04},close_command_expr={"panda_finger_.*": 0.0},)# Set the body name for the end effectorself.commands.object_pose.body_name = "panda_hand"self.commands.object2_pose.body_name = "panda_hand"
4. 设计新的奖励函数
这一步就说不明白了,因为大家搓出来的任务都不大一样。但终归我们加了新的目标,是为了做新的强化学习训练的,那就又得为新的目标更改新的奖励函数。
但是通过上面的步骤,新的目标标记会出现在环境中就是这样
非常的有品
以上
相关文章:

IsaacLab | 如何在Manipulation任务中添加新的目标(target)
如是我闻: 终于让我给摸索出来了,在这里描述一下问题场景。 假使说我们有一个机械臂操作的任务,这样婶的 Isaac Lab | Push 我们想做多目标的任务,这时候需要向环境中添加第二个目标,像这样 Isaac Lab | Add target 那…...

【Python从入门到进阶】61、Pandas中DataFrame对象的操作(二)
接上篇《60、Pandas中DataFrame对象的操作(一)》 上一篇我们讲解了DataFrame对象的简介、基本操作及数据清洗相关的内容。本篇我们来继续讲解DataFrame对象的统计分析、可视化以及数据导出与保存相关内容。 一、DataFrame的统计分析 在数据分析和处理中…...

Linux(虚拟机)的介绍
Linux介绍 常见的操作系统 Windows:微软公司开发的一款桌面操作系统(闭源系统)。版本有dos,win98,win NT,win XP , win7, win vista. win8, win10,win11。服务器操作系统:winserve…...

CSS(九)——CSS 轮廓(outline)
CSS 轮廓(outline) 轮廓(outline)是绘制于元素周围的一条线,位于边框边缘的外围,可起到突出元素的作用。 轮廓(outline)属性指定元素轮廓的样式、颜色和宽度。 让我们用一个图来看…...
Unity Timeline:构建复杂动画序列的利器
Unity的Timeline是一个强大的动画工具,它允许开发者创建复杂的动画序列,将动画、音频和事件整合到一个统一的时间轴上。Timeline的可视化编辑界面使得动画制作变得更加直观和灵活。本文将介绍Unity Timeline的基本概念、功能以及如何使用它来实现动画。 …...

C# 与C++ cli
cli CLI(Command Line Interface)是一种通过命令行界面与计算机系统进行交互的方式。它提供了一种以文本形式输入命令和接收系统输出的方法,用于执行各种操作和管理计算机系统。以下是CLI的详细解释: 一、定义与基本概念 定义&…...

Linux文件编程--打开及创建
...
Vue3点击按钮实现跳转页面并携带参数
前提:有完整的路由规则 1.源页面 <template><div><h1>源页面</h1><!--通过js代码跳转--><template #default"scope"><button click"toTargetView(scope.row)">点击跳转携带参数</button><…...

探索Linux-1-虚拟机远程登陆XShell6远程传输文件Xftp6
Linux是什么? Linux是一个开源的操作系统内核,由林纳斯托瓦兹(Linus Torvalds)于1991年首次发布。它基于Unix操作系统,但提供了更多的自由和灵活性。Linux内核是操作系统的核心部分,负责管理系统资源、处理…...

SpringBoot中使用监听器
1.定义一个事件 /*** 定义事件* author hrui* date 2024/7/25 12:46*/ public class CustomEvent extends ApplicationEvent {private String message;public CustomEvent(Object source, String message) {super(source);this.message message;}public String getMessage() …...
mybatise全接触-面试宝典-知识大全
1 . 简述什么是Mybatis和原理 ? Mybatis工作原理: (1)Mybatis是一个半ORM(对象关系映射)框架,它内部封装了JDBC,加载驱动、创建连接、创建statement等繁杂的过程,开发者…...

Catalyst优化器:让你的Spark SQL查询提速10倍
目录 1 逻辑优化阶段 2.1 逻辑计划解析 2.2 逻辑计划优化 2.2.1 Catalys的优化过程 2.2.2 Cache Manager优化 2 物理优化阶段 2.1 优化 Spark Plan 2.1.1 Catalyst 的 Join 策略 2.1.2 如何决定选择哪一种 Join 策略 2.2 Physical Plan 2.2.1 EnsureRequirements 规则 3 相关文…...

【Hot100】LeetCode—416. 分割等和子集
目录 题目1- 思路2- 实现⭐152. 乘积最大子数组——题解思路 3- ACM 实现 题目 原题连接:416. 分割等和子集 1- 思路 理解为背包问题 思路: 能否将均分的子集理解为一个背包,比如对于 [1,5,11,5],判断能否凑齐背包为 11 的容量…...

前端开发知识-vue
大括号里边放键值对,即是一个对象。 一、vue可以简化前端javascript的操作。 主要特点是可以实现视图、数据的双向绑定。 使用vue主要分为三个步骤: 1.javascript中引入vue.js 可以src中可以是vue的网址,也可以是本地下载。 2.在javasc…...

【嵌入式硬件】快衰减和慢衰减
1.引语 在使用直流有刷电机驱动芯片A4950时,这款芯片采用的是PWM控制方式,我发现他的正转、反转有两种控制方式,分别是快衰减和慢衰减。 2.理解 慢衰减:相当于加在电机(感性原件)两端电压消失,将电机两端正负短接。 快衰减:相当于加在电机(感性原件)两端电压消失,将电机…...

C语言 | Leetcode C语言题解之第275题H指数II
题目: 题解: int hIndex(int* citations, int citationsSize) {int left 0, right citationsSize - 1;while (left < right) {int mid left (right - left) / 2;if (citations[mid] > citationsSize - mid) {right mid - 1;} else {left mi…...
速盾:网络安全和 CDN 之间的关系是怎样的?
网络安全和内容交付网络(CDN)之间有着密切的关系。网络安全主要涉及保护网络和系统免受各种威胁和攻击,而CDN是一种用于提供更快速、高效和可靠的内容交付服务的技术。在当今数字化和云计算时代,网络安全和CDN之间的关系变得更加紧…...

数据库安全:MySQL安全配置,MySQL安全基线检查加固
「作者简介」:冬奥会网络安全中国代表队,CSDN Top100,就职奇安信多年,以实战工作为基础著作 《网络安全自学教程》,适合基础薄弱的同学系统化的学习网络安全,用最短的时间掌握最核心的技术。 这一章节我们需要知道MySQL的安全基线标准和加固方式。 MySQL基线检查 1、更新…...
【SpringBoot】参数传递
1.定义URL变量 RequestMapping("/user/{username}") ResponseBody public String userProfile(PathVariable String username){ return "user:"username; } 2.定义多个URL变量 RequestMapping("/user/{username}/blog/{blogId}") Response…...
Unity 骨骼动画(Skinned Mesh Renderer): 角色动画的高级渲染
在Unity中,骨骼动画(Skinned Mesh Renderer)是一种用于高级角色动画渲染的组件。它允许开发者将复杂的3D模型和动画应用到游戏角色上,实现逼真的视觉效果。本文将探讨Skinned Mesh Renderer的基本概念、使用方法以及如何优化性能。 Skinned Mesh Render…...

eNSP-Cloud(实现本地电脑与eNSP内设备之间通信)
说明: 想象一下,你正在用eNSP搭建一个虚拟的网络世界,里面有虚拟的路由器、交换机、电脑(PC)等等。这些设备都在你的电脑里面“运行”,它们之间可以互相通信,就像一个封闭的小王国。 但是&#…...

YSYX学习记录(八)
C语言,练习0: 先创建一个文件夹,我用的是物理机: 安装build-essential 练习1: 我注释掉了 #include <stdio.h> 出现下面错误 在你的文本编辑器中打开ex1文件,随机修改或删除一部分,之后…...

Opencv中的addweighted函数
一.addweighted函数作用 addweighted()是OpenCV库中用于图像处理的函数,主要功能是将两个输入图像(尺寸和类型相同)按照指定的权重进行加权叠加(图像融合),并添加一个标量值&#x…...

OPenCV CUDA模块图像处理-----对图像执行 均值漂移滤波(Mean Shift Filtering)函数meanShiftFiltering()
操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 算法描述 在 GPU 上对图像执行 均值漂移滤波(Mean Shift Filtering),用于图像分割或平滑处理。 该函数将输入图像中的…...
稳定币的深度剖析与展望
一、引言 在当今数字化浪潮席卷全球的时代,加密货币作为一种新兴的金融现象,正以前所未有的速度改变着我们对传统货币和金融体系的认知。然而,加密货币市场的高度波动性却成为了其广泛应用和普及的一大障碍。在这样的背景下,稳定…...

AI,如何重构理解、匹配与决策?
AI 时代,我们如何理解消费? 作者|王彬 封面|Unplash 人们通过信息理解世界。 曾几何时,PC 与移动互联网重塑了人们的购物路径:信息变得唾手可得,商品决策变得高度依赖内容。 但 AI 时代的来…...

【7色560页】职场可视化逻辑图高级数据分析PPT模版
7种色调职场工作汇报PPT,橙蓝、黑红、红蓝、蓝橙灰、浅蓝、浅绿、深蓝七种色调模版 【7色560页】职场可视化逻辑图高级数据分析PPT模版:职场可视化逻辑图分析PPT模版https://pan.quark.cn/s/78aeabbd92d1...

回溯算法学习
一、电话号码的字母组合 import java.util.ArrayList; import java.util.List;import javax.management.loading.PrivateClassLoader;public class letterCombinations {private static final String[] KEYPAD {"", //0"", //1"abc", //2"…...

day36-多路IO复用
一、基本概念 (服务器多客户端模型) 定义:单线程或单进程同时监测若干个文件描述符是否可以执行IO操作的能力 作用:应用程序通常需要处理来自多条事件流中的事件,比如我现在用的电脑,需要同时处理键盘鼠标…...

6.9-QT模拟计算器
源码: 头文件: widget.h #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include <QMouseEvent>QT_BEGIN_NAMESPACE namespace Ui { class Widget; } QT_END_NAMESPACEclass Widget : public QWidget {Q_OBJECTpublic:Widget(QWidget *parent nullptr);…...