英伟达Isaac Manipulator产品体验

相关配置

Isaac Manipulator	3.1.0
Isaac Sim	4.2.0
Ubuntu	20.04
GPU	RTX 4090 Laptop
CPU	I9 13900HX
Mem	64GB

过程记录与反馈

GPU加速效果

请描述您在使用Isaac Manipulator时，调用cuMotion加速库来进行机器人运动规划和轨迹优化等任务的步骤和过程，并记录任务完成时间。同时，可以尝试并记录不同能力的GPU或者只用CPU来完成同样的任务的时间。

在使用Isaac Manipulator时，调用了cuMotion加速库来进行机器人运动规划和轨迹优化等任务，CuMotion的原身是Curobo。具体操作步骤如下：

CuMotion前身的配置可以参考我的另一篇博客：Curobo配置。

1. 配置cuMotion库。
2. 设定机器人的初始关节或笛卡尔状态和目标关节或笛卡尔状态，调用cuMotion库中的运动规划函数。
3. 使用GPU加速进行轨迹优化，并记录任务完成时间。

经过测试发现，Curobo在 X86平台上，使用Nvidia RTX 4090 Laptop GPU在考虑$10^2$量级点碰撞球时，默认参数规划时间约在0.2s-0.8s内。

AI功能集成

在使用Isaac Manipulator时，尝试集成了FoundationPose用作位姿估计。

FoundationPose的配置可以参考我的另一篇博客：FoundationPose复现。

FoundationPose模型在仿真中静态背景下的姿态估计准确率较高，并且动态追踪较为准确，但在初始位姿获取时所需的时间较长，在节拍方面存在一定局限性。

模块化设计

Isaac Manipulator易于和其他Isaac组件集成，整体的模块化设计较好，像环境碰撞可以较为方便地用nvblox模块获得，整体集成效果较好，各个功能模块之间的接口设计简洁且易于集成。

整体体验

cuMotion库体验：
使用cuMotion加速库的整体体验非常积极，GPU加速任务的完成速度大幅提升，尤其是在需要快速响应的场景中，表现尤为出色。

AI功能与模块化设计评价：
FoundationPose的集成简便，性能优良，但在极端条件下的鲁棒性还有待提升。模块化设计使得开发过程大大简化，提高了开发效率和系统稳定性。

功能改进建议

• cuMotion库：在一些嵌入式平台上，例如Jetson Orin，计算时间较长，cuMotion库可能需要进一步优化，尤其是在资源受限的情况下，优化内存使用和计算负载。
• 模块化设计：可以进一步优化模块间的依赖关系，确保在某些模块失效的情况下，系统能继续稳定运行。

整体来看，Isaac Manipulator的GPU加速功能、AI模型集成和模块化设计为开发者提供了强大的支持和灵活性。上一次更新是在9月份了，希望继续更新，变得更好用。