CANN具身智能优化样例

CANN Recipes for Embodied Intelligence【免费下载链接】cann-recipes-embodied-intelligence本项目针对具身智能业务中的典型模型、加速算法提供基于CANN平台的优化样例项目地址: https://gitcode.com/cann/cann-recipes-embodied-intelligence Latest News[2026/04] Hunyuan3D 2.0 三维生成与渲染模型在昇腾Atlas A2上推理已支持增加dit-cache方案优化样例已开源。[2026/04] PI0模型支持在昇腾Atlas A2上训练样例已开源。[2026/04] SmolVLA模型支持在昇腾Atlas A2上训练样例已开源。[2026/04] ACT模型支持在昇腾Atlas A2上训练样例已开源。[2026/04] Pi0.5模型在昇腾Ascend 310P上已支持OM静态图推理部署样例已开源。[2026/03] LQC模型在昇腾 A2上已支持训练和推理样例已开源。[2026/03] Pi0.5模型在昇腾Ascend 310P上已支持在线推理部署样例已开源。[2026/02] Isaac-GR00T N1.6模型在昇腾Atlas A3上已支持推理样例已开源。[2026/02] Cosmos-Predict2.5-2B世界模型在昇腾Atlas A3上已支持推理样例已开源。[2026/02] Cosmos-Transfer2.5-2B世界模型在昇腾Atlas A3上已支持推理样例已开源。[2026/02] Alpamayo-R1智驾模型在昇腾Atlas A2上已支持推理样例已开源。[2026/01] Spirit v1.5模型在昇腾Ascend 310P上已支持推理样例已开源。[2025/12] Pi0模型在昇腾Ascend 310P上已支持推理样例已开源。[2025/12] OpenVLA模型在昇腾Ascend 310P上已支持推理样例已开源。[2025/12] DiffusionPolicy模型在昇腾Ascend 310P上已支持推理样例已开源。[2025/12] ACT模型在昇腾Ascend 310P上已支持推理样例已开源。[2025/11] Pi0模型在昇腾Atlas A2系列上已支持推理代码已开源。 概述cann-recipes-embodied-intelligence 仓库针对具身智能领域的典型模型和加速算法提供基于 CANN 平台的优化样例。本仓库旨在帮助开发者快速、高效地在昇腾平台上部署和优化具身智能模型降低开发门槛加速应用落地。核心特性覆盖操作类Manipulation、世界模型World Model、导航Navigation、运动控制Locomotion、3D视觉3D Vision等典型场景提供训练、在线推理、离线推理OM等多种样例包含性能优化指南和精度验证方案✨ 样例列表操作类模型 (Manipulation)场景特点操作类模型专注于机器人手臂的运动控制与任务执行解决抓取、放置、组装等精细操作问题。这类模型通常接收视觉观测和语言指令作为输入输出机器人的动作序列如关节角度、末端位姿等适用于工业装配、家庭服务、实验室自动化等场景。模型平台场景简介性能参考Pi0在线推理Atlas A2在线推理基于LeRobot库通过使能融合算子、图模式、计算逻辑优化等手段实现较低推理时延。80 ms训练Atlas A2训练支持 8 卡分布式训练与评测默认集成已验证的训练优化。81.77 samples/s(优化后)离线推理Ascend 310P离线推理基于LeRobot库使用OM静态图进行离线推理实现较低推理时延。~270 ms(OrangePi AI Station)Pi0.5在线推理Ascend 310P在线推理基于PyTorch直接进行在线推理。~862 ms离线推理Ascend 310P离线推理使用OM静态图进行离线推理实现较低推理时延。~410 ms训练Atlas A2训练在Atlas A2环境进行训练精度正常性能达到较优水平。88.89 samples/s(优化后)ACT训练Atlas A2训练支持 8 卡分布式训练与评测。760.24 samples/s(优化后)离线推理Ascend 310P离线推理使用OM静态图进行离线推理实现较低推理时延。~200 ms(OrangePi AI Station)SmolVLA训练Atlas A2训练支持 LIBERO 数据集的多卡训练与评测。233~244 samples/s(8卡稳定阶段)DiffusionPolicy离线推理Ascend 310P离线推理使用OM静态图进行离线推理实现较低推理时延。-OpenVLA离线推理Ascend 310P离线推理OpenVLA 7B模型OM离线推理实现较低推理时延。-Isaac-GR00T N1.6在线推理Atlas A3在线推理通用人形机器人基础模型适配昇腾A3平台。-Spirit v1.5在线推理Ascend 310P在线推理千寻智能自研的具身智能模型RoboChallenge评测综合排名第一(截至2026.1.12)。-世界模型 (World Model)场景特点世界模型通过学习物理世界的规律能够预测或生成未来场景的视频内容。这类模型支持文本/图像/视频等条件输入生成符合物理一致性如重力、碰撞、流体动力学的视频预测可用于策略评估、合成数据生成、闭环仿真等任务帮助机器人系统在虚拟环境中预演和验证行为决策。模型平台场景简介性能参考Cosmos-Predict2.5-2B在线推理Atlas A3在线推理Cosmos世界基础模型支持文本/图像生成世界(Text2World/Image2World)生成物理一致的视频。~920 s(生成5.8s视频)Cosmos-Transfer2.5-2B在线推理Atlas A3在线推理Cosmos世界基础模型支持多控制信号(深度图/语义分割/边缘检测等)的视频风格转换。-导航模型 (Navigation)场景特点导航模型聚焦于移动机器人或自动驾驶系统的路径规划与决策问题。这类模型融合视觉感知、环境理解和运动预测能力在复杂动态环境中规划安全、高效的行驶路径适用于自动驾驶、无人机导航、移动机器人避障等场景。模型平台场景简介性能参考Alpamayo-R1在线推理Atlas A2在线推理面向L4/L5级智能驾驶的VLA大模型(10B)支持因果思维链推理。~7.32 s(生成10条预测轨迹)运动控制模型 (Locomotion)场景特点运动控制模型解决足式机器人如人形机器人、四足机器人的运动协调与平衡控制问题。这类模型基于强化学习训练学习在不同地形条件下保持稳定行走、奔跑、跳跃等运动模式适用于人形机器人巡检、四足机器人物流配送、救援探索等场景。模型平台场景简介性能参考LQC训练推理Atlas A2训练推理足式机器人的强化学习运动控制器适用于G1、GO2等主流机器人型号。-3D视觉模型 (3D Vision)场景特点3D视觉模型专注于从二维图像或文本描述生成高质量三维资产如网格模型、纹理贴图等。这类模型广泛应用于数字孪生、虚拟现实、游戏开发、建筑设计等领域能够快速生成可编辑、可渲染的3D内容显著降低传统建模的时间成本。模型平台场景简介性能参考Hunyuan3D 2.0在线推理Atlas A2在线推理腾讯混元三维生成与渲染模型支持文本/图像生成高保真3D资产带高分辨率纹理贴图。~26 s(texgen2万平面mesh) 一站式平台快速体验「一站式平台」是为开发者提供的 NPU 环境内部已集成完整的 CANN 环境可以直接使用。cann-recipes-embodied-intelligence 针对该平台在相应样例 README 中提供了简化的「快速启动」路径帮助用户最小步骤完成 NPU 推理体验。当前支持的模型正在持续扩展中敬请关注实践简介VGGT基于PyTorch框架在Atlas A2/A3环境中完成VGGT三维重建推理针对一站式平台场景提供简化的启动流程帮助用户快速上手完成一次端到端 NPU 推理体验。 目录结构说明├─CONTRIBUTION.md ├─DISCLAIMER.md ├─LICENSE ├─README.md ├─Third_Party_Open_Source_Software_Notice ├─docs # 文档目录 │ ├─manipulation # 操作类模型文档目录 │ │ └─pi0 # Pi0相关文档 │ │ └─infer_with_torch │ └─3d_vision # 3D视觉模型文档目录 │ └─Hunyuan3D # Hunyuan3D相关文档 ├─manipulation # 操作类模型目录 │ ├─act # Action Chunking with Transformers模型样例 │ │ ├─infer_with_om # ACT模型om离线推理样例 │ │ └─train # ACT模型训练样例 │ ├─diffusion-policy # DiffusionPolicy模型样例 │ │ └─infer_with_om # DiffusionPolicy模型om离线推理样例 │ ├─openvla # OpenVLA模型样例 │ │ └─infer_with_om │ ├─pi0 # Pi0模型样例 │ │ ├─infer_with_om # Pi0模型离线推理样例 │ │ ├─infer_with_torch # Pi0模型torch推理样例 │ │ └─train # Pi0模型训练样例 │ ├─pi05 # Pi0.5模型样例 │ │ ├─infer_with_om # Pi0.5模型离线推理样例 │ │ ├─infer_with_torch # Pi0.5模型在线推理样例 │ │ └─train # Pi0.5模型训练样例 │ ├─smolvla # SmolVLA模型样例 │ │ └─train # SmolVLA模型训练样例 │ ├─Isaac-GR00T # Isaac-GR00T N1.6模型样例 │ └─spirit-v1.5 # Spirit v1.5模型样例 │ └─infer_with_torch ├─world_model # 世界模型目录 │ ├─cosmos-predict2.5 # Cosmos-Predict2.5-2B世界模型 │ └─cosmos-transfer2.5 # Cosmos-Transfer2.5-2B世界模型 ├─navigation # 导航模型目录 │ └─alpamayo-r1 # Alpamayo-R1智驾模型样例 ├─locomotion # 运动控制模型目录 │ └─LQC # Learning-based Quadruped Robot Controller运动控制模型 └─3d_vision # 3D视觉模型目录 └─Hunyuan3D # Hunyuan3D 2.0三维生成模型样例 相关信息贡献指南许可证cann-recipes-embodied-intelligence仓涉及的模型如模型目录下存在License的以该License为准。如模型目录下不存在License的遵循Apache 2.0许可证。免责声明【免费下载链接】cann-recipes-embodied-intelligence本项目针对具身智能业务中的典型模型、加速算法提供基于CANN平台的优化样例项目地址: https://gitcode.com/cann/cann-recipes-embodied-intelligence创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考