PyPTO Agent 实操：1天开发自定义融合算子

一、PyPTO Agent背景在 Agent 技术日益普及的当下为了提升开发体验我们推出了基于智能体平台CANNBot与高性能编程框架PyPTO的CANNBot PyPTO Agent。通过将最佳实践固化为 7 个标准化 Skill并由 4 个专业 Agent 进行协同调度成功构建了从需求分析到算子交付的端到端自动化闭环旨在帮助开发者大幅降低开发门槛快速完成高质量融合算子的开发与交付。二、快速上手环境要求依赖版本要求昇腾硬件Atlas A2 / A3 系列CANN 工具链≥ 8.0Python≥ 3.9PyTorch torch_npu≥ 2.6PyPTO Agent使用方式git clone https://gitcode.com/cann/skills.gitcd skills/teams/pypto-op-orchestratorbash init.sh project opencode # OpenCode 用户默认bash init.sh project claude # Claude Code 用户打开 opencode / claude code 后输入算子开发提示词即可简易示例提示词帮我开发一个 QAT Symmetric Per-Tensor 量化算子支持 per-tensor 对称量化FP16 输入包含 forward 和 backward。Agent 将自动依次执行需求解析 → API 探索 → 方案设计 → Golden 生成 → Kernel 开发 → 精度验证 → 性能调优。三、核心架构与技能详解整体架构PyPTO Agent 采用Agent 编排 Skill 执行的分层架构将算子开发拆解为 7 个标准化阶段。每个阶段由专属 Skill 负责4 个 Agent 按职责分工协作调度既可串联执行完整流程也可单独调用某个 Skill 完成特定任务。PyPTO Agent 架构图3.1 专家 Agent 团队PyPTO Agent 基于CANNBot 平台构建采用多智能体协同架构。团队由 4 位各司其职的虚拟专家组成共同驱动算子开发的全生命周期。Agent 角色核心职责关键能力编排师pypto-op-orchestrator全流程总控负责任务拆解、状态管理与上下文传递通过状态持久化机制.orchestrator_state.json支持断点续跑与异常恢复。分析师pypto-op-analyst设计与分析负责需求理解、Golden 方案设计及精度分析在隔离上下文中完成数学逻辑到计算图的转化。开发者pypto-op-developer代码实现负责 Kernel 源码生成、编译构建与调试具备错误自动捕获、代码回退与局部重试能力。调优师pypto-op-perf-tuner性能调优负责性能 Profiling 与参数寻优输出量化分析报告指导 Tiling 与流水线策略迭代。3.2 核心技能图谱为了实现从需求到交付的自动化我们将专家经验固化为7 项核心技能。这些技能按流水线串联各阶段输入输出清晰确保开发过程标准化。核心流程介绍四、QAT 算子开发实操案例案例背景以QAT Symmetric Per-Tensor为例展示融合算子从零到交付的全流程。算子介绍QATQuantization-Aware Training量化感知训练是一种在训练过程中模拟量化误差的技术使模型能够适应低精度推理。该算子包含正向与反向两个子 KernelForward对输入执行 scale → round → clamp → de-scale模拟推理时的量化误差Backward基于 STEStraight-Through Estimator回传梯度量化范围外梯度置零关键阶段详解用户输入用户通过提示词描述算子开发需求支持多轮对话进行需求澄清或一次性输入完整规格。示例如下阶段1需求理解Agent 接收自然语言需求后自动解析算子语义提取 shape、dtype 约束与计算逻辑生成结构化规格文档SPEC.md含 ASCII 数据流图。阶段2API 探索检索 PyPTO API 库完成公式到 API 的映射输出可行性报告与 Tiling 建议。阶段3Golden 生成基于 PyTorch 生成参考实现与测试数据集作为精度验证基准。阶段4方案设计Agent 首先基于SPEC.md进行测试用例设计涵盖了典型场景和极端场景随后基于测试需求分析算子特征规划 Tiling 策略、Loop 结构与内存布局产出设计文档。阶段5代码实现自动生成 Kernel 源码与测试用例编译通过后进入精度验证。阶段6、7精度调试与性能调优精度通过则跳过精度调试阶段进入性能调优小结完整执行流程如下结果分析Forward小算子方案6 个独立 Op 串行执行每步产生中间 Tensor 并落盘 Global Memory。PyPTO 方案融合为单个 Kernel数据一次加载至片上 UB全部中间结果就地复用完全消除中间内存访问。Backward小算子方案反向传播需多个独立算子串行执行产生大量中间 Tensor。PyPTO 方案融合为单个 Kernel仅需 3 次 Global Memory 访问输入、权重、输出显著降低带宽开销与 Kernel Launch 次数。基于 PyPTO 框架已完成多个关键融合算子的开发与交付与 PyTorch 实现的 Golden 相比性能提升如下指标QAT 对称正向QAT 对称反向QAT 非对称正向QAT 非对称反向mome_mla_prologsink_mome当前性能4.2×2.6×4.1×3.1×4.8×6×五、总结与展望依托 CANNBot 智能体平台成功将PyPTO Agent通过 7 个标准化 Skill 的模块化编排将昇腾 NPU 融合算子开发的专家经验沉淀为一套可复用的自动化工作流。从需求理解到性能调优每个阶段都有明确的输入输出与质量标准开发者只需提供自然语言描述即可驱动全流程。在 QAT 等实操案例中开发效率得到显著提升所有算子均通过严格的精度验证。目前PyPTO Agent 已支持多种融合算子的端到端开发。未来我们将持续提升复杂算子的自动生成能力增强对复杂控制流、动态 shape 等场景的支持提升生成成功率与代码质量同时引入 Profiling 驱动的自动调优能力进一步释放硬件性能潜力。借助 CANNBot 平台的可扩展性我们将持续演进 PyPTO Agent 的能力边界——我们期待与更多开发者一起共同推动昇腾 AI 生态的繁荣发展。我们诚挚欢迎社区开发者试用并参与共建PyPTO 代码仓https://gitcode.com/cann/pyptoCANNBot Skills 仓https://gitcode.com/cann/skills问题反馈https://gitcode.com/cann/pypto/issues/create/choose贡献指南欢迎提交 PR贡献新 Skill、优化现有功能或分享实践经验