CANN/cann-learning-hub：Swan LLM 大模型实战课程

【免费下载链接】cann-learning-hubCANN 学习中心仓支持在线互动运行、边学边练提供教程、示例与优化方案一站式助力昇腾开发者快速上手。项目地址: https://gitcode.com/cann/cann-learning-hubSwanLab x CANN 社区合作课程Swan LLM 大模型实战课程课程作者与联系方式作者韩翔宇情感机器 SwanLab 实验室 AI 研究员等邮箱pescn115lab.club课程背景本课程内容来源于 CANN 社区与 SwanLab 团队正在开展的线下启航营面向高校同学讲解昇腾算力上的大语言模型训练、对齐、推理与加速。如果你所在的学校 / 社团 / 实验室希望接入这套教材或者希望在你们学校落地一期启航营欢迎通过讨论区或邮件联系。课程简介本课程面向高校在校学生结合正在开展的线下启航营实践内容围绕大语言模型在昇腾 NPU 上的基础理论 → 微调 → 强化学习 → 推理部署 → 性能调优展开。我们希望通过这套课程帮助同学们建立大模型从训练到部署的完整心智模型而不是孤立地学某一个工具真正理解微调SFT / LoRA、强化学习对齐RLHF / DPO / GRPO的工程实现细节在昇腾 NPU CANN 的真实硬件上完成训练 / 推理体会国产算力栈下的工程权衡通过 AscendC 自定义算子优化实战理解大模型训练 / 推理性能瓶颈的来源及优化思路适合人群建议学习者具备 Python 基础和线性代数基础。但不要求事先有 Ascend C 经验对大模型有兴趣但还没真正跑通一次端到端训练 / 部署的本科生 / 研究生已经在其他智算卡上跑过 transformers / trl想了解昇腾 NPU 上有什么不一样的同学想理解为什么大家都在写自定义算子并亲手优化一次的同学课程目录章节标题内容概要状态01大语言模型基础理论介绍Transformer、自注意力、预训练 / SFT / RLHF 三段式、推理与 KV cache建设中02大语言模型微调Qwen3 全参数 SFT、LoRA 微调、Loss Mask、AST 可执行性评估已发布部分节次03大语言模型强化学习RLHF / PPO、DPO、GRPO以代码可执行性作为奖励信号的案例建设中04大语言模型推理部署KV cache、continuous batching、量化、推理引擎与服务化建设中05性能调优AscendC 自定义算子接入 PyTorch、Amdahl 律、推理 / 训练端到端加速已发布部分节次已发布节次速览节次标题02.04Qwen3 基座模型指令微调SFT05.02SwanRmsNorm AscendC 算子加速 Qwen3 微调目录与命名规范每个章节目录的统一约定如下0X_chapter_slug/ ├── README.md # 章节定位、节次清单、运行说明 ├── 0X.01_section_slug.ipynb # 节次 Notebook ├── 0X.02_section_slug.ipynb ├── data/ # 节次配套数据集可选 ├── pdf/ # 节次配套 PDF可选 ├── images/ # 章节配图可选 └── answer/ # 实操题参考答案可选运行环境项目推荐配置硬件昇腾 910C / 910B软件CANN ≥ 8.5、Python 3.10/3.11、PyTorch 2.x torch_npu平台推荐 CANNLab第三方SwanLab实验可视化、ModelScope模型与数据集下载、TRIO反馈与贡献发现 Notebook 里的 bug、对某一章节有改进建议或希望补充占位章节的内容欢迎在 cann/cann-learning-hub 仓库提 Issue 或 PR。如果这套课程帮到了你欢迎给本课程项目点个 Star ⭐分享给更多对大模型感兴趣的同学【免费下载链接】cann-learning-hubCANN 学习中心仓支持在线互动运行、边学边练提供教程、示例与优化方案一站式助力昇腾开发者快速上手。项目地址: https://gitcode.com/cann/cann-learning-hub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考