大模型的Lora如何训练？

大模型LoRA（Low-Rank Adaptation）训练是一种参数高效的微调方法，通过冻结预训练模型权重并引入低秩矩阵实现轻量化调整。以下是涵盖原理、数据准备、工具、参数设置及优化的全流程指南：

---

一、LoRA的核心原理

1. 低秩矩阵分解
   在原始权重矩阵$ W $旁添加两个低秩矩阵$ A $和$ B $，其秩（rank）为$ r $，更新公式为：
   W LoRA = W + α ⋅ ( A ⋅ B ) W_{\text{LoRA}} = W + \alpha \cdot (A \cdot B) W