垂类大模型微调（一）：认识LLaMA-Factory

        LlamaFactory 是一个专注于 高效微调大型语言模型（LLMs） 的开源工具框架，尤其以支持 LLaMA（Meta 的大型语言模型系列）及其衍生模型（如 Chinese-LLaMA、Alpaca 等）而闻名。它的目标是简化模型微调流程，降低用户使用门槛；

官方文档

一、介绍

1. 高效微调支持

   • 支持多种微调技术（如 LoRA、QLoRA 等），显著降低显存消耗，即使在小规模 GPU（如单卡 24GB）上也能训练数十亿参数的模型。

   • 提供分布式训练优化，支持多卡并行和混合精度训练，加速训练过程。

2. 丰富的模型兼容性

   • 支持主流开源 LLM，包括 LLaMA、BLOOM、GPT-2、ChatGLM、Baichuan、Qwen 等。

   • 可灵活适配不同模型架构，方便用户快速切换或对比实验