分享｜instructionfine-tuning 指令微调是提高LLM性能和泛化能力的通用方法

《生成式AI导论》课程中，李宏毅老师提到一篇关于“ instruction fine-tuning” 指令微调的论文：

《Scaling Instruction-Finetuned Language Models》

摘要分享：

事实证明，

在一组以指令形式表达的数据集上微调语言模型可以提高模型性能和对看不见的任务的泛化。

在本文中，我们探讨了指令微调，特别关注

（1） 扩展任务数量，

（2） 扩展模型大小，以及

（3） 对思维链数据进行微调。

我们发现，具有上述方面的指令微调极大地提高了各种模型类（PaLM、T5、U-PaLM）、提示设置（零样本、少样本、CoT）和评估基准（MMLU、BBH、TyDiQA、MGSM、开放式生成）的性能。

例如，在 1.8K 任务上进行指令微调的 Flan-PaLM 540B 性能大大优于 PALM 540B（平均+9.4%）。Flan-PaLM 540B 在多个基准测试中实现了最先进的性能，例如在五次 MMLU 上达到 75.2%。我们还公开发布了 Flan-T5 检查点，即使与更大的模型（如 PaLM 62B）相比，它也能实现强大的小样本性能。

总的来说，指令微调是提高预训练语言模型的性能和可用性的通用方法。

原文链接：

[2210.11416] Scaling Instruction-Finetuned Language Models