An Empirical Study of Instruction-tuning Large Language Models in Chinese

本文是LLM系列文章，针对《An Empirical Study of Instruction-tuning Large Language Models in Chinese》的翻译。

摘要

ChatGPT的成功验证了大型语言模型（LLM）在通用人工智能（AGI）中的潜力。随后，LLM的发布引发了开源社区对指令调优的兴趣，这被认为加速了ChatGPT的复制过程。然而，对世界上最常用的语言——汉语的指令调整LLM的研究仍处于早期阶段。因此，本文对汉语指令调整LLM进行了深入的实证研究，可以作为一本食谱，为有效定制能够更好地响应汉语指令的LLM提供有价值的发现。具体来说，我们系统地探讨了LLM基础、参数有效方法和指令数据类型的影响，这是指令调优的三个最重要的元素。此外，我们还进行了实验来研究其他因素的影响，如思维链数据和人类价值取向。我们希望这一实证研究能够为ChatGPT的中文公开版做出微薄的贡献。本文将发布一个强大的中国LLM，可与ChatGLM相媲美。代码和数据可在https://github.com/PhoebusSi/Alpaca-CoT上找到。

1 引言

2 指令调整三元组

3 其他重要因素

4 迈向更好的中文LLM

5 结论

本文首次对汉语开放式大语言模型的指令调整进行了深入的实证研究，详细讨论了一系列大语言模型、参数有效方法和汉语指令数据集。此外，我们还探讨了其他几个重要因素，包括CoT、词汇、提示语言和人类价值取向。在实证探索的基础上，我们公开发布了一个LLM，它是ChatGLM的竞争对手，并提供了详细的实现细节。

局限性

大多数实验结果都是基于参数有效的方法，这可能与全参数微调的结果不同。然而，我们相信本文的发现和结论仍然适用于全参数微调。此外，基于参数高效方法的指令调优具有更广泛的应用和研究场景。