通过监督微调提升多语言大语言模型性能

引言

澳鹏助力一家全球科技公司提升其大语言模型（LLM）的性能。通过提供结构化的人工反馈形式的大语言模型训练数据，让该模型在30多种语言、70多种方言中的表现得到优化。众包人员们进行多轮对话，并依据回复的相关性、连贯性、准确性和流畅性等标准，对五种模型变体给出的回复进行排序。最终收集到超过25万行对话数据，用于提炼模型输出，为监督微调（Supervised fine-tuning）做准备。该项目从最初的5种以上语言、10多种方言，扩展到如今的30多种语言、70多种方言，大大提升了模型回复在文化契合度和语言准确性方面的表现。

目标

此项目聚焦于提升大语言模型在众多方言（如阿拉伯语、中文、德语、俄语和西班牙语等）环境下生成高质量回复的能力，使其能够针对不同语言群体，输出更准确、贴合语境且流畅的内容。这就需要收集人们对模型输出的偏好排序，并借助结构化优化，确保模型在文化和语言上更加契合。

挑战

该项目需要高质量的多语言和多方言提示。对话的主题和复杂程度各不相同，以便为人工智能提供全面的训练数据。此外，对模型回复的评估必须因地制宜，充分考虑不同方言和地区的独特特征。当模型回复有改进空间时，众包人员需要给出适合有监督微调（SFT）的优化修订内容。

项目的规模带来了诸多独特挑战，具体如下：

1. 招募语言多样的众包人员：寻找合格的众包人员，尤其是针对高棉语和马拉地语等相对小众语言的人员，难度较大。
2. 语言和方言的多样性：要确保提示和模型回复在每个地区都符合文化习惯且语言准确。
3. 大规模的高质量评估：在多个复杂程度层面进行对话评估的同时，要保持一致的人工智能数据质量标准。
4. 数据对微调的适用性：当模型输出需要修订时，要保证众包人员给出的优化回复符合有监督微调所要求的质量标准。

解决方案

为应对这些挑战，澳鹏采取了一套结构化的多步骤方法：

1. 专业众包人员招募：澳鹏从不同地区方言的母语使用者中挑选人员，这些人不仅有使用大语言模型的经验，还能为单语和跨语言交互创建与文化相关且贴合语境的提示。
2. 结构化偏好排序流程：众包人员与五种不同的模型配置进行多轮对话，并依据连贯性、事实准确性、流畅性和指令遵循情况对回复进行排序。这些排序为了解模型在不同方言中的表现提供了关键见解。
3. 监督微调准备：从排序过程中得到的优化回复被转化为高质量的训练数据，确保其与现实世界的语言和文化细微差别保持一致。
4. 人工智能数据平台整合：该项目在澳鹏的人工智能数据平台（ADAP）内进行管理，以实现高效的工作流程执行和质量保证。同时引入验证器和测试问题，以提高数据的一致性和准确性。

成果

结构化的排序和微调方法显著提升了客户大语言模型在多种方言中的性能，确保了更好的文化契合度和语言准确性。主要成果包括：

1. 截至目前，已交付超过25万行对话数据。
2. 从最初5种以上语言的10多种方言，扩展到30多种语言的70多种方言。
3. 通过提升回复质量和语言多样性，提高了模型的准确性和用户满意度。

通过利用人们的偏好排序和结构化微调，澳鹏帮助客户优化了他们的大语言模型，使其对全球用户的响应更加出色，能够在广阔的语言领域中提供贴合语境且准确的回复。