CODEGEN：一种基于多轮对话的大型语言模型编程合成方法

【摘要】

该论文于ICLR 2023会议上发表，标题为“CODEGEN：用于编程的大型语言模型”，由Salesforce Research团队撰写。论文提出的CODEGEN是一个大型语言模型系列，旨在通过自然语言和编程语言数据进行训练，以实现程序合成。以下是论文的主要贡献和关键发现的总结：

1. 核心贡献：

   • 多步骤程序合成：提出了一种多步骤的程序合成方法，将程序分解为多个步骤，用户可以逐步提供规格说明。
   • 多轮编程基准：构建了一个多轮编程基准（MTPB），包含115个问题，用于评估多轮程序合成能力。
   • 开放源代码贡献：开放了训练库JAXFORMER和模型检查点，以促进未来的研究。

2. 模型训练：

   • 采用标准的变压器架构的自回归语言模型进行训练，参数量从350M到16.1B不等。
   • 模型训练数据来自多个来源，包括自然语言数据集THEPILE、多语言数据集BIGQUERY和单语言数据集BIGPYTHON。

3. 基准测试：

   • HumanEval基准测试：在零样本情况下评估模型生成Python代码的能力。
   • 多轮编程基准测试（MTPB）：评估模型在多步骤编程场景下的表现，结果显示多轮因素可以显著提高程序合成的成功率。

4. 性能分析：

   • 模型大小和数据量的影响：分析表明，模型大小和数据量的增加能够提升多步骤程序合成的能力。
   • 用户意图理解：通过降低提示困惑度（prompt perplexity）可以提高程序生成的质量。

5. 开放源代码贡献：

   • 提供了用于训练的自定义库JAXFORMER和模型检查点，以促进未来的研究和实际应用。

6. 结论：

   • 通过多步骤程序合成方法，模型可以在更复杂的编程任务中生成更准确的代码。
   • 开放源代码的贡献可以促进该领域的未来研究和发展。

关键发现

• 多轮编程的优势：与单轮输入相比，多轮输入显著提高了程序合成的成功率。
• 模型规模的影响：随着模型规模的增加，程序合成的性能也得到了显著提升。
• 用户意图理解的重要性：通过更好的用户意图理解，可以生成更准确的程序。

未来工作

• 进一步优化模型：继续优化模型的超参数，以提高程序合成的准确性和效率。
• 应用研究：探索多轮编程方法在实际编程任务中的应用，进一步验证其有效性。

总结

该论文通过提出多步骤程序合成方法和构建多轮编程基准，展示了大型语言模型在编程任务中的强大能力。开放源代码的贡献对于促进该领域的研究和应用具有重要意义。

【数据来源】

该研究论文的数据来源主要包括以下几个方面：

1. THEPILE数据集：这是一个825.18 GiB的英语文本语料库，包含22个高质量的子集，其中一个子集包含了来自GitHub的编程语言数据，占数据集的7.6%。这些数据被用来训练自然语言CODEGEN模型（CODEGEN-NL）。

2. BIGQUERY数据集：这是一个多语言数据集，包含代码片段，编程语言包括C、C++、Go、Java、JavaScript和Python。这些数据被用来训练多语言CODEGEN模型（CODEGEN-MULTI）。

3. BIGPYTHON数据集：这是一个单一语言数据集，包含大量Python编程语言的数据。这些数据被用来训练单语言CODEGEN模型（CODEGEN-MONO）。

4. Multi-Turn Programming Benchmark (MTPB)：这是一个自定义的多轮编程基准测试集，包含115个由专家编写的问题，每个问题包括一个自然语言的多步骤描述。这些数据被用来评估模型在多轮编程任务上的表现。

5. HumanEval基准测试：这是一个现有的程序合成基准测试，包含164个人工编写的问题，每个问题提供一个描述函数规范、函数签名和示例测试用例的提示。该基准测试用于评估CODEGEN模型在单轮编程任务上的表现。

6. Mostly Basic Python Problems (MBPP)基准测试：这是一个用于评估编程能力的基准测试集，包含一系列基本的Python编程问题。该基准测试用于进一步评估CODEGEN模型在Python编程任务上的表现。

总结来说，这些数据集涵盖了自然语言文本、编程语言代码以及特定的编程任务描述，旨在全面评估和改进大型语言模型在程序合成任务中的能力。

【模型架构】

论文《CODEGEN：一个用于代码的开放多轮程序合成的大语言模型》提出了一种名为CODEGEN的大规模语言模型系列，旨在实现多轮程序合成。以下是该模型架构的总结：

1. 模型架构概述

• 目标：实现多轮程序合成，即将程序分解为多个步骤，每一步由模型生成部分程序，直到完成整个程序。
• 模型类型：自回归变压器，采用下一个标记预测语言模型作为学习目标。
• 训练数据：包含自然语言数据（如GitHub上的代码片段）和编程语言数据。
• 模型规模：从350M到16.1B参数不等。
• 训练库：开发了一个名为JAXFORMER的自定义训练库，用于在Google TPU-v4硬件上高效训练模型。

2. 数据集

• 数据集划分：训练数据分为三个部分：THEPILE（自然语言数据集）、BIGQUERY（多语言数据集，包含多种编程语言）和BIGPYTHON（Python编程语言数据集）。
• 预处理步骤：过滤、去重、分词、洗牌和连接等。

3. 模型配置

• 模型配置：模型是自回归变压器，使用Transformer架构，带有左到右的因果掩码。
• 位置编码：使用旋转位置嵌入。
• 前向传递：自注意力和前馈网络并行执行，以提高通信效率。

4. 训练过程

• 数据并行和模型并行：利用Google TPU-v4硬件的高效并行性，采用JAX进行训练。
• 参数分割：支持基于MXU核心的模型内分割和基于板的模型间分割。
• 优化器和超参数：使用Adam优化器，学习率随时间调整，采用全局梯度范数剪裁。

5. 多轮程序合成能力

• 性能评估：通过Multi-Turn Programming Benchmark（MTPB）进行评估，包含115个问题，每个问题包含多轮描述。
• 性能提升：多轮程序合成能力随模型规模和数据规模的增加而提升，多轮描述比单轮描述能更好地理解用户意图，从而提高程序合成的质量。

6. 实验结果

• 性能对比：在单轮和多轮描述下，模型的困惑度（PPL）和程序合成性能（pass@k）进行了对比，结果显示多轮描述能够显著提升程序合成质量。
• 错误分析：通过对比不同模型大小和问题难度下的表现，发现大规模模型在处理复杂描述时表现更佳，而小规模模型在简单描述下表现更灵活。

7. 开源贡献

• 训练库和模型检查点：开源JAXFORMER训练库和模型检查点，以促进未来的研究和应用。

8. 影响和伦理考虑

• 风险评估：模型生成的内容可能包含安全和隐私问题，需要进行风险处理。
• 伦理问题：强调模型应在经过适当处理后用于实际应用，以确保安全和合规。

通过上述架构和实验，CODEGEN展示了其在多轮程序合成场景下的强大能力，并为未来程序合成的研究提供了重要的基准和方法。

【创新点】

该论文的主要创新点可以总结如下：

1. 引入多轮程序合成范式：论文提出了一种多轮程序合成范式，即将程序合成分解为多个步骤，用户在每一轮中提供具体规格，系统生成子程序，最终共同完成整个程序。这种范式被用于开发一个多轮编程基准（MTPB），包括115种多样性问题，这些问题被分解为多轮提示。

2. 多轮提示显著提升程序合成效果：论文通过MTPB的实验表明，使用多轮提示相比单轮提示，程序合成的效果显著改善。这表明更好地理解用户意图能够显著提高程序合成的质量。

3. 大规模语言模型用于程序合成：论文训练了一系列大规模语言模型（最多161亿参数），并在自然语言和编程语言数据上进行了训练。这些模型被用于零样本Python代码生成，并在HumanEval基准测试上与之前的方法进行了比较。

4. 开源训练代码和模型检查点：论文开源了训练代码和模型检查点（https://github.com/salesforce/CodeGen），这将促进未来的研究和实际应用。

5. 评估多轮程序合成的能力：论文通过MTPB评估了多轮程序合成的能力，并展示了这些能力随着模型规模和数据量的增加而增长。这表明大规模语言模型在多轮程序合成任务上的能力得到了提升。

6. 开发多轮编程基准（MTPB）：该基准用于评估模型在多轮编程框架下的程序合成能力，这是首次开发的此类基准，为程序合成研究提供了新的数据集。

7. 多轮合成优于单轮合成