【LLM之Base Model】Weaver论文阅读笔记

研究背景

当前的大型语言模型（LLM）如GPT-4等，尽管在普通文本生成中表现出色，但在创造性写作如小说、社交媒体内容等方面，往往不能很好地模仿人类的写作风格。这些模型在训练和对齐阶段，往往使用的是大规模的、质量较低的网络文本或机器生成文本，这导致了模型生成的内容虽流畅但缺乏创造性和人类风格。

研究目标

Weaver模型系列旨在通过预训练和特定领域的对齐，使LLMs在创意和专业写作方面表现得更加人性化和多样化。Weaver通过引入一系列新的数据合成和对齐方法，使其能够生成更具创造性和符合人类风格的文本，从而满足内容创作的多样需求。

相关工作

当前的LLMs在大规模网络数据上进行预训练，通常使用由众包人员标注的数据进行对齐。然而，这些模型往往在创意写作中表现不足。与之相比，Weaver通过引入“Instruction Backtranslation”框架和Constitutional DPO算法，显著提高了模型的写作能力。Weaver通过结合现有的先进技术，如LLaMA的改进设计以及Rotary Embedding等，进一步优化了模型的写作表现。

方法论

数据处理

Weaver模型使用了一种创新的数据合成框架，用于在对齐阶段解锁模型的写作能力。首先，通过对高质量故事、小说和文案的收集，生成与写作任务相关的高质量指令-响应对。此外，还采用了结合规则和机器学习的方法来过滤低质量文本，以确保训练数据的高质量和多样性。
在SFT阶段，收集了34个子领域和50万的指令-输出对：

在偏好对齐阶段，使用Constitutional DPO方法收集以下领域任务的dpo数据

解决方案

Instruction Backtranslation

【指令反向翻译】（Instruction Backtranslation）是一个核心方法，用于合成高质量的训练数据，以改进语言模型按照具体指令生成文本的能力。这个过程通过以下几个步骤实现：

• 从专业写作者那里收集高质量内容：首先从专业内容创建者如作家和编辑那里收集高质量的故事、小说章节、博客文章等内容。
• 合成指令-响应对：通过反向翻译框架，将收集到的内容转化为指令-响应对。具体来说，对于每个高质量的文本，模型会生成一个与之对应的指令，使得该文本可以作为这一指令的合理响应。
• 扩展和多样化的指令生成：该框架不仅重新生成已有指令，还能创造新的指令，以引导模型产生与原始文本风格或内容相符的新文本。这样做可以显著提高数据的多样性和覆盖范围。
• 提高数据注释质量：通过自动化的反向翻译过程减少人工注释的需求，降低成本，同时通过精确控制生成过程来提高注释数据的质量。

Constitutional DPO

提出Constitutional DPO算法，用于模型偏好的优化。Constitutional DPO 是一种用于调整大型语言模型（LLMs）的新型方法，旨在通过学习遵循专家定义的原则，从而优化模型的输出质量。这种方法结合了几种现有技术的优势，包括Constitutional AI、RLCD（Reinforcement Learning with Critic-Demonstrations）、以及DPO（Direct Preference Optimization）。此算法利用专家注释的原则来合成反例，以此校准模型输出，确保其遵循特定的写作原则和风格。

具体来说，Constitutional DPO 通过以下步骤工作：
（1）原则定义与注释：首先，邀请人类专家（如专业作家、编辑）为不同的写作任务注释原则。这些原则不仅包括简短的描述，还包含一个遵循该原则的案例和一个违反该原则的案例，以及解释为什么这些案例符合或违反原则的自然语言推理。
（2）负面示例生成：在每个原则下，基于高质量的文本样本，使用语言模型（如GPT）生成与正面示例相对的负面示例。负面示例通过最小化修改原始响应来违反特定原则，但不影响其他好的方面。这种方法生成的偏好数据噪声较少，特别是在需要较高标准的写作领域中，能够提供更加有原则性和针对性的学习信号。
（3）偏好数据优化：利用生成的正负样本对，作为 DPO 训练的输入数据对 (yw, yl)。通过这种方式，每个数据对都包含了对应原则的关键训练信号，有助于模型在微调过程中学习并遵循这些原则。

实验

能力体系设计

大类	中类	小类
指令遵循	领域	小说写作
指令遵循	领域	非小说创意性写作
指令遵循	领域	营销写作
指令遵循	领域	技术写作
指令遵循	任务	内容编写
指令遵循	任务	大纲编写
指令遵循	任务	润色
指令遵循	任务	风格转换
指令遵循	任务	扩写/缩写
指令遵循	任务	头脑风暴
指令遵循	任务	文章审核
指令标注	-	-
答案评估	-	-
RAG	-	-
Function call	-	-

实验设计

数据方面

阶段	量级	备注
Pretrain	50B	将小说数据（即小说和故事）和非小说数据（即文章、论文、报告等）混合在一起。它的比例是1： 1。我们还将中文和英语数据与4： 1的部分混合，使Weaver同时支持中文和英语。
Sft	40w
DPO	2.5w

评价指标

Weaver模型在一个专门设计的创意写作基准测试（WriteBench）上进行了评估，该测试覆盖了多种写作领域和任务，包括小说写作、创意非小说写作、技术写作和市场营销写作，用以全面评估模型的写作能力。
WriteBench 包含了超过1000条测试指令，覆盖了上述多个写作领域。为了保证评估的公平性和客观性，WriteBench 的数据收集和选择过程由一个独立的评估团队进行。这些测试指令被用于生成模型的输入提示，并记录模型的输出以进行比较。

消融方面

主要选择了市面上比较有名的模型，如GPT4、qwen等，直接使用WriteBench中的相同指令作为所有被测试的llm的输入提示，并收集模型输出作为响应。

实验结论

实验结果显示，Weaver模型在所有大小配置上均优于现有的更大的通用LLM。特别是Weaver Ultra模型，在多个创意写作场景中表现优异，超过了GPT-4等先进模型。

参考资料

• 论文
• 模型体验