NLP高频面试题（十一）——RLHF的流程有哪些

随着大语言模型（如GPT系列）的快速发展，RLHF（Reinforcement Learning from Human Feedback，即基于人类反馈的强化学习）逐渐成为训练高质量模型的重要方法。本文将简单清晰地介绍RLHF的整体流程。

一、RLHF 简介

RLHF 是一种利用人类反馈引导语言模型优化生成结果的方法，它结合了监督学习和强化学习的优点，以提升模型生成结果的质量、连贯性和安全性。

RLHF 主要包含三个关键步骤：

• Step 1：生成阶段
• Step 2：奖励建模阶段
• Step 3：强化学习优化阶段

下面详细介绍这三个阶段。

二、RLHF 具体流程

Step 1：生成阶段（语言模型生成答案）

首先，基于一个经过初步监督微调的语言模型（也称SFT模型），针对用户给定的问题生成答案或文本续写。这一阶段的模型，通常已经在人类标注的数据上进行了监督式微调，能够输出基本符合人类预期的文本。

Step 2：奖励建模阶段（评估答案质量）

接下来，为了有效地指导模型生成更高质量的答案，我们需要构建一个奖励模型（Reward Model, RM）。奖励模型的作用是评估给定问题和答案的质量，并给出一个奖励分数。具体过程如下：

• 利用生成阶段得到的答案样本；
• 人工标注人员对多个答案进行比较，给出排序数据；
• 基于这些排序数据训练奖励模型，使得该模型能够为任意给定答案预测一个分数，且分数能够体现人类的偏好。

这个奖励模型并不直接生成答案，而是用于评估答案的优劣。

Step 3：强化学习优化阶段（PPO优化）

在这个阶段，我们采用近端策略优化算法（Proximal Policy Optimization，PPO）对模型进行进一步优化。

• 策略模型（Actor） 生成答案；
• 参考模型（Reference Model） 作为基准，确保策略更新幅度不过大；
• 奖励模型 为每个答案打分，形成奖励信号；
• 评论模型（Critic） 估算生成答案的长期收益，指导模型调整。

具体步骤为：

1. 策略模型生成若干个答案；
2. 奖励模型给每个答案评分；
3. 计算新旧模型之间的KL散度，控制答案变化幅度；
4. 使用PPO算法，基于上述奖励和约束，更新策略模型参数，持续迭代优化。

这样循环迭代，最终模型能够生成更符合人类期望的高质量答案。

三、RLHF 流程的优势

RLHF流程相比于传统的监督学习方式，有以下几个明显优势：

• 综合性优化：强化学习关注整体输出的质量，而非逐个词元，因此更能提高整体的连贯性。
• 降低幻觉问题：通过定制奖励模型，可以有效减少模型无中生有或凭空创造信息的现象。
• 优化多轮对话表现：奖励模型考虑上下文连贯性，能更好地提高多轮交互的效果。

四、RLHF 实践中的挑战

尽管RLHF在实践中表现优异，但也存在一些挑战：

• 成本高昂：依赖大量人工反馈，收集成本较高；
• 反馈主观性：不同评估者之间可能存在偏差；
• 计算资源需求高：PPO训练过程中同时涉及多个模型（Actor、Critic、RM、参考模型），资源消耗大；
• 迭代更新较慢：整体流程较为复杂，可能拖慢训练迭代速度。

针对这些问题，当前也有如RRHF等改进方案，以降低计算资源需求，提升训练效率。