大模型---RLHF

目录1.RLHF的定义2.LLM的RLHF3.奖励模型4.RLHF的主要问题与局限5.“非显式RL”方法（1）DPO（2）RRHF后续有更深入学习，再继续补充：1.RLHF的定义RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）的核心思想就是先让人告诉模型“哪个回答更好”，再把这种偏好学成一个奖励信号，最后用强化学习把模型往“人更喜欢的回答”方向推。OpenAI官方对此的说明是：预训练语言模型本来是靠“预测下一个词”学出来的，这个目标并不等于“安全、真实、按用户意图完成任务”；为了解决这类自动指标难以完整刻画的问题，他们用 RLHF，让标注员提供示范并对模型输出做排序，再用这些数据微调模型。所以，RLHF 不是替代预训练，而是后训练/对齐阶段的方法。预训练主要让模型学会语言、知识和基础能力；RLHF 主要让模型的行为更符合人类偏好，例如更听指令、更有帮助、更少胡编、更少有害输出。RLHF出现是因为模型预训练目标和真实使用目标不一致，且这些真实目标常常很难写成一个干净的自动评分函数，比如摘要任务里，训练常用的参考摘要和评估常用的 ROUGE，都只是“摘要质量”的粗代理，不一定真正对应人类觉得好的摘要；于是他们直接收集人类对摘要好坏的比较，再用这个偏好训练奖励模型。2.LLM的RLHFSFT--RM--RL（1）监督微调（SFT）先收集人类示范答案，把基础模型微调成一个“至少会按指令作答”的初始策略。这一步的作用不是最终对齐，而是给后面的 RL 一个比较稳定、可用的起点。否则如果一开始模型输出很差，人类标注和后续RL都会更难。（2）奖励模型（Reward Model,RM）让当前模型对同一个prompt 生成多个回答，交给人类标注员比较、排序。奖励模型输入是 prompt + response，输出一个标量分数，预测人类更偏好哪一个回答。（3）强化学习优化策略最后，把奖励模型当成环境给出的奖励函数，用PPO等强化学习算法，让当前策略产生更高奖励的回答。OpenAI也说明了，这个过程可以持续迭代：用当前更好的策略再收集新的偏好数据，训练新的 RM，再继续优化策略。3.奖励模型下面是RLHF的训练图，展现了5个部分：（1）Prompts Dataset：一批输入提示词（2）Initial Language Model：初始语言模型，也就是原始基础模型（3）Tuned Language Model (RL Policy)：经过 RLHF 调整的语言模型，也可以理解成当前要优化的“策略模型”（4）Reward (Preference) Model：奖励模型，负责判断当前回答