RLHF，LM模型

LLM（Large Language Model）

RLHF（Reinforcement Learning from Human Feedback），即以强化学习方式依据人类反馈优化语言模型。

RLHF思想：使用强化学习的方式直接优化带有人类反馈的语言模型。RLHF使得在一般文本数据语料库上训练的语言模型能与复杂的人类价值观对齐。
RLHF是一项涉及多个模型和不同训练阶段的复杂概念，主要有三个步骤：
···预训练一个语言模型LM
···聚合问答数据并训练一个奖励模型（Reward Model， RM）
···用强化学习（RL）方式微调LM

• 预训练语言模型

使用经典的预训练目标训练一个语言模型。使用额外的文本或者条件对这个LM进行微调。基于LM来生成训练奖励模型（RM，也叫偏好模型）的数据，并在这一步引入人类的偏好信息。

• 训练奖励模型
  RLHF区别于旧范式的开端是RM训练。这一模型接受一系列文本并返回一个标量奖励，树枝上对应人的偏好。可以采用端到端的方式用LM建模，或者用模块化的系统建模（比如对输出进行排名，再将排名转换为奖励）。这一奖励数值将对后续无缝接入现有的RL算法至关重要。
  关于模型选择方面，RM可以是另一个经过微调的LM，也可以是根据偏好数据从头开始训练的LM。关于训练文本方面，RM的提示-生成对文本是从预定义数据集中采样生成的，并用初始的LM给这些提示