大模型训练关键两步

大模型的核心原理是基于深度学习，通过多层神经网络进行数据建模和特征提取。目前大部分的大模型采用的是Transformer架构，它采用了自注意力机制，能够处理长距离依赖关系，从而更好地捕捉文本的语义和上下文信息。大模型还结合了预训练和微调及RLHF的策略，通过在大规模数据上进行预训练，再在特定任务上微调，结合RLHF激发基础模型的一些能力，以提升模型的性能。

生成式预训练模型(Generative Pre-Trained Transformer)工作原理：

基础版

简单一句话就是：用户输入一个提示词到大模型，大模型输出一个回复給用户。

经过训练后的大模型，它会根据一个词出现的频率或者一组词在一起出现的频率，来预测他们之间的相关性，结果在模型当中会展示成一种概率值，最终会将高概率的词返回。

真正GPT飞跃的是一下两个步骤：Fine-tuning、RLHF

微调版

这篇文章将为大家分别介绍Fine-tuning以及RLHF

Fine-tuning是在初级的预训练模型的基础上进行Fine-tuning，以Q&A的方式，让模型学习一些Q&A的模式

比如：

Q：中国的首都是哪里？

A：北京

Q：特斯拉创始人是？

A：Elon Mask

类似上面这样的一问一答作为预训练的结果在预训练的模型之后，再次丢给这个模型，再去做训练，如果准备海量的这样的数据的时候，那么模型就会学会一种语境（现在Transformer模式的大模型主要的创新就是语境），他们就可以分析这种格式的输入要对应这样格式的输出（这就是微调的作用）

Fine-tuning，对模型进行微调后，这个模型会变成一个助理型的模型。

Transformer架构的底层架构：

Transformer架构图

上来来自论文：《Attention is all you need》

最初这个模型是用来做语言翻译的

左边输入英语句子，通过一系列的运算之后input到右边；

右边输入英语句子对应的正确的中文翻译，然后二者进行碰撞、交叉、学习；把两句话的关联度，每个词和每个词的关联度学习到，体现成一种参数的格式，然后向上发送，最终产生结果；不断的对海量数据进行该模型的循环，这个模型就会训练处海量的模型结果，然后这个模型就可以对任意组合的英汉进行相应的翻译。

某AI公司(Open)发现这个模型最实用应用于下一个模型的预测，GPT使用的是右侧的模式（不需要Encode，只需要Decode）

在预训练模型的基础上进行Fine-tuning后，大模型已经可以做问答格式，但是还有一些不好的地方，比如幻想、错误等。为了控制回答的质量引入了RLHF（基于人类反馈的强化训练）

RLHF（Reinforcement Learning from Human Feedback）

RLHF需要有一个基础的模型，这些基础模型能生成一些候选的回复，在模型给出答案后(可能会给出多种答案，然后通过Human去选哪个答案最好)，把好坏层度反馈给模型，让模型自己更新它里面的参数，以便后续能更好的输出答案；

RLHF可以理解为激发了基础模型的一些能力

RLHF

上图来源：《Training language models to follow instructions with human feedback》

RLHF三步走（通过上图可知）：

Step1: 称为SFT (Supervised fine-tuning),监督微调；收集示例数据，让人去和这个模型交互，筛选合适的数据，收集出来一些人们觉得不错的数据(收集过程在基础模型的基础上收集)

Step2: 模型一定程度上符合预期，但是依然会输出比较差的回复，那么此时拿第一步产出的模型进行打分，然后把所有的打分拿过来去训练一个reward model（反馈模型），此时这个模型就能判断满足不满足目标，有个这个reward model后，就能用强化学习的很多的方法去微调基础模型

Step3:用reward model去强化学习的方式进一步训练模型

RLHF的关键点：基础模型好，RewardMode会更好（数据质检好）

推荐一个视频：清华博后带你走进ChatGTP

最后编辑于：2025-03-31 20:57:05

© 著作权归作者所有,转载或内容合作请联系作者

喜欢的朋友记得点赞、收藏、关注哦！！！