大模型学习笔记 - 大纲

LLM 大纲

• LLM 大纲
  • 1. LLM 模型架构
    • LLM 技术细节 - 注意力机制
    • LLM 技术细节 - 位置编码
  • 2. LLM 预训练
  • 3. LLM 指令微调
    • LLM 高效微调技术
  • 4. LLM 人类对齐
    • LLM InstructGPT
    • LLM PPO算法
    • LLM DPO 算法
  • 5. LLM 解码与部署
  • 6. LLM 模型LLaMA 系列
  • 7. LLM RAG

1. LLM 模型架构

大模型学习笔记 - LLM模型架构

LLM 技术细节 - 注意力机制

To Be added

LLM 技术细节 - 位置编码

To Be added

2. LLM 预训练

大模型学习笔记 - LLM 预训练

3. LLM 指令微调

大模型学习笔记 - LLM指令微调

LLM 高效微调技术

TO Be Added

4. LLM 人类对齐

大模型学习笔记 - LLM 之RLHF人类对齐的简单总结

LLM InstructGPT

大模型学习笔记 - InstructGPT中的微调与对齐

LLM PPO算法

To Be added

LLM DPO 算法

To Be added

5. LLM 解码与部署

大模型学习笔记 - LLM 解码与部署

6. LLM 模型LLaMA 系列

To Be added

7. LLM RAG

To Be added