大语言模型学习指南：入门、应用与深入

0x00 学习路径概述

本文将学习路径划分为三个部分：入门篇、应用篇、深入篇。每个章节针对不同的学习需求，帮助你从基础知识入手，逐步掌握大语言模型（LLM）的使用、应用开发以及技术原理等内容。

学习目标

• 入门篇：

  • 了解大语言模型的基础知识及常见术语
  • 学会使用编程语言访问 OpenAI API 等模型接口
  • 面向非专业背景用户的大模型普及

• 应用篇：

  • 搭建开源模型推理环境
  • 学习大语言模型应用开发框架（如 LangChain、Dify 等）
  • 掌握 Prompt 工程、RAG、Agent 等应用开发模式

• 深入篇：

  • 了解大模型的技术原理、训练微调、数据工程和推理优化
  • 探索大语言模型的前沿技术和应用进展

根据自身需求，可以选择关注相应的章节。如果对大语言模型的原理不感兴趣，可以直接学习入门篇和应用篇。

---

0x10 入门篇

基础学习资源

1. 申请 OpenAI API

   • 请访问 OpenAI Quickstart，并确保有良好的国际互联网访问条件。
   • 推荐使用 OpenRouter 来访问多种闭源和开源模型。

2. 入门课程推荐：

   • ChatGPT Prompt Engineering for Developers：
     • 适合入门者，内容简单，提供中英双语字幕。
     • 中英双语字幕资源。
   • OpenAI Quickstart 【必看】：
     • OpenAI 官方文档及 API Reference。
   • State of GPT：【必看】
     • GPT 联合创始人演示，涵盖 GPT 的训练及应用。
     • 视频 | PPT

---

0x20 应用篇

应用开发与框架

1. 系统构建教程：

   • Building Systems with the ChatGPT API：学习如何构建 ChatGPT API 应用。提供中文字幕。

2. 大语言模型应用框架：

   • LangChain：最火的大语言模型应用开发框架。
     • LangChain for LLM Application Development：中文字幕。
   • Dify：开源的应用编排工具。
   • GPT best practices：OpenAI 官方最佳实践。
   • openai-cookbook：OpenAI 官方 Cookbook，含大量实用示例。
   • Brex’s Prompt Engineering Guide：Prompt 工程简介。

---

0x30 深入篇

0x31 大模型技术基础

1. 深度学习入门：
   • 《动手学深度学习》 配合 李沐 B 站视频【必看】。
   • 台湾大学李宏毅深度学习课程：幽默且内容深入。
   • 3blue1brown 深度学习视频【必看】。

0x32 大模型技术原理

1. 大语言模型综述【必看】：
   • 大语言模型综述：最好的中文综述。
   • 大语言模型：最好的大语言模型书籍。
   • 大规模语言模型：从理论到实践：另一本不错的中文书籍。
   • 清华大模型公开课第二季【必看】。
   • GPT 系列论文精读。
   • Llama3.1 论文精读。
   • 复杂推理：大语言模型的北极星能力。
   • ICML 2024 Tutorial: Physics of Language Models【必看】。

0x33 大模型训练与微调

1. 训练大模型【必看】：
   • Build a Large Language Model (From Scratch)。
   • LLaMA-Factory：个人推荐的微调工具。
   • MAP-NEO：开源中文大模型微调工具。

0x34 大模型数据工程

1. 数据处理与生成：
   • 如何合成微调数据。
   • 中文行业预训练语料 IndustryCorpus 2.0：科学的数据处理流。
   • 数据处理工具 FlagData。

0x35 大模型推理优化

1. 推理速度与性能分析【必看】：
   • 长上下文 Transformer 部署挑战：性能瓶颈分析。
   • 大模型量化解析。

0x36 大模型应用

1. Prompt 工程与 RAG：
   • Prompt 工程综述。
   • Modular RAG：RAG 系统优化。
   • LLM Powered Autonomous Agents。

---

总结：本文为大语言模型的学习者提供了从基础到深入的全方位资源，涵盖了模型的基本使用、开发框架、技术原理、微调以及推理优化等多个方面。根据自己的需求选择相应的章节进行学习，逐步掌握大语言模型的相关技术和应用开发。