生成式AI项目的生命周期

总结自视频（吴恩达大模型入门课）：9_13_generative-ai-project-lifecycle_哔哩哔哩_bilibili

生成周期如下图，包含四部分：任务范围（Scope），选择大模型（Select），调整大模型，部署应用程序。 

1. 任务范围（Scope）

同时多个任务。

还是限定在某个具体任务即可。 

以此估计任务的难度和成本。

2. 选择大模型（Select）

选择现成的开源大模型，还是自己从零（pretrain）开始训练一个。

3. 调整大模型

调整模型方法有：prompt engineering, Fine-tuning, Align with human feedback

3.1 提示词工程（prompt engineering）

• 定义：通过设计或优化输入提示（prompt），引导模型生成更符合预期的输出。

• 特点：

  • 无需修改模型内部参数，只需调整输入。

  • 适用于预训练模型（如GPT系列），直接通过提示控制输出。

• 应用场景：

  • 让模型生成特定格式的文本（如代码、表格）。

  • 引导模型完成特定任务（如问答、翻译）。

• 优点：

  • 简单高效，适合快速实验。

  • 不需要额外训练数据或计算资源。

• 缺点：

  • 对复杂任务效果有限。

  • 提示设计需要经验和技巧。

3.2 微调（Fine-tuning）

• 定义：在预训练模型的基础上，使用特定任务的数据进一步训练，调整模型参数以适应新任务。

• 特点：

  • 需要任务相关的数据集。

  • 调整模型参数，使其更专注于特定任务。

• 应用场景：

  • 将通用语言模型（如GPT、BERT）适配到特定领域（如医疗、法律）。

  • 针对特定任务（如情感分析、文本分类）优化模型。

• 优点：

  • 效果通常优于提示工程。

  • 可以显著提升模型在特定任务上的性能。

• 缺点：

  • 需要大量标注数据和计算资源。

  • 训练过程复杂，可能出现过拟合。

 3.3 基于人类反馈的对齐（Align with Human Feedback）

• 定义：通过人类反馈调整模型，使其输出更符合人类价值观或任务需求。

• 特点：

  • 使用人类标注的偏好数据（如选择更好的输出）。

  • 通常结合强化学习（如RLHF，基于人类反馈的强化学习）。

• 应用场景：

  • 让模型生成更安全、更符合伦理的输出。

  • 优化对话系统，使其更自然、有用。

• 优点：

  • 显著提升模型的实用性和安全性。

  • 使模型更符合人类期望。

• 缺点：

  • 需要大量人类标注数据，成本高。

  • 实现复杂，涉及强化学习等技术。

4. 部署应用程序 

优化大模型，使其充分利用计算机资源。