大模型自动提示优化（APO）综述笔记

自大型语言模型（LLMs）出现以来，提示工程一直是各种自然语言处理（NLP）任务中激发期望响应的关键步骤。然而，由于模型的快速进步、任务的多样性和相关最佳实践的变化，提示工程对最终用户来说仍然是一个障碍。为了缓解这一问题，自动提示优化（APO）技术应运而生，这些技术使用各种自动化方法来提高LLMs在各种任务上的表现
论文名称：A Systematic Survey of Automatic Prompt Optimization Techniques
研究内容：对APO技术的全面综述，总结了该领域的最新进展和剩余挑战。文章提供了一个APO的正式定义和一个五部分的统一框架，并根据其显著特征对所有相关工作进行了严格的分类。
作者：Kiran Ramnath et al. (Amazon Web Services)
统一框架：APO流程分为五部分——种子初始化、推理评估与反馈、候选生成、筛选保留策略、迭代深度

---

1. 初始化种子提示（Seed Initialization）

目标：生成初始提示池作为优化起点。
技术细节及论文对比：

方法	技术描述	相关论文
人工指令	基于人工编写的示例生成强基线提示，成本较高但可解释性强。	ProteGi (Pryzant et al., 2023)、GPS (Xu et al., 2022)、SPRIG (Zhang et al., 2024b)
LLM指令归纳	利用LLM从少量示例或任务文档中归纳可读指令，覆盖任务多样性和语义泛化。	APE (Zhou et al., 2022)、DAPO (Yang et al., 2024c)、SCULPT (Kumar et al., 2024)、UniPrompt (Juneja et al., 2024)
结构化模板填充	将任务拆解为结构化模板（如README、任务类型、输出格式），由LLM填充内容。	UniPrompt (Juneja et al., 2024)

技术比较：

• 人工指令依赖领域专家，适用于高精度场景；
• LLM指令归纳成本低但需平衡示例质量与泛化能力；
• 结构化模板提升逻辑一致性，但灵活性较低。

---

2. 推理评估与反馈（Inference Evaluation & Feedback）

目标：评估候选提示性能并生成反馈以指导优化。
技术细节及论文对比：

数值评分反馈

方法	技术描述	相关论文
任务准确率	直接使用分类准确率、BLEU-N（文本生成）、BERTScore（语义相似度）等。	APE (Zhou et al., 2022)、PACE (Dong et al., 2024b)
奖励模型	训练XGBoost或LLM模型预测提示质量，支持多目标优化（如性能+安全性）。	OIRL (Sun et al., 2024a)、DRPO (Amini et al., 2024)
熵与NLL	利用输出分布的不确定性（需访问概率分布），优化提示的多样性和稳定性。	GRIPS (Prasad et al., 2023)、GPS (Xu et al., 2022)

LLM反馈

方法	技术描述	相关论文
单候选优化	通过分层树结构（SCULPT）或Actor-Critic框架（PACE）动态调整提示。	SCULPT (Kumar et al., 2024)、PACE (Dong et al., 2024b)
多候选优化	生成文本梯度（ProTeGi）或收集错误案例（PromptAgent），提升全局搜索能力。	ProTeGi (Pryzant et al., 2023)、PromptAgent (Wang et al., 2024a)

人工反馈

• 交互式偏好建模：通过对话动态捕获用户偏好（GATE）。
• 规则注入：结合人工设计的反馈规则优化多步骤任务（PROMST）。
  相关论文：APOHF (Lin et al., 2024)、GATE (Joko et al., 2024)

技术比较：

• 数值评分客观但灵活性差；
• LLM反馈支持语义级优化，但计算成本高；
• 人工反馈精度高，适用于关键任务，但难以规模化。

---

3. 候选提示生成（Candidate Generation）

目标：生成新候选提示以探索优化空间。
技术细节及论文对比：

启发式编辑

方法	技术描述	相关论文
遗传算法	通过交叉、变异操作生成新提示（如SPRIG的组件库操作）。	SPRIG (Zhang et al., 2024b)、PromptBreeder (Fernando et al., 2023)
词汇修剪	保留高频词（CLAPS）或基于互信息选择关键短语（BDPL），降低搜索空间冗余。	CLAPS (Zhou et al., 2023)、BDPL (Diao et al., 2022)
程序合成	将提示优化转化为模块化程序（如DSPY的文本转换图），支持结构化组合优化。	DSPY (Khattab et al., 2024)、SAMMO (Schnabel & Neville, 2024)

神经网络编辑

方法	技术描述	相关论文
强化学习	策略梯度优化（BDPL）或离线奖励模型（OIRL），平衡探索与利用。	BPO (Cheng et al., 2024)、OIRL (Sun et al., 2024a)
GAN对抗训练	生成器与判别器联合优化，提升提示对抗鲁棒性（Long et al., 2024）。	Long et al. (2024)

元提示设计

• 结构化元指令：定义任务描述、输出格式、推理过程等模板（DAPO）。
• 动态优化历史：记录历史优化轨迹以指导后续生成（OPRO）。
  相关论文：OPRO (Yang et al., 2024a)、DAPO (Yang et al., 2024c)

技术比较：

• 遗传算法适合离散空间搜索，但依赖初始组件库；
• 程序合成支持复杂任务分解，但需预定义模块结构；
• 强化学习适合动态环境，但训练成本高。

---

4. 筛选与保留策略（Filter & Retain Strategies）

目标：选择高潜力候选进入下一轮优化。
技术细节及论文对比：

方法	技术描述	相关论文
TopK贪婪搜索	保留当前最优候选（ProTeGi），计算高效但易陷入局部最优。	ProTeGi (Pryzant et al., 2023)
UCB及其变体	平衡探索与利用（SPRIG），支持动态评估数据集采样。	SPRIG (Zhang et al., 2024b)、PromptAgent (Wang et al., 2024a)
区域联合搜索（RBJS）	按聚类优化专家提示（MOP），提升多任务适应性。	MOP (Wang et al., 2025)
元启发式集成	混合多种搜索算法（如遗传算法+模拟退火），增强鲁棒性（PLUM）。	PLUM (Pan et al., 2024)

技术比较：

• TopK简单高效，适合快速收敛；
• UCB适合动态环境，需调整探索系数；
• RBJS在多任务场景表现优异，但依赖聚类质量。

---

5. 迭代深度（Iteration Depth）

目标：控制优化过程的终止条件。
技术细节及论文对比：

方法	技术描述	相关论文
固定步长	预设迭代次数（N），适用于计算资源受限场景。	多数方法（如ProTeGi、APE）
动态终止	基于性能阈值（GRIPS）或收敛检测（PromptAgent），提升效率。	GRIPS (Prasad et al., 2023)、PromptAgent (Wang et al., 2024a)

技术比较：

• 固定步长易实现但可能欠拟合或过拟合；
• 动态终止节省资源，需设计合理的收敛判定条件。

---

论文	种子初始化	候选生成	筛选策略	迭代深度
ProTeGi	人工指令	LLM改写	UCB	固定
APE	LLM归纳	N/A	UCB	固定
DSPY	人工+LLM归纳	程序合成	TopK	动态
MOP	LLM归纳	专家混合	RBJS	固定

---

注：本笔记基于论文《A Systematic Survey of Automatic Prompt Optimization Techniques》内容提炼，技术对比需结合具体任务需求选择方法。