论文笔记：Are Human-generated Demonstrations Necessary for In-context Learning?

iclr 2024 reviewer 评分 6668

1 intro

• 大型语言模型（LLMs）已显示出在上下文中学习的能力
  • 给定几个带注释的示例作为演示，LLMs 能够为新的测试输入生成输出
• 然而，现行的上下文学习（ICL）范式仍存在以下明显的缺点：
  • 最终性能极度敏感于选定的演示示例，到目前为止，还没有公认的完美演示选择标准
  • 制作演示可能是劳动密集型的，麻烦的甚至是禁止性的
    • 在许多 ICL 场景中，演示不仅包含输入和相应的标签，还包括由注释者生成的推理过程
    • 对于许多任务（例如，摘要），人类难以表达决策背后的推理过程。
• 论文提问：我们真的需要人类为 LLMs 提供演示吗，还是 LLMs 可以自己生成演示？
  • ——>提出了自我反思提示策略（简称 SEC）
    • 不使用手工制作的示例作为演示，而是要求 LLMs 首先自行创建演示，基于这些演示生成最终输出
    • SEC 有效地解决了 ICL 的缺点：它不仅可以节省制作演示的繁重劳动，更重要的是，消除了人工制作提示的不稳定性

2 方法

2.1 Vanilla SEC

2.2 COT-SEC        

原理和2.1是一样的，之不多这边让大模型同时给出推导和答案的样例

3 实验

3.1 不同数据集希望LLM 生成的案例数量 

3.2 结果比较

3.2 生成的案例数量的影响

3.3 prompt举例

4 reviewer 意见整理

4.1 reviewer1 （6）

4.2 reviewer2（6）

4.3 reviewer3（6）

4.4 reviewer4（8）