In-context Learning

1. formulate the

example + query -> LLM -> answer

no gradient descent and fine-tuning, no parameters update

advantages: 提供了与LLM进行交流的可解释的接口，通过template和demonstration将人类知识和LLM更好的结合；更像人类的预测思维，会根据类比；相比监督学习，更加的training-free。

2. GPT-3具有较强的ICL能力，这个能力可以通过pretraining进行提升。

3. 对prompting template、example、example的顺序敏感。

4. (1) training phase培养大模型的ICL能力 (2) inference stage，根据具体的demonstration预测。

5. 严格说ICL是prompt learning的子类，其中的demonstration和是prompt的一种，只不过demonstration是很多的xy对构成的。

6. ICL和few shot learning不一样，因为ICL不需要参数更新。

7. warmup是介于pretraining和 inference之间的，可选择的，一般是调整llm或者增加一些参数，不同于fine-tune，不会对llm针对具体任务进行训练。

https://arxiv.org/pdf/2301.00234.pdf