【AI学习】关于Scaling Law的相关学习

一、苦涩的教训
首先，学习一段重要话语：
The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin.

从70年的人工智能研究中可以学到的最大教训是，利用计算的通用方法最终是最有效的，而且在很大程度上是有效的。

——Richard Sutton: “The Bitter Lesson”，2019

二、Scaling Law：KM扩展法则与Chinchilla扩展法则

在人工智能领域，特别是大语言模型（LLM）的研究中，理解和应用扩展法则（Scaling Law）是至关重要的。这些法则帮助研究者和工程师预测和优化模型性能，从而在给定的计算资源下实现最佳效果。目前，两种主要的扩展法则——KM扩展法则和Chinchilla扩展法则——在学术界和工业界得到了广泛应用。

KM扩展法则
KM扩展法则是由Kaplan等人于2020年首次提出，并由OpenAI团队进一步发展。该法则通过拟合神经语言模型的性能与不同模型规模、数据集大小和计算量之间的关系来建立一个定量的建模方法。具体来说，KM扩展法则认为，在给定的计算预算下，应将更多的预算分配给模型大小的增加。这意味着，当算力预算增加时，KM扩展法则倾向于让模型变得更加庞大

公式中的三个量𝑁𝑐,𝐷𝑐,𝐶𝑐 分别表示非嵌入参数数量、训练数据数量和总计算量。这一法则的核心在于通过调整这三个变量的比例，达到提升模型性能的目的。

Chinchilla扩展法则
Chinchilla扩展法则由Google的DeepMind团队提出，旨在解决预训练工作中可能忽视的数据规模扩展问题。与KM扩展法则不同的是，Chinchilla扩展法则主张模型大小和数据大小应该以相同的比例增加。

Chinchilla扩展法则的一个关键发现是，随着给定计算预算的增加，模型和数据规模应该以相近的比例增加。这不仅有助于提高模型的性能，还能在实际应用中减少计算成本。

备注：并不打算对这个法则有深入了解，先知道一个概念。