LLaMA模型量化方法优化:提高性能与减小模型大小

LLaMA模型量化方法优化:提高性能与减小模型大小

引言

在大型语言模型(LLM)的应用中,模型大小和推理速度一直是关键的挑战。最近,一项针对LLaMA模型的优化工作提出了一系列新的量化方法,旨在在保持模型性能的同时显著减小模型大小。本文将详细介绍这些新的量化技术及其带来的性能提升。

新增量化方法

该优化工作主要新增了以下几种量化类型:

1. GGML_TYPE_Q2_K: 2比特量化,有效使用2.5625位/权重
2. GGML_TYPE_Q3_K: 3比特量化,有效使用3.4375位/权重
3. GGML_TYPE_Q4_K: 4比特量化,有效使用4.5位/权重
4. GGML_TYPE_Q5_K: 5比特量化,有效使用5.5位/权重
5. GGML_TYPE_Q6_K: 6比特量化,有效使用6.5625位/权重
6. GGML_TYPE_Q8_K: 8比特量化,主要用于量化中间结果

基于这些基本量化类型,还定义了一系列"量化混合"方案,如LLAMA_FTYPE_MOSTLY_Q2_K、LLAMA_FTYPE_MOSTLY_Q3_K_S等,针对模型的不同部分采用不同的量化方法。

性能评估

研究者对7B和13B两种规模的LLaMA模型进行了详细的性能评估。评估指标包括困惑度(perplexity)、模型文件大小和单个token的推理时间。以下是部分结果:

7B模型

量化方法	困惑度	文件大小	推理时间(ms/token, RTX 4080)
F16	5.9066	13.0G	60
Q2_K	6.7764	2.67G	15.5
Q3_K_M	6.1503	3.06G	17.0
Q4_K_S	6.0215	3.56G	15.5
Q5_K_S	5.9419	4.33G	16.7
Q6_K	5.9110	5.15G	18.3

13B模型

量化方法	困惑度	文件大小	推理时间(ms/token, RTX 4080)
F16	5.2543	25.0G	-
Q2_K	5.8545	5.13G	25.3
Q3_K_M	5.4498	5.88G	29.3
Q4_K_S	5.3404	6.80G	26.2
Q5_K_S	5.2785	8.36G	28.6
Q6_K	5.2568	9.95G	30.0

结果分析

1. 模型大小与性能权衡:新的量化方法在显著减小模型大小的同时,能够保持较好的性能。例如,7B模型的Q4_K_S量化方法将模型大小减小到原来的27%,同时困惑度仅增加2%。

2. 量化精度与性能关系:随着量化位数的增加,模型性能逐渐接近原始F16模型。6比特量化(Q6_K)的困惑度已经非常接近F16模型,相对误差在0.1%以内。

3. 推理速度:量化后的模型普遍能够获得更快的推理速度。以7B模型为例,Q4_K_S量化方法在RTX 4080上的推理速度比F16模型快近4倍。

4. 模型规模对量化效果的影响:有趣的是,相对量化误差并不随着基础模型权重数量的增加而减小。13B模型似乎更适合量化,但30B和65B模型的相对量化误差又回到了7B模型的水平。

结论

这项研究为LLaMA模型提供了一系列新的量化选择,能够在不同的硬件资源限制下实现最佳性能。例如,2比特量化的30B模型可以在16GB显存的RTX 4080 GPU上运行,而其他版本则无法加载,这极大地提升了推理性能。

这些新的量化方法为大型语言模型的实际应用提供了更多可能性,使得在有限的计算资源下也能获得接近原始模型的性能。未来的研究可能会进一步优化这些量化技术,或探索它们在其他类型的神经网络中的应用。

reference:

• https://github.com/ggerganov/llama.cpp/pull/1684
• https://github.com/ggerganov/llama.cpp/discussions/2094