Llama 的演变：从 Llama 1 到 Llama 3.1

原文towardsdatascience.com/the-evolution-of-llama-from-llama-1-to-llama-3-1-13c4ebe96258本文与 Rafael Guedes 共同撰写。简介Meta 已经发布了其大型语言模型LLMLlama 的三个主要版本以及一个较小的更新版本 3.1。Llama 在 2023 年初的首次发布标志着自然语言处理NLP开源社区的一大步。Meta 通过分享其最新的 LLM 版本一直致力于这个社区。为了确保正确性我们应该区分开放和开源的 LLM。开源软件传统上在其特定的公共使用和修改许可下提供其源代码。在 LLM 的背景下开放 LLM 通常会公开模型权重和初始代码。同时开源 LLM 还会以许可协议的方式分享整个训练过程包括训练数据。今天的大多数模型包括 Meta 的 Llama都属于开放 LLM 类别因为它们没有发布用于训练的数据集。Llama 经历了三次关键架构迭代。版本 1 在原始 Transformer 架构中引入了几个改进。版本 2 在更大的模型中实现了分组查询注意力GQA。版本 3 将 GQA 扩展到较小的模型引入了一个更高效的分词器并扩大了词汇量。版本 3.1 没有改变核心架构。更大的变化是训练数据的清理过程、更长的上下文长度以及额外支持的语言。本文探讨了 Llama 的架构演变突出了关键进展及其对未来 LLM 的影响。它以一个实际实验结束比较了 Llama 2 和 Llama 3使用推理速度、答案长度和相对答案质量RAQ框架 [1] 等指标评估它们在特定任务上的性能。RAQ 提供了一个基于其相对于真实答案的准确性的客观排名框架来测试 LLM 的答案这使得它对于评估特定用例特别有用。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/9beb300693fe8d3504a166928fbc4090.png图 1Llama 系列作者与 DALL-E 合作和往常一样代码可在我们的 GitHub 上找到。Llama一个开源 LLM 系列Llama 1第一个模型这个系列的第一款模型Llama 1 [2]是基于 Vaswani 等人在 2017 年开发的编码器-解码器 Transformer 架构构建的。它并且至今仍然是NLP 领域的一项重大突破也是所有 LLM 模型的骨干架构。Llama 1 在其核心架构中使用了它并结合了几个改进例如预归一化受到 GPT3 [4] 架构中实现的训练稳定性改进的启发Llama 1 也归一化了每个 transformer 子层的输入而不仅仅是输出如图 2 所示。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/5926913adf85d8a09b24fdf532ea40c6.png图 2原始和 Llama 1 架构之间的差异其中子层 transformer 中的每个输入都被归一化作者图片此外他们用 RMSNorm [5] 替换了传统的 LayerNorm 函数这更具有计算效率同时保持了训练稳定性和增加了模型收敛性。RMSNorm 由于其作者证明了 LayerNorm 的好处来自于缩放不变性而不是重新中心不变性因此实现了更好的效率。这一洞察使他们能够从归一化过程中去除均值计算使其更简单、同样有效且效率显著更高。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/de42ab55dcc9e01233df4c60e2bbe289.png图 3LayerNorm 和 RMSNorm 之间的方程差异作者图片SwiGLU 激活函数关于激活函数作者决定用 SwiGLU [6] 函数替换众所周知的 ReLU该函数已被证明可以提高模型性能。这两个函数之间的主要区别是ReLU 将所有负值转换为 0如果它是正的则返回相同的值。SwiGLU 有一个可训练的参数β它控制插值的程度。随着β的增加行为变得越来越类似于 ReLU如图 4 所示。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/aa7e312b0c5e907e7131f044063d6e91.png图 4ReLU 和 SwiGLU 的行为差异其中当β100 时ReLU 和 SwiGLU 重叠。旋转位置嵌入位置嵌入对于 LLMs 至关重要因为 Transformer 架构是无序的。这意味着它将以相同的方式表示两个句子即使它们使用相同的单词但顺序不同含义也不同。例如以下句子如果没有应用位置嵌入对于 Transformer 来说将具有相同的意义句子 1Llama 2 比 Llama 1 好 句子 2Llama 1 比 Llama 2 好原始论文 [3] 实现了通过两个正弦函数正弦和余弦表示的绝对位置嵌入。序列中的每个位置都有一个独特的位置嵌入该嵌入在词嵌入中相加确保具有相同单词的两个句子并不意味着相同的事情。为了解释的方便我们可以考虑将句子中的单词用一维向量而不是多维向量进行编码。如图 5 所示在两个句子中单词1和2在词嵌入中的表示值是相同的。然而在添加位置编码后它们分别用不同的值表示0.88 → 1.04 和 0.26 → 0.1。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/0e01b946015af32e8ca2d81a7a2a3f2e.png图 5绝对位置嵌入作者图片虽然它已经解决了 Transformers 无序不变性的问题但它仍然创建了相互独立的独立位置嵌入。结果是两个位置之间的邻近性没有被建模。这意味着从模型的角度来看位置 1 和 2 与位置 1 和 500 之间的相关性没有差异。我们知道这不是事实因为理论上位置 1 和 2 的单词之间的相似性必须高于位置 1 和 500 的单词之间的相似性。旋转位置嵌入[7]RoPE可以解决这个问题并通过通过旋转词嵌入来表示序列中的每个位置来建模单词的相对位置。让我们用之前的例子‘Llama 2 is better than Llama 1’并假设现在的词嵌入有 2 个维度。单词better将由基于其位置m (4)和常数 θ 的原始 2D 向量的 2D 旋转向量表示如图 6 所示。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/09f14310e2f31686ba33d47e5ef287d8.png图 6旋转位置嵌入原始向量根据其位置m4和常数 θ 转换为新的向量作者图片这种方法允许我们保持单词之间的相对距离因为即使我们在原始句子中添加更多单词两个向量之间的相似性仍然保持不变。想象一下这个例子我们在句子中添加两个单词‘The LLM Llama 2 is better than Llama 1’位置better和than有不同的位置4 5 → 6 7但由于旋转量相同两个向量之间的相似性也保持不变左图中的向量点积与右图中的相同。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/66ea0a6e139295d4d448a8fa0c631a39.png图 7旋转嵌入在保持标记之间相对距离方面的能力作者图片Llama 2Llama 1 的进化形式Llama 2 [8] 保留了在 Llama 1 上对原始 Transformer 架构所做的所有架构更改并将上下文长度从 2048 增加到 4096并将更大的模型34B 和 70B的 Multi-Head AttentionMHA[9]替换为 Grouped-Query AttentionGQA[10]。MHA多头注意力是 Transformers 的一个瓶颈因为需要大量的内存资源来加载所有的注意力查询、键和值头。有两种不同的方法来克服这个问题多查询注意力 [9] (MQA) 通过仅在注意力层使用单个键和值但多个查询头来显著减少所需的内存但这个解决方案可能会导致质量下降和训练不稳定使得其他开放型 LLM如 T5不选择这种方法。GQA 通过将查询值分为G组GQA-G每组共享一个键和值头来置于 MHA 和 MQA 之间。GQA-1 表示所有查询都聚合在一个组中因此与 MQA 相同而 GQA-*HH 头数则相当于 MHA其中每个查询都被视为一个组。这种方法将键和值头的数量减少到每个查询组一个键和一个值。它减少了键值缓存的大小因此减少了需要加载的数据量。这种比 MQA 更为适度的减少加速了推理速度并在解码过程中减少了内存需求质量接近 MHA速度几乎与 MQA 相同。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/7a27a07264e684a2d40bc1f44881981e.png图 8不同 MHA、GQA 和 MQA 方法的概述作者制图Llama 3: 尺寸和分词Llama 3 [11] 将上下文长度从 4096 增加到 8192并将 GQA 扩展到较小的模型8B。除此之外作者将分词器 Sentence Piece [12]替换为 OpenAI 模型中使用的 TikToken [13]。由于它有 128k 个标记的词汇量而不是 32k这显著提高了模型性能。两个分词器之间的主要区别在于TikToken 在输入标记是词汇表的一部分时忽略字节对编码BPE[14]合并规则。想象一下generating是词汇表的一部分。它将作为一个标记返回而不是来自将单词拆分为最小单位generating 和ing的两个标记。Llama 3.1最新的也是最大的发布2024 年 7 月发布的 Llama 3.1 引入了上下文长度128K 个标记和八种额外语言的重大飞跃。发布的关键部分之一是更大的模型 Llama 3.1 405B。在此之前开放型 LLM 通常以低于 100B 的规模发布。最后下表总结了演变情况https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/013f2c2091886fed12a6d375e9ee01e7.png表 1比较 Llama 在上下文长度、词汇量、训练数据大小和它们支持的语言方面的演变。Llama 2 与 Llama 3模型比较在本节中我们将 Llama2 和 Llama 3 应用于名为 SQuAD 的 CC BY-SA 4.0 许可下的问答数据集该数据集可以在这里找到。这个阅读理解数据集包含关于一组维基百科文章的问题。根据上下文模型应该能够检索到问题的正确答案。对我们用例来说三个更重要的字段是question– 模型应该回答的问题。context– 模型需要从中提取答案的背景信息。answers– 对问题的文本答案。评估过程将包括三个定量指标一个用于评估推理速度第二个用于确定答案长度第三个用于评估准确性。对于后者我们使用 RAQ [1]。RAQ 根据它们与真实答案的接近程度使用一个独立的 LLM 对 Llama 2 和 Llama 3 的答案进行排名。我们首先以.gguf格式下载这两个模型以便在 CPU 上运行并将它们放在model/文件夹下。我们使用了每个模型的指令版本并进行了 4 位量化nous-hermes-Llama-2-7b.Q4_K_M.gguf来自huggingface.co/TheBloke/Nous-Hermes-Llama-2-7B-GGUFMeta-Llama-3-8B-Instruct-Q4_K_M.gguf来自huggingface.co/NousResearch/Meta-Llama-3-8B-Instruct-GGUF之后我们导入所有库以及我们的生成器该生成器接收我们想要使用的模型作为参数。importosimportseabornassnsimportmatplotlib.pyplotaspltimportscikit_posthocsasspimportpandasaspdimportutilsfromdotenvimportload_dotenvfromgenerator.generatorimportGeneratorfromdatasetsimportload_dataset Llama2Generator(modelLlama2)Llama3Generator(modelLlama3)load_dotenv(env/var.env)此类负责导入在 config.yaml 文件中定义的模型参数具有以下特征context_length 为 1024temperature 为 0.7max_tokens 为 2000。generator:Llama2:llm_path:model/Llama-2-7b-32k-instruct.Q4_K_M.ggufLlama3:llm_path:model/Meta-Llama-3-8B-Instruct-Q4_K_M.ggufcontext_length:1024temperature:0.7max_tokens:2000此外它还创建了提示模板该模板使用 LangChain。它根据模板格式化查询和上下文然后再将其传递给 LLM 以获取响应。fromlangchainimportPromptTemplatefromlangchain.chainsimportLLMChainfromlangchain.llmsimportLlamaCppfrombase.configimportConfigclassGenerator(Config):Generator, aka LLM, to provide an answer based on some question and contextdef__init__(self,model)-None:super().__init__()# templateself.template Use the following pieces of context to answer the question at the end. {context} Question: {question} Answer: # load llm from local fileself.llmLlamaCpp(model_pathf{self.parent_path}/{self.config[generator][model][llm_path]},n_ctxself.config[generator][context_length],temperatureself.config[generator][temperature],)# create prompt templateself.promptPromptTemplate(templateself.template,input_variables[context,question])defget_answer(self,context:str,question:str)-str: Get the answer from llm based on context and users question Args: context: most similar document retrieved question: users question Returns: llm answer query_llmLLMChain(llmself.llm,promptself.prompt,llm_kwargs{max_tokens:self.config[generator][max_tokens]},)returnquery_llm.run({context:context,question:question})加载了 LLM 之后我们从 HuggingFace 获取 SQuAD 数据集并进行洗牌以确保在问题主题方面有足够的多样性。squadload_dataset(squad,splittrain)squadsquad.shuffle()现在我们可以循环 30 个问题和上下文并记录上述指标。foriinrange(30):contextsquad[i][context]querysquad[i][question]answersquad[i][answers][text][0]# Llama 2answer_Llama2,words_per_second,wordsutils.get_llm_response(Llama2,context,query)Llama2_metrics[words_per_second].append(words_per_second)Llama2_metrics[words].append(words)# Llama 3answer_Llama3,words_per_second,wordsutils.get_llm_response(Llama3,context,query)Llama3_metrics[words_per_second].append(words_per_second)Llama3_metrics[words].append(words)# RAQllm_answers_dict{Llama2:answer_Llama2,Llama3:answer_Llama3}rankutils.get_gpt_rank(answer,llm_answers_dict,os.getenv(OPENAI_API_KEY))Llama2_metrics[rank].append(rank.index(1)1)Llama3_metrics[rank].append(rank.index(2)1)函数get_llm_response接收加载的 LLM、上下文和问题并返回 LLM 答案和定量指标。defget_llm_response(model:Generator,context:str,query:str)-Tuple[str,int,int]: Generates an answer from a given LLM based on context and query returns the answer and the number of words per second and the total number of words Args: model: LLM context: context data query: question Returns: answer, words_per_second, words init_timetime.time()answer_llmmodel.get_answer(context,query)total_timetime.time()-init_time words_per_secondlen(re.sub([^a-zA-Z], ,answer_llm).split())/total_time wordslen(re.sub([^a-zA-Z], ,answer_llm).split())returnanswer_llm,words_per_second,words在完成评估后我们绘制了指标并观察到 Llama 3 比 Llama 2 快平均每秒生成约 1.1 个单词而 Llama 2 的平均每秒生成 0.25 个单词。关于答案长度Llama 3 生成的答案更长平均为 70 个单词而 Llama 2 7B 生成的回答平均为 15 个单词。最后根据相对答案质量RAQ框架Llama 3 实现了最佳平均排名约为 1.25而 Llama 2 的表现较差平均排名约为 1.8。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/941ff3c9d766399b310aab8c3ddc7e18.png图 9模型比较图片由作者提供表 2 展示了 Dunn 事后检验的结果该检验比较了不同语言模型的性能。每个单元格表示相应模型之间性能差异在 5%的显著性水平下是否具有统计学意义。“显著”表示具有统计学意义的差异p 值≤0.05而“不显著”表示没有统计学意义的差异p 值0.05。根据 Dunn 检验结果Llama 3 的性能与 Llama 2 有显著差异。p_valuessp.posthoc_dunn([Llama2_metrics[rank],Llama3_metrics[rank]],p_adjustholm)p_values0.05https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/ec951904b51bede148cc7d63b17f99c0.png表 2LLM 集合中排名差异的重要性。最后从定性的角度分析我们分析了两个模型对一个问题的回答。它们都成功地根据以下背景正确回答了问题“‘所有新建和改造项目在能源代码要求上的改进目标将是多少百分比’”背景‘西北大学要求所有新建筑都必须获得 LEED 认证。埃文斯顿校园的 Silverman Hall 于 2010 年获得了金牌 LEED 认证芝加哥校园的 Wieboldt Hall 于 2007 年获得了金牌 LEED 认证而埃文斯顿校园的福特汽车公司工程设计中心于 2006 年获得了银牌 LEED 认证。在技术上可行的情况下新建和改造项目将设计为至少比能源代码要求提高 20%。大学在 2008-09 学年初发布了埃文斯顿校园框架计划概述了埃文斯顿校园未来发展的计划。该计划不仅强调建筑的可持续性建设还讨论了通过优化步行和自行车通道来改善交通。自 1990 年以来西北大学一直实施全面的回收计划。每年在西北大学回收的超过 1500 吨这代表了校园产生废物的 30%。此外大学所有的景观废物都进行了堆肥。’*尽管如此如下所示Llama 2 通过开始说答案不在上下文中并以包含答案的上下文段落结束从而自相矛盾。相反Llama 3 在上下文中识别出答案并提供了简洁且正确的答案。Llama 2 回答‘在给定的段落中没有提到所有新的建筑和翻新项目在能源代码要求上的目标改进百分比。然而提到“新的建筑和翻新项目将被设计为在技术上可行的情况下至少提高 20%超过能源代码要求。”*Llama 3 回答‘根据提供的上下文所有新的建筑和翻新项目将旨在在技术上可行的情况下至少提高 20%超过能源代码要求。’*结论Llama 模型的演变显示了持续的创新轨迹旨在提高 LLM 的效率、性能和多功能性。从 Llama 1 开始它引入了基础性的变化如使用 RMSNorm 进行输入归一化和更平滑的激活函数每个后续版本都是基于这些进步的。Llama 2 通过使用 GQA 优化推理效率为 Llama 3 的更大改进奠定了基础。Llama 3 通过将 GQA 扩展到更小的模型采用具有更大词汇量的更高效分词器将上下文长度加倍以及显著增加训练数据扩展了这些能力。Llama 3.1 的最新发布标志着一个新的里程碑。它进一步将上下文长度扩展到 128K 个令牌增加了对更多语言的支持并引入了迄今为止最大的开放模型——405B 模型。Llama 各个版本的这些增强导致了具有卓越适应性的模型适用于各种应用。到目前为止Llama 模型已被下载超过 3 亿次而将 Llama 模型集成到数千个利用私有 LLM 能力的产品的过程才刚刚开始。具有讽刺意味的是Llama 现在在推进开放 AI 方面走在前列占据了 OpenAI 曾经占据的更加开放的位置。关于我人工智能领域的连续创业者和领导者。我为商业开发 AI 产品并投资于专注于 AI 的初创公司。ZAAI 创始人 | LinkedIn | X/Twitter参考文献[1] Luís Roque, Rafael Guedes. “从研究到生产相对答案质量RAQ和 NVIDIA NIM。”《数据科学走向》。Medium2024。[2] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample. “Llama: Open and Efficient Foundation Language Models.”arXiv preprintarXiv:2302.13971, 2023.[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. “Attention Is All You Need.”arXiv preprintarXiv:1706.03762, 2017.[4] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei. “Language Models are Few-Shot Learners.”arXiv preprintarXiv:2005.14165, 2020.[5] Biao Zhang, Rico Sennrich. “Root Mean Square Layer Normalization.”arXiv preprintarXiv:1910.07467, 2019.[6] Noam Shazeer. “GLU Variants Improve Transformer.”arXiv preprintarXiv:2002.05202, 2020.[7] Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, Yunfeng Liu. “RoFormer: Enhanced Transformer with Rotary Position Embedding.”arXiv preprintarXiv:2104.09864, 2021.[8] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, Thomas Scialom. “Llama 2: Open Foundation and Fine-Tuned Chat Models.”arXiv preprintarXiv:2307.09288, 2023.[9] Noam Shazeer. “Fast Transformer Decoding: One Write-Head is All You Need.”arXiv preprintarXiv:1911.02150, 2019.[10] Joshua Ainslie, James Lee-Thorp, Michiel de Jong, Yury Zemlyanskiy, Federico Lebrón, Sumit Sanghai. “GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints.”arXiv preprintarXiv:2305.13245, 2023.[11] Meta AI. “介绍 Llama 3.” Meta AI 博客, 2024.[12] Kudo Taku, Richardson John. “SentencePiece: 一种简单且语言无关的神经网络文本处理子词标记器和去标记器。”arXiv 预印本arXiv:1808.06226, 2018.[13] OpenAI. “TikToken.” GitHub.[14] Sennrich Rico, Haddow Barry, Birch Alexandra. “使用子词单元进行罕见词的神经机器翻译。”arXiv 预印本arXiv:1508.07909, 2015.