掌握Llama 2分词器：填充、提示格式及更多

目录

• 简介
• Llama 2分词器基础
• 为分词器设置填充
• 添加特殊标记
• 使用BOS和EOS标记进行分词
• 定义填充标记
• 训练中使用填充标记
• 高级功能：掩码标记
• Llama的提示格式
• 结论

简介

在语言模型领域，时间变化迅速。自Llama 2发布已经有几个月了，但关于其分词器和填充设置仍存在很多困惑。本文旨在提供一份关于Llama 2分词器基础知识以及如何正确设置填充的全面指南。无论您是Llama 2的老用户还是新手，这篇文章都将帮助您轻松掌握基本知识。

Llama 2分词器基础

Llama的分词器配备了32,000个标记，代表着单词和短词。此外，还有一些在分词器中起重要作用的特殊标记，如序列开始（BOS）标记（用s表示）和序列结束（EOS）标记（用/s表示）。这些标记指示传递给语言模型的序列的开始和结束。值得注意的是，默认情况下，分词器不包括掩码标记或填充标记，后面我们将对此进行探讨。

为分词器设置填充

在微调Llama时，首先需要考虑的是设置填充标记，因为分词器默认不包括填充标记。填充标记对于将序列填充到统一长度至关重要，这在处理批量数据时尤其有用。要添加填充标记，您可以定义一个新标记并更新分词器的词汇表。然而，重要的是模型的词汇表也需要更新以包含填充标记。

添加特殊标记

除了填充标记外，Llama 2分词器还包括表示词汇表中不存在标记的未知标记（UNK）。默认情况下，分词器在进行分词时不会自动添加序列开始（BOS）和序列结束（EOS）标记。但是，您可以将添加特殊标记的选项设置为true，这将自动在序列的开头包含BOS标记。

使用BOS和EOS标记进行分词

使用BOS（序列开始）和EOS（序列结束）标记可以为语言模型提供有关序列开始和结束的有价值信息。通过将添加特殊标记的选项设置为true，分词器将在分词序列的开头自动包含BOS标记。这有助于向语言模型指示序列的开始。此外，您可以手动添加EOS标记以表示序列的结束。

定义填充标记

在Llama中，没有预定义的填充标记。然而，您可以定义一个新的填充标记并将其添加到分词器的词汇表中。通过定义一个新的填充标记，您可以确保序列被填充到统一长度，这对于训练和微调语言模型至关重要。

训练中使用填充标记

在训练或微调模型时，使用填充标记变得尤为重要。数据批次可能具有不同的长度，而填充标记允许您将序列填充到固定长度。虽然通常使用序列结束标记作为填充标记，但由于其双重用途可能会导致混淆。或者，您可以使用未知标记（UNK）作为填充标记。这确保了未知标记和填充标记之间的明确区分。

高级功能：掩码标记

掩码标记是Llama中的高级功能，主要用于训练目的。它们可以用来在训练期间忽略某些标记或专注于序列中的特定标记。例如，您可以掩码序列中的前几个标记，以训练模型专注于掩码标记之后的标记的性能。当您希望在不考虑之前标记的情况下预测下一个标记时，掩码也很有用。这需要使用注意掩码。

Llama的提示格式

Llama使用一种不同于其他模型（如OpenAI）的独特提示格式。它使用特定代码来指示指令和系统消息的开始和结束。在提示格式中，指令以开始并以结束，而系统消息以开始并以结束。这些代码不是词汇表中的实际标记，但帮助以Llama理解的特定方式结构化提示。理解提示格式对于有效使用Llama至关重要。

结论

在本文中，我们探索了Llama 2分词器的基础知识，并学习了如何正确设置填充。我们讨论了BOS和EOS等特殊标记的重要性，以及如何将填充标记添加到分词器的词汇表中。此外，我们还触及了掩码标记等高级功能，并讨论了Llama使用的独特提示格式。有了这些知识，您现在可以自信地导航Llama 2分词器和填充设置，以实现最佳结果。

亮点

• Llama 2分词器有32,000个标记，代表单词和短词。
• 特殊标记如BOS和EOS指示序列的开始和结束。
• 添加特殊标记和定义填充标记是设置分词器的重要步骤。
• 掩码标记通过允许模型忽略或专注于特定标记，提供高级训练功能。
• Llama使用独特的提示格式，使用特定代码结构化指令和系统消息。

常见问题

问：可以使用序列结束（EOS）标记作为填充标记吗？
答：虽然可以使用EOS标记作为填充标记，但由于其双重用途可能会导致混淆。建议为您的训练和微调过程定义一个新的填充标记，以确保清晰性和一致性。

问：如何在Llama中处理多轮对话？
答：在Llama中，可以通过特定格式结构化提示来处理多轮对话。每个指令以开始并以结束。系统消息以开始并以结束。这使模型能够理解对话流程并生成适当的响应。

问：可以在训练期间忽略某些标记吗？
答：是的，您可以使用掩码标记在训练期间忽略特定标记。这在您希望专注于掩码标记之后的标记或希望排除某些标记对下一个标记预测的影响时特别有用。

问：在哪里可以找到更多关于Llama 2分词器的信息？
答：您可以参考Trellis Research的公共GitHub库，其中提供了关于Llama 2分词器设置和使用的全面指南。此外，Llama的原始GitHub库包含关于分词器的宝贵资源和信息。

资源

• Master Llama 2 Tokenizer: Padding, Prompt Format & More