NLP高频面试题（九）——大模型常见的几种解码方案

大模型常见的几种解码方案

在自然语言生成任务中，如何从模型生成的概率分布中选择合适的词汇，是影响文本质量的关键问题。常见的解码方法包括贪心搜索（Greedy Search）、束搜索（Beam Search）、随机采样（Sampling）、Top-k 采样、Top-p 采样（Nucleus Sampling）以及温度调节（Temperature Sampling）。

1. 贪心搜索（Greedy Search）

贪心搜索在每个解码步骤中选择具有最高概率的词，形成最可能的序列。这种方法的优点是计算高效，但容易陷入局部最优，导致生成的文本缺乏多样性。

示例：

假设当前模型输出如下概率分布：

词	概率
女孩	0.6
鞋子	0.3
大象	0.1

贪心搜索会选择“女孩”作为下一个词。

2. 束搜索（Beam Search）

束搜索是一种改进的搜索策略，它在每个时间步维护 k 个候选序列，并选取概率最高的 k 个序列继续扩展。最终选择概率最高的序列作为输出。

示例：

如果 k=2，在 t=1 生成两个最高概率的单词，并在 t=2 时基于这两个单词扩展，选择概率最高的两个组合继续。

束搜索可以提高文本质量，但仍然可能生成重复性较强的文本。

3. 采样策略

3.1 随机采样（Random Sampling）

随机采样根据模型的概率分布进行抽样，使得低概率词汇也有一定的可能性被选中，增强文本的多样性，但可能会导致生成无意义的内容。

3.2 Top-k 采样

Top-k 采样限制采样范围，仅从概率最高的 k 个单词中进行随机选择。这样可以减少低概率单词的干扰，同时保留一定的随机性。

示例：

假设 k=2，模型输出如下概率分布：

词	概率
女孩	0.6
鞋子	0.3
大象	0.1

Top-k 采样只会从“女孩”和“鞋子”中选择，而不会考虑“大象”。

3.3 Top-p 采样（Nucleus Sampling）

Top-p 采样基于累积概率选择最小的单词集合，使得累积概率达到阈值 p，然后在这个集合中进行随机采样。

示例：

如果 p=0.8，模型输出如下概率分布：

词	概率	累积概率
女孩	0.6	0.6
鞋子	0.3	0.9
大象	0.1	1.0

由于累积概率超过 0.8 的最小集合是 {女孩, 鞋子}，因此仅在这两个单词中选择。

3.4 温度调节（Temperature Sampling）

温度参数 τ 用于调整概率分布的平滑程度。较高的温度会增加生成文本的多样性，而较低的温度会使模型更加确定。

示例：

• 温度较高（τ=1.5）：生成的文本更具创造性，但可能缺乏连贯性。
• 温度较低（τ=0.5）：生成的文本更稳定，但可能较为保守。

4. 组合策略

通常，Top-k、Top-p 和 Temperature 采样会结合使用，以在多样性和可控性之间取得平衡。

组合示例（Top-k=3, Top-p=0.8, Temperature=0.7）：

1. Top-k 限制候选单词范围。
2. Top-p 进一步筛选概率质量较高的单词。
3. Temperature 调整最终概率分布。

5. 解码策略选择

不同的解码策略适用于不同的任务：

• 贪心搜索 & 束搜索：适用于生成确定性较高的文本，如机器翻译。
• Top-k & Top-p 采样：适用于生成创意内容，如诗歌、故事。
• 温度调节：适用于控制文本的创造力。