将长上下文大语言模型研究从输入转向输出

将长上下文大语言模型研究从输入转向输出

摘要:

近年来，长上下文大语言模型（LLMs）的研发主要集中在处理更长的输入文本上，这使得模型在理解长篇内容时取得了显著进步。然而，生成长篇输出的研究却相对被忽视，而这一能力同样至关重要。本文呼吁自然语言处理（NLP）研究转向解决长输出生成的挑战。例如，小说创作、长期规划和复杂推理等任务，不仅需要模型理解大量上下文，还要求生成连贯、内容丰富且逻辑一致的长篇文本。这些需求暴露了当前大语言模型能力中的一个关键短板。我们强调了这一领域的巨大潜力，并倡导开发专门优化长输出生成的高质量基础模型，以满足现实世界的应用需求。

---

1. 引言

长上下文模型（输入端）的进展

近年来，长上下文大语言模型在扩展输入窗口长度方面发展迅速。从最初的 8K token（标记单位），到如今的 128K 甚至 100 万 token（OpenAI, 2024a; Anthropic, 2024; Reid et al., 2024b; GLM et al., 2024; Dubey et al., 2024），这种提升让模型在长上下文基准测试中的表现大幅提高（Kamradt, 2023; Bai et al., 2024b; Hsieh et al., 2024）。这为实际应用打开了新的大门，例如：

• 长文档处理：总结冗长报告、基于整本书回答问题、分析多章节文档等任务变得更加可行（Bai et al., 2024b; An et al., 2024a; Hsieh et al., 2024; Vodrahalli et al., 2024; Reid et al., 2024b）。

如今，处理长文本的能力已从一项“高级功能”演变为顶级大语言模型的基本要求。

为什么需要关注长输出？

尽管长上下文模型的研究主要聚焦于输入端，但生成长篇输出的能力却未受到同等重视。这令人惊讶，因为需要生成连贯且内容丰富的长文本的应用场景越来越多。研究表明，现有模型在生成超过数千字的内容时，性能明显受限（Wu et al., 2024; Bai et al., 2024d; Ye et al., 2025; Tu et al., 2025）。本文提出，基础大语言模型的研究重点应转向长文本生成这一未被充分探索的领域。

一些实际应用场景，例如：

• 小说创作：需要生成超过 4000 token（约 2600 字）的连贯故事。

• 长期规划：制定详细的计划或策略。

• 复杂推理：解决需要多步推理的长篇问题。

这些任务要求模型在理解广泛上下文的同时，输出高质量、逻辑一致的文本。我们将这类优化后的模型定义为长输出大语言模型（Long-Output LLMs）。

长输出模型为何被忽视？

长输出生成进展缓慢，主要有以下三大挑战：

1. 数据稀缺 现有指令数据集大多由短输入-输出对组成，高质量的长输出数据集非常有限（Bai et al., 2024a; Xiong et al., 2024; Chen et al., 2023）。这限制了长输出模型的训练和应用。

2. 任务复杂性 生成长篇内容（如小说或文章）需要在扩展的上下文中保持连贯性和逻辑性，远比短任务复杂（Wu et al., 2024; Yang et al., 2024; Tan et al., 2024）。

3. 计算成本 长文本生成的计算需求较高，有些架构中成本呈线性增长（Gu & Dao, 2023; Dao et al., 2022）。此外，许多专有模型设有 token 限制（如 4096 或 8192 token），无法生成超长输出（OpenAI, n.d.; Anthropic, 2024; Reid et al., 2024a）。

这些挑战表明，长输出模型需要更有针对性的研究和创新。

为什么值得关注长输出领域？

解决长输出模型的挑战对现实世界意义重大：

1. 满足多领域需求 医疗、法律、教育和媒体等领域需要长篇内容，如研究论文、法律文件和详细报告（Zhao et al., 2024b; Chiang et al., 2024）。长输出模型可自动化生成高质量内容，优化工作流程。

2. 提升创造力与生产力 长输出模型可协助创作小说或学术论文，减少内容创作的时间，让专业人士专注于分析和创意任务（Atmakuru et al., 2024; Chiang et al., 2024）。

3. 推进复杂推理 通过生成更长的输出空间，长输出模型能支持更深入的分析和复杂的推理过程。

总之，开发真正的长输出基础模型是一个充满回报的研究方向。

---

专有名词解释

• KV-cache（键值缓存）：一种在 Transformer 模型中加速推理的技术，通过缓存之前的计算结果来减少重复计算。