Timer-S1 正式发布：首个十亿级时序基础模型，预测性能达到 SOTA

本文约3600字建议阅读5分钟十亿级规模化的突破首次将时间序列预测的串行本质融入模型架构、数据、训练全流程在 AI 全面渗透各行业的背景下工业企业对时序数据的应用需求已从基础查询计算升级为设备状态预测、缺失数据智能填补等智能化任务而实现精准预测的关键在于采用适配时序特性的基础模型开展高效训练。受时序数据多变、随机等固有特性影响传统模型在通用性与可扩展性上存在明显瓶颈面向时序场景的专用基础模型也因此成为行业研究焦点。针对这一技术难点清华大学软件学院研究团队联合字节跳动研究团队在自研时序基础模型 Timer 1.0 至 3.0 版本的研究基础上实现新突破正式发布最新版本 Timer-S1。该模型首次将时序基础模型拓展至十亿参数级别上下文长度达到 11.5K 时间点在大规模基准测试 GIFT-Eval 中取得了当前最优State-of-the-artSOTA预测性能。Timer-S1 通过创新的串行缩放范式从模型架构、数据集、训练流程三大维度重新定义了时序通用预测能力边界。相关研究论文 Timer-S1: A Billion-Scale Time Series Foundation Model with Serial Scaling 已正式发布今天我们将结合论文内容对核心技术进行详细解读。01 时间序列基础模型的核心研发难题相较于自然语言、图像视频等模态时间序列基础模型的构建面临着独有的技术挑战这也是模型难以规模化升级的关键原因数据异质性强不同领域的时间序列数据分布差异大频率、形态多变高维非结构化的原始数据中多尺度依赖关系的捕捉难度高数据本身的不确定性现实场景中的时间序列具有非平稳、随机的特性外部因素或状态变化会导致时间动态突发偏移为预测带来大量未知性规模化适配困境大语言模型中成熟的 MoE 等规模化架构直接适配时间序列时容易导致性能下降且现有预测方法难以兼顾串行特性与推理效率训练与推理的鸿沟自回归模型虽然贴合时间序列的串行预测本质但迭代滚动推理会带来巨大计算开销和严重的误差累积并行多步预测虽然提升效率却缺失必要的串行计算无法捕捉长期依赖形成规模化瓶颈。此前的 Timer 系列模型为统一化时间序列基础模型奠定了基础而 Timer-S1 的研发核心正是针对上述难题提出系统性的解决方案。长期预测累积不确定性每一步的预测都依赖于先前的估计这使时间序列预测成为一个串行问题02 Timer-S1 核心创新串行缩放的三大维度Timer-S1 的核心突破在于提出串行缩放范式从架构设计、数据构建、训练流程三个维度层层推进既尊重时间序列预测的串行本质又解决了规模化中的效率、偏差、性能问题三者相辅相成形成完整的技术体系。Timer-S1 的串行缩放通过串行预测、数据缩放和后训练三个维度实现(1) 架构设计实现高效串行预测Timer-S1 采用解码器 - only Transformer 作为基础骨干创新性融合了稀疏 TimeMoE 块和通用 TimeSTP 块打造了适配时间序列的串行预测架构兼顾异质性处理、串行计算与推理效率TimeMoE 块针对时间序列数据的全局异质性采用稀疏混合专家架构能自适应为不同模式的时间序列片段分配专属专家同时优化提升训练稳定性在实现 83 亿大参数量的同时保证推理速度解决了模型规模化与效率的矛盾TimeSTP 块为核心的串行令牌预测 (STP) 设计是 Transformer 块的串行化版本。它会参考初始历史序列和中间特征表示迭代生成步进式预测为多步长预测引入渐进式串行计算且推理阶段保留该模块无需自回归模型的滚动推理仅通过单次前向传播就能生成多步预测既避免了误差累积又大幅提升效率统一的预测头采用共享分位数预测头同时支持线性投影、扩散基头等多种预测头具备架构通用性。此外模型还通过实例重归一化解决不同数据集的尺度差异补丁级令牌嵌入将连续时间点转化为模型可处理的令牌进一步提升跨域泛化能力。Timer-S1 整体架构图(2) 数据构建万亿级高质量数据集高质量的大规模数据集是基础模型的核心支撑团队为此打造了包含 1 万亿时间点的时间序列语料库 TimeBench并通过精细化预处理和数据增强解决了时间序列数据质量差、分布失衡导致的预测偏差问题多源数据融合整合金融、物联网、气象、医疗等真实场景数据以及 Chronos、LOTSA 等公开研究数据集同时加入线性、正弦、指数等规范信号及组合的合成数据丰富数据模式严格质量管控通过因果均值插补、滑动窗口异常值移除等预处理解决缺失值、异常值问题剔除可能导致测试数据泄露的样本保证数据可靠性针对性数据增强采用重采样和值翻转两种方式有效缓解了模型的预测偏差提升跨场景泛化能力数据复杂度评估通过 ADF 平稳性检验、基于频谱熵的可预测性指标为每个数据集建立二维 “复杂度平面”实现数据的精细化筛选。(3) 训练流程兼顾短期与长期预测性能Timer-S1 摒弃单一阶段的训练模式创新性设计预训练 后训练的多阶段训练流程通过解耦训练目标分别提升模型的短期预测精度和长上下文处理能力进一步降低整体训练成本基础预训练以 STP 为核心目标对不同输入、输出长度的预测任务进行密集监督充分训练 TimeMoE 的上下文特征提取能力和 TimeSTP 的多步预测能力持续预训练针对 “长期预测的精度依赖短期预测” 的串行特性采用加权 STP 目标进行训练重点提升短期预测性能同时通过混合采样的重访机制避免过拟合长上下文扩展基于 RoPE 旋转位置嵌入将模型的上下文长度从 2880 扩展至 11520让模型能捕捉更长的历史序列信息提升长时预测的准确性。训练过程中团队实现了跨设备的十亿级参数规模化训练并采用混合内存-磁盘加载策略解决了万亿级数据的高效读取问题。TimeBench 数据集及 Timer-S1 训练流程示意图03 基准测试结果GIFT-Eval 实现 SOTATimer-S1 在时间序列通用预测基准 GIFT-Eval 上完成了全面评估该基准包含 24 个数据集、14.4 万个时间序列、1.77 亿数据点覆盖了主流的统计方法和先进的时间序列基础模型。测试结果充分验证了 Timer-S1 的性能优势整体性能 SOTATimer-S1 取得了最优的 MASE 和 CRPS 分数相较于同基于 TimeBench 训练的前代模型 Timer-3MASE 降低 7.6%CRPS 降低 13.2%直接验证了串行缩放的有效性Timer-S1 在 GIFT-Eval 排行榜的性能表现中长期预测表现突出按预测时长分组的测试显示Timer-S1 在中、长期预测任务上的性能提升尤为显著这正是串行预测架构的核心优势 —— 通过渐进式串行计算有效捕捉了时间序列的长期依赖解决了现有模型长期预测误差大的痛点按预测步长分组的 MASE 性能对比Timer-S1 在中、长期预测任务中性能优势显著后训练增益明显单阶段预训练的模型性能远低于 “预训练 持续预训练 长上下文扩展” 的多阶段版本验证了分阶段训练、针对性优化不同能力的技术路线的正确性。Timer-S1 不同训练流程的性能对比此外团队还通过对比实验验证了 STP 的优越性在相同计算预算下采用 STP 的 Timer-S1性能显著优于采用传统下一个令牌预测NTP 和多令牌预测MTP 的模型且推理时间更短充分证明 STP 是提升时间序列长期预测性能的通用有效模块。NTP/MTP 与 STP 的性能对比04 消融实验核心组件缺一不可为了明确各核心组件对模型性能的贡献团队开展了详细的消融实验关键结论如下TimeSTP 的设计细节至关重要如果模仿大语言模型丢弃训练后的 TimeSTP 块、采用滚动推理或引入训练时可见的未来信息模型性能会显著下降证明现有设计有效缩小了训练与推理的鸿沟适配时间序列的分布特性Timer-S1 不同 TimeSTP 变体的性能对比数据增强效果显著移除重采样、值翻转的增强策略后模型的泛化能力下降预测偏差增加验证了数据增强对缓解时间序列分布失衡的必要性Timer-S1 有无数据增强的性能对比预训练的知识迁移能力强在相同配置下未在 TimeBench 上预训练、直接从头训练的模型在 GIFT-Eval 上的表现明显落后证明 Timer-S1 在预训练阶段学习到了通用时序模式具备优秀的跨任务知识迁移能力。Timer-S1 有无 TimeBench 预训练的性能对比同时模型缩放规律的实验显示Timer-S1 在 24 个 TimeMoE 块 16 个 TimeSTP 块的配置下达到最优性能验证了时间序列基础模型在十亿级参数规模下仍能保持性能增益打破了规模瓶颈。不同 TimeMoE/TimeSTP 模块数的预训练性能05 总结Timer-S1 实现了时间序列基础模型领域十亿级规模化的突破提出的串行缩放范式将时间序列预测的串行本质融入模型的架构、数据、训练全流程为解决现有模型的规模化瓶颈提供了通用的技术思路。同时万亿级数据集 TimeBench、多阶段串行训练流程、TimeSTP 串行预测模块等创新也为时间序列基础模型的研发提供了可复用的技术方案。在时序基础模型的探索之路上Timer-S1 的发布并非终点而是新的锚点。未来研究团队将持续深耕时序大模型的泛化效能推动 Timer 系列在更多工业场景中释放价值让时序智能成为驱动产业升级的可靠力量。编辑文婧关于我们数据派THU作为数据科学类公众号背靠清华大学大数据研究中心分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识努力建设数据人才聚集平台、打造中国大数据最强集团军。新浪微博数据派THU微信视频号数据派THU今日头条数据派THU