FunPapers[3]：WWW‘25「快手」生成式回归预测观看时长

Sequence Generation Modeling for Continuous Value Prediction

• https://arxiv.org/pdf/2412.20211，www 2025.

核心思想

提出一种新型的连续值预测框架，将数值预测转化为序列生成任务，提升预测精度。

============================== 四个问题速通这篇论文 ==============================

1. CVP常规方法是怎么做的？

连续值预测（Continuous Value Prediction, CVP）是推荐系统和视频平台中的一项重要任务，其目标是对用户的观看时长、评分或其他连续数值进行预测。传统CVP方法主要分为以下几类：

• 直接回归方法（Value Regression, VR） ：直接将输入特征映射到连续值输出或者分位数，通常使用均方误差（MSE）作为损失函数。这类方法在处理广泛的数值范围和数据不平衡问题时表现不佳，容易受到异常值的影响，导致预测偏差。
• 序数回归方法（Ordinal Regression, OR） ：将连续值预测问题转化为一系列二分类任务。例如，CREAD通过动态离散化技术构建时间区间，TPM利用层次标签建模不同粒度的时间区间。然而，这些方法依赖于固定的时间区间划分，可能导致性能对区间划分方式高度敏感。

2. 观看时长预测和CVP是如何关联的？

观看时长预测是CVP在视频推荐系统中的一个典型应用场景。在短视频平台（如快手、TikTok）中，用户的观看时长是衡量用户参与度和体验的关键指标。准确预测观看时长可以延长用户停留时间，提升用户留存率和平台收益。观看时长预测本质上是一个CVP问题，需要解决的问题包括：

• 观看时长的分布范围广泛且呈长尾分布，导致传统回归方法容易出现预测偏差。
• 观看时长的连续性使其对异常值敏感，增加了建模的复杂性。
• 序数回归方法虽然通过离散化缓解了部分问题，但依赖于固定时间区间划分，可能忽略区间间的内在关系。

3. 生成式回归是怎么回事？

生成式回归（Generative Regression, GR）是一种新颖的CVP框架，其核心思想是将连续值预测问题转化为序列生成任务，通过逐步生成时间槽序列来逼近目标值。GR的一般做法流程：

• 连续值分解：将连续值分解为一系列时间槽（token），每个时间槽表示一个固定的时间间隔（如5秒、10秒等）。
• 序列化建模：每个时间槽的输出作为下一步的输入，形成条件依赖的序列建模过程。
• 恢复预测值：最终通过累加生成的时间槽序列得到预测值。

4. GR怎么做观看时长预测？

了解GR是怎么回事儿，再看一下GR预测观看时长的关键步骤：

（1）词汇表构建

这里的词汇表中是由时间槽（time slot）组成，类似于文本任务中的token，每个时间槽代表预先定义的一定时长，如5秒、10秒等。重点是如何构GR中的建词汇表：通过动态调整百分位值，逐步从数据中提取时间槽，既能有效处理长尾分布的极端值，又能平衡词汇表的使用频率，从而实现数据驱动的智能词汇表构建。

（2）标签编码与解码

将标量的观看时长编码为时间槽序列，并通过解码函数将生成的序列还原为连续值。编码过程遵循以下原则：

• 正确性：编码后的序列能够以极小误差还原目标值。
• 序列长度最短：选择最短的序列长度以简化学习过程。
• 单调性：序列中的时间槽按非递增顺序排列。

很显然，一个简单的贪心策略就能完成这个编码。

（3）模型架构

采用编码器-解码器架构：

• 编码器：使用前馈神经网络（FFN）提取用户和视频特征，生成固定长度的隐藏特征。
• 解码器：采用基于RNN的架构（如LSTM），以自回归方式生成时间槽序列。每个时间步的输出作为下一步的输入，形成条件依赖。

（4）训练与优化

• 使用交叉熵损失和Huber损失联合优化模型，平衡序列生成和连续值逼近的效果。
• 通过课程学习策略逐步调整训练过程，使模型适应推理阶段。

通过上述方法，生成式回归能够有效解决传统CVP方法中存在的问题，如离散化导致的精度损失、区间划分的敏感性以及训练-推理不一致性等。