【Bug已解决】Add warning when all completions are truncated 解决方案

【Bug已解决】Add warning when all completions are truncated 解决方案原始报错Add warning when all completions are truncated 场景在 GRPO / RL 训练的生成阶段一个 prompt 会采样出一组groupcompletion。如果这组里所有 completion 都因为达到max_completion_length而被截断说明这个 prompt 在现有长度限制下根本无法完整生成。此时继续拿这些残缺 completion 算奖励信号全错。现状是没有任何告警训练静默地在这些全截断样本上浪费。提议当一组 completion 全部截断时发出明确警告。 关键词生成截断、全截断检测、GRPO 组、训练健康告警、奖励信号保护。一、现象长什么样训练日志里某个 prompt 采样了 8 条 completion全部撞到max_completion_length上限被截断这 8 条残缺文本进入奖励计算分数要么是截断处的残值要么全 0整个组的相对优势估计基于全是残缺文本毫无意义没有任何日志提示这组全截断了训练照常推进指标悄悄失真大量这类 prompt 累积训练效果莫名变差排查时才知道问题。这个 issue 是至少给个警告——让全截断从隐形变成可见研究者才能决定是调大长度、跳过该 prompt、还是换数据。二、背景为什么全截断特别危险单条截断已经不好见相关长度默认值问题但整组全截断更糟单条截断组内还有完整 completion相对优势仍可估计整组全截断组内没有一条完整相对优势在一堆残缺里算等于用噪声当信号更严重的是全截断往往意味着max_completion_length对该 prompt系统性不够任务本身长不是偶然。所以全截断是一个高价值告警信号它不只是这条样本有问题而是这个长度配置对这类 prompt 不适用。三、根因无全截断检测与告警根因拆解无组级检测代码只逐条生成没汇总这组几条截了全截断静默即使检测到也没告警训练继续无聚合统计不统计全截断 prompt 占比问题规模化后看不见无处置告警后没有标准动作跳过/调大/记录只是一句日志与长度默认脱节全截断频发本应推动调大默认但没人看见。下面用最小模型复现一组全截断但无告警再给修复。四、最小可运行复现def generate_one(true_len, max_len): gen min(true_len, max_len) return gen, gen true_len # (生成长度, 是否截断) def process_group(prompt_true_len, group_size, max_len): completions [generate_one(prompt_true_len, max_len) for _ in range(group_size)] truncated [c for c in completions if c[1]] # 错误只处理不检测全截断也不告警 return len(truncated) if __name__ __main__: # 任务需要 600max2568 条全截 n process_group(600, group_size8, max_len256) print(f截断条数: {n}/8) # 8/8 全截断但无任何警告运行输出 8/8但程序一声不吭——全截断被完全忽略。五、方案组内全截断检测第一层生成一组后汇总截断情况当整组全截断时明确标记def analyze_group(completions, max_len): # completions: 每条 (gen_len, is_truncated) total len(completions) trunc sum(1 for _, t in completions if t) all_truncated (trunc total) return { total: total, truncated: trunc, all_truncated: all_truncated, ratio: trunc / total, } def process_group_fixed(prompt_true_len, group_size, max_len): comps [generate_one(prompt_true_len, max_len) for _ in range(group_size)] info analyze_group(comps, max_len) if info[all_truncated]: print(f[WARN] 整组 {info[total]} 条全部截断 f(任务需 {prompt_true_len} max {max_len})奖励信号无效) return info if __name__ __main__: process_group_fixed(600, group_size8, max_len256) # [WARN] 整组 8 条全部截断...全截断从隐形变成显式 WARN研究者立刻知道这个 prompt 在当前长度下无解。六、方案分级告警单条 / 整组 / 整批第二层告警分三级分别处理避免要么静默要么刷屏class TruncationWatcher: def __init__(self, warn_group_ratio1.0, warn_batch_ratio0.1): self.group_all 0 self.group_total 0 self.warn_group_ratio warn_group_ratio self.warn_batch_ratio warn_batch_ratio def on_group(self, info): self.group_total 1 if info[all_truncated]: self.group_all 1 # 单组级直接 WARN每条全截断都值得看 print(f[WARN] prompt#{self.group_total} 整组全截断) # 批级攒够一定量再汇总 if self.group_total % 50 0: ratio self.group_all / self.group_total if ratio self.warn_batch_ratio: print(f[BATCH WARN] 全截断 prompt 占比 {ratio:.1%} f建议调大 max_completion_length) if __name__ __main__: w TruncationWatcher() for _ in range(50): info process_group_fixed(600, 8, 256) # 全截断 w.on_group(info) # 每 50 组输出一次批级汇总分级让单组全截断即时可见、批量趋势用汇总呈现既不漏也不刷屏。七、方案告警后处置跳过 / 调大 / 记录第三层告警不能只是日志要有标准处置——全截断的组应从奖励计算里排除或标记无效并记录到报告供后续决策def decide_group(info, max_len, task_len): if info[all_truncated]: return { action: skip, # 无效奖励跳过该组 reason: all_truncated, suggest_max_len: max(task_len, max_len * 2), } if info[ratio] 0.5: return {action: keep_warn, reason: high_truncation} return {action: keep, reason: ok} if __name__ __main__: info process_group_fixed(600, 8, 256) decision decide_group(info, 256, 600) print(处置:, decision) # {action: skip, reason: all_truncated, suggest_max_len: 512}全截断的组被 skip不污染奖励同时给出建议调大到 512的可操作建议把告警变成决策依据。八、验证把全截断检测锁进测试def test_all_truncated_detected(): comps [(256, True)] * 8 # 8 条全截断 info analyze_group(comps, 256) assert info[all_truncated] is True assert info[truncated] 8 def test_not_all_truncated(): comps [(256, True), (100, False)] * 4 # 半截 info analyze_group(comps, 256) assert info[all_truncated] is False def test_skip_decision_on_all_truncated(): info analyze_group([(256, True)] * 8, 256) d decide_group(info, 256, 600) assert d[action] skip if __name__ __main__: test_all_truncated_detected() test_not_all_truncated() test_skip_decision_on_all_truncated() print(全截断检测与处置测试通过。)九、排查清单全截断无告警按顺序查组级检测生成一组后是否汇总几条截了还是只逐条处理全截断告警整组全截时是否有明确 WARN静默则危险。分级是否区分单组告警与批量趋势避免刷屏或遗漏。聚合统计全截断 prompt 占比是否被统计规模化问题才看得见。处置告警后是否 skip/调大/记录只日志不够。奖励保护全截断的组是否从奖励计算排除否则污染信号。与长度联动全截断频发是否推动调大 max_completion_length十、小结所有 completion 都截断时应告警是生成阶段缺少组级截断检测全截断被静默消化导致奖励信号系统性失真。修复三层组级检测生成一组后汇总截断数整组全截断即标记分级告警单组全截断即时 WARN、批量趋势汇总呈现不漏不刷告警即处置全截断组从奖励计算跳过并给出调大长度的可操作建议。核心原则全截断不是普通截断——它意味着当前长度配置对该 prompt 系统性失效组内无任何完整样本奖励信号完全不可信。把它从隐形变成显式告警并自动 skip训练才不会在一堆残缺文本上悄悄学歪。