推广案例分析-延迟反馈建模

1. 适用场景延迟反馈核心问题是点击后长时间才转化样本被错误标记为负例。工业界主流用ESMM 多任务模型联合预估点击与延迟转化长周期场景使用生存分析处理右截尾数据线上简易方案使用FNW 假负加权修正样本偏差。本文内容我个人理解如果错误请大佬们指点 广告领域MTA归因配套1. 电商信息流广告长周期下单CVR2. 大家电、珠宝长决策广告归因3. MTA多触点延迟转化建模4. Uplift增量预估、LTV长期用户价值 推荐领域1. 短视频直播复购、长尾付费转化2. 会员、充值、长周期留存建模3. 种草内容→后续下单延迟反馈4. 首页推荐商品跨天成交预估 全行业通用信贷、保险、教育、本地生活全部都是点击咨询→几天后才成交100%用ESMM延迟建模2. 建模思路核心问题用户点击广告/商品 → 当天不付款几天后才下单数据集截止统计时已经下单 正样本 ✔没下单 被强行标负 ❌但他只是还没买不是不会买这就是假负样本 右截尾数据模型梯度完全跑偏CVR严重低估。2.1 样本构造原始行为链路曝光 → 点击 → 加购/收藏 → T天后支付转化我们截取固定观测窗口7天 / 15天 / 30天1. 两类样本严格区分1已完结样本 观察窗口已走完窗口内成功支付 → Label1任务1 正样本窗口结束依然未转化 → Lable0 任务1 负样本窗口内成功支付 →标签 点击→成交 真实间隔天数 t 任务2 已转化样本完结负样本→标签 窗口天数后面训练的时候会有mask2右截尾样本核心延迟样本统计时间截止时观测窗口还没走完用户还没发生转化这部分样本不参与任务1迭代未转化用户Lable 从点击时刻 到 数据截断时刻 已经过去的时长 任务2 未转化样本不知道未来会不会买只知道截止当前没转化2. 双任务 Label 分别怎么做任务1转化概率 CVR Label (模型学习这个人会不会买)最终成交 1长期不成交 0未到期截尾样本不参与硬标签监督只参与时间分布约束任务2转化延迟时长/生存任务 T Label 模型学习用户多久大概率会买业界是多分类已转化用户Label 点击到付款的间隔天数截尾未转化用户Label 当前已等待时长做生存约束样本如何使用分类任务右截尾样本没有0/1标签不参与CVR 分类训练不参与CVR损失计算不回传梯度避免假负偏差时长任务右截尾样本有1个整数LabelLabel 从点击时刻 到 数据截断时刻 已经过去的时长天/小时, 这个Label不是让模型拟合“第n天转化”而是加一条约束《该用户前n天没有转化未来第n1天后才可能转化》, 参与时长训练延迟时长任务上有一个已等待时长作为标签用来做生存约束约束该用户在当前截止时间之前没有发生转化。生存约束具体怎么使用ESMM专门处理这类样本普通LR/DeepFM完全处理不了2.2 模型结构 训练流程底层共享双塔双头1). 底层共享Embedding塔用户特征商品特征广告特征行为序列完全共享所有行为共用一套表征不重复计算2). 头上层两个独立输出塔塔1转化概率头 Sigmoid → 输出P(转化)塔2时长分布头高斯/离散分桶→ 输出P(第t天转化)3). 损失函数设计面试高频加分CVR二分类交叉熵损失时长回归/分桶排序损失假负样本权重衰减点击时间越久、越可能后续转化样本权重越高刚点击不久没付款权重低很久没动静权重升高4). 训练逻辑离线批训练打底在线流式增量训练每天回流转化订单动态更新历史旧样本标签昨天是负例今天付款了 → 自动转正持续修正模型3. 高频问题3.1. 为什么不能直接加长观测窗口窗口太长 → 训练延迟、线上推理滞后业务无法实时预估窗口太短 → 大量假负样本偏差依旧存在3.2. 为什么要用多任务不用单CVR单任务分不清「未转化」和「永不转化」延迟时长任务给CVR额外监督信号缓解样本偏置 本质就是可以约束调节表征而不是给截尾用户判死刑监督的本质任务 2 通过共享底层特征把「时间先后、转化快慢、截尾约束」的知识强行灌给任务 1不是直接给 CVR 改 label是通过共享参数隐性约束表征。任务2怎么监督矫正任务11. 底层参数完全共享用户、商品、行为序列、交叉特征Embedding两个任务共用一套任务2在反向传播更新共享参数时会顺带把任务1的表征一起掰正。2.任务2 给的隐性监督逻辑三步第一步任务2把所有样本都纳入训练学会区分快转化用户、慢转化用户、永远不转化用户的表征差异右截尾样本虽然没CVR标签但用时序约束告诉模型这类人不是不买只是转化时间靠后第二步共享Embedding被任务2调教后暂时没下单的截尾用户表征会被拉向【慢转化人群】而不是被单任务强行拉向【永不转化的负样本】第三步任务1 CVR在共享好的表征上做二分类能自动识别哪些是真不买完结负样本哪些是还没买右截尾不轻易判03.3. 右截尾样本怎么参与训练不强行给0/1标签只约束存活概率截止当前时刻未转化未来转化概率随时间衰减右截尾样本约束规则该用户在0~t时间内一定没有发生转化只能在t之后才能转化。: 右截尾样本已等待时长点击到当前截断时刻的时长时间轴0,1,2,…,τ,τ1,τ2⋯P(s): 模型预测【在第s天发生转化】的概率 前所有时刻都不能发生转化转化只能出现在之后第一步模型输出怎么构造把时间离散分桶比如分桶桶1:1天内桶2:1~3天桶3:3~7天桶4:7~15天桶5:15天以上模型任务2输出每个时间桶的转化概率分布,, 含义用户落在第i个时间桶转化的概率。第二步右截尾样本约束 翻译成 数学调节假设用户已等待落在第 3 个桶3~7 天约束翻译成所有序号 ≤ 当前已走过桶的概率必须趋近于 0只能把概率质量留给序号 当前桶的后面桶第三步损失函数怎么实现这个约束用对数似然约束掩码1.对已转化的完结样本真实落在第k桶直接最大化logpk2.对右截尾样本构造掩码mask已走过的前 m 个桶 → mask0禁止分配概率未到来的后面桶 → mask1只能在这些桶分配概率损失形式,解释时刻之后未来总转化概率模型必须最大化这个总和同时压低前面已过时间段的概率。强制让模型把转化概率全部后置到之后前面时间段压成接近0。样本类型关键信息Mask 规则5 维 Mask 值右截尾 未转化τ9 天落桶 3所在桶及左全 0右侧后桶 1[0,0,0,0,1]右截尾 已转化5 天转化落桶 2仅真实转化桶为 1其余 0[0,0,1,0,0]任务 2所有样本都有 mask右截尾未转化用已等待时长 τ按「左全封、右放开」生成 mask右截尾已转化用真实转化天数落到对应桶只把该桶置 1其它置 0mask 就是 5 维 0/1 向量用来控制模型只能在哪些时间桶分配转化概率。第四步训练梯度怎么生效1.样本输入共享Embedding--任务2输出各时间桶概率2.根据样本的算出哪些时间桶已经走完3.生产mask屏蔽掉已经走完的桶4.只对未来未走完桶计算似然损失5.反向传播更新任务2专属MLP底层共享Embedding一起被更新6.共享Embedding被调教后这类【慢转化、还没到期】的用户表征、不会被推向“永不转化负样本” 传给CVR塔时CVR就不会乱打分这里指的是推理阶段解决假负样本问题。右截尾样本虽然不亲自参加 CVR 训练但它通过任务 2把共享 Embedding 的 “人群表征分布” 给教对了等到线上推理遇到这类慢转化用户时CVR 拿到的已经是被矫正过的慢热人群向量自然就不会像以前那样无脑打成「不买低分」3.4. ESMM和普通CVR最大区别普通CVR只看点击→成交ESMM打通曝光点击转化延迟成交全链路天生适配延迟反馈3.5. 塔2时长分布头高斯/离散分桶→ 输出P(第t天转化) 具体怎么设计就是一个标准的多分类头。共享Embedding → 2层MLP → 线性层(5维) → Softmax → 5个概率任务 2 离散时间分桶 多分类任务 2 Loss 两种情况用两种不同损失但统一叫「加权交叉熵 / 掩码似然损失」3.6. 任务2损失函数一般怎么设计只有一种带 mask 的交叉熵损失masked cross-entropy但分两种样本情况 1已转化样本无论是否右截尾有真实桶 label k Loss -log(pk),就是标准多分类交叉熵。情况2右截尾未转化样本没有label只有--生成mask例如mask[0,0,0,0,1], Loss -log(所有mask1的桶的概率之和)3.7.假负样本在训练过程是怎么处理的权重和其他样本是一样的吗假负样本权重衰减点击时间越久、越可能后续转化样本权重越高刚点击不久没付款权重低很久没动静权重升高结论任务2 时长多分类层假负样本允许参与训练、算loss、传梯度。但不能跟正常完结样本权重一样要人工加权。这个权重不是模型自己学出来的是样本侧静态加权。是人工先验规则 人工公式算出来的固定给定的不是网络参数。把你两个核心疑问一次性讲透1. 假负样本训练怎么处理2. 这个权重是不是模型自己学的还是人工设定规则3. 为什么「越久没付款权重越高」不是玄学1). 权重公式:设观测窗口 T15 天 该用户已经等待的天数人工定义权重刚等2天, 权重很低等了8天, 中等等了14天, 权重接近正常样本2). 这么设权重的业务考量1. 刚点击1~2天没付款大部分人只是还在犹豫、没到决策时间现在没买 ≠ 真不买不确定性极高 → 降权少让它影响模型2. 已经熬到14天还没买都快走完整个15天窗口了依然没转化业务上看大概率就是真不买了可信度很高 → 升权让模型多学这类人的特征这是业务观察先验不是模型自学出来的规律。3). 带权重怎么进 loss任务2损失人工提前算好完结正负样本、右截尾已转化样本默认只有假负样本右截尾未转化用上面的递增权重4.其他思路模型 / 方案优先级核心解决问题适用场景面试核心一句话ESMM多任务1必背解决延迟转化导致的假负样本偏差区分 “未发生转化” 和 “不会转化”电商 / 广告 / 推荐通用大厂标配联合预估 CTR 与 CTCVR用多任务避免点击未成交样本直接标记为负缓解延迟反馈偏差生存分析Cox/Kaplan-Meier2拔高处理右截尾数据建模转化随时间的概率分布长决策链路、长周期归因、LTV 预估如 Amazon MTA不强行给未到期样本打负标签通过生存概率约束解决右截尾问题适合长周期转化场景FNW 假负样本加权3保底修正早曝光、未回流样本的错误负例带来的梯度偏差工程快速落地、延迟反馈问题较轻的场景通过给未回流样本加权重弱化假负样本对模型梯度的负面影响是线上轻量方案5. 额外扩展1普通 ESMM无延迟反馈场景2延迟反馈 ESMM有延迟、右截尾、假负样本场景5.1 传统ESMMCTR 曝光→点击 二分类CVR 点击→转化 二分类CTCVR曝光→点击→转化 二分类三个全是二分类没有任何多分类、没有时间桶、没有生存约束。传统 ESMM 解决什么只解决一件事CVR 样本稀疏、样本选择偏差只在点击样本上训 CVR不解决延迟反馈、不解决右截尾、不解决假负样本 结论无延迟业务场景用传统 ESMM全二分类不需要多分类任务。5.2延迟反馈版 ESMM / 多任务适用场景有长周期转化、跨天下单、右截尾大量存在比如电商大件、保险、教育、贷款、奢侈品几天十几天才成交任务配置变成任务 1CVR 二分类学会不会转化任务 2时间分桶多分类学哪个时间段转化、做右截尾 mask 约束不再带 CTR、CTCVR精简成二分类 多分类双任务。它解决什么解决假负样本未到期截尾不能标 0解决右截尾数据无法监督用时序多分类矫正共享 Embedding让 CVR 不乱打分 结论有延迟反馈业务必须改成 二分类 (CVR) 时间多分类 (时长)不能只用纯二分类。5.3 是否可以迁移到MMOEPLECGC等模型上完成1延迟反馈版为什么可以不用 CTR/CTCVR2它还是不是 ESMM3能不能用 MMOE / PLE / CGC 替代4ESMM 和 MMOE/PLE 本质区别在哪1). 为什么延迟反馈建模经常舍弃 CTR、CTCVR只保留「CVR二分类 时间多分类」传统ESMM 初衷是用海量曝光样本训CTR用CTR帮少样本CVR矫正Embedding解决CVR稀疏 样本选择偏差只在点击上训CVR但延迟反馈场景有新主要矛盾主要矛盾已经不是「CVR样本少」而是 大量右截尾假负样本、时间跨天、没法打0/1标签这时再强行带 CTR、CTCVR 意义不大核心瓶颈变成怎么用时间多任务约束右截尾、矫正表征所以工程上直接精简成任务1CVR 是否转化二分类任务2转化时间段时间桶多分类 这不代表抛弃ESMM思想只是任务子集裁剪。2). 只用 二分类多分类双任务换 MMOE / PLE / CGC 行不行答案完全可以而且工业界大量就是这么干的。延迟反馈建模不需要死守ESMM结构。 用MMOE、 PLE、 CGC、 SharedBottom 普通多任务全都能做 CVR二分类 时间桶多分类 延迟反馈建模。可替换的核心原因延迟反馈核心刚需只有两件事1. 底层共享Embedding 让两个任务互相补课、互相矫正2. 任务2用时间分桶mask损失 处理右截尾、假负样本只要能做到「底层共享多任务」不管是ESMM、MMOE、PLE架构都能跑通。3). ESMM 的独有优势到底是什么ESMM 原生独有设计 利用链路前置任务CTR在全曝光空间做知识迁移强行纠正CVR的样本选择偏差适用CVR 极度稀疏, 只能在点击子集训CVR泛化差但延迟反馈场景下主要矛盾从「样本稀疏」变成「右截尾假负」此时ESMM 那种链路式CTR→CVR→CTCVR收益被稀释换成 MMOE/PLE 这种通用多任务架构完全够用甚至更灵活4). ESMM vs MMOE/PLE 在延迟反馈场景的区别?1. ESMM强任务链路依赖曝光→点击→转化适合无延迟、CVR极稀疏、要纠偏样本选择偏差缺点延迟场景带CTR收益低、任务冗余2. MMOE / PLE / CGC通用多任务共享框架无业务链路强假设适合异构任务混搭二分类 多分类 排序任务延迟反馈非常适配底层共享Expert两个任务互相蒸馏表征任务2约束右截尾 → 矫正共享Embedding → 任务1 CVR打分变准 延迟反馈业务工业界主流就是PLE/MMOE CVR二分类 时间桶多分类 Mask损失根本不用硬套原版ESMM。