【分箱进阶篇】分箱的工程细节：从训练到部署的完整模式

基础篇参考【分箱基础篇】pandas 分箱双子星pd.cut 与 pd.qcut​ 我们在基础篇讲了pd.cut和pd.qcut各自怎么用。但在实际项目里分箱不是调一次函数就完事的。通常来说训练集上算出来的切分点要保存下来测试集和线上推断要复用同一套切分点还要处理各种边界情况。​ 这篇聚焦分箱落地时的工程问题怎么 fit、怎么 apply、怎么兜底、怎么验证。准备工作生成模拟数据​ 本篇所有示例共用同一份模拟数据先跑这段importpandasaspdimportnumpyasnpfromsklearn.model_selectionimporttrain_test_split np.random.seed(42)n5000dfpd.DataFrame({月收入:np.random.exponential(8000,n).clip(1000,80000),负债率:np.random.beta(2,5,n),逾期次数:np.random.poisson(0.5,n).clip(0,10).astype(int),账龄:np.random.randint(1,120,n),年龄:np.random.randint(20,65,n),})# 模拟违约标签收入低、负债高、逾期多 → 违约概率更高log_odds-3-0.0001*df[月收入]2.0*df[负债率]0.5*df[逾期次数]-0.005*df[账龄]df[label](np.random.rand(n)1/(1np.exp(-log_odds))).astype(int)train,testtrain_test_split(df,test_size0.2,random_state42,stratifydf[label])print(f训练集{len(train)}条测试集{len(test)}条坏样本率{df[label].mean():.2%})输出训练集4000条测试集1000条坏样本率4.38%​ 后续代码中出现的train、test均来自这里。一、fit / apply 分离模式​ 分箱和模型训练一样存在训练与推断不一致的风险。如果在测试集上重新调用qcut因为切分点可能会不同这样在训练集和测试集上相同的值可能落进不同的箱这就是数据泄漏的一种形式。1.1 将分箱拆分为拟合和应用​ 通常在实践过程中会把分箱拆成两步​ 首先拟合切分点。fit_bins负责在训练集上用qcut算出切分点只返回 edges 数组不返回分箱结果deffit_bins(series,n_bins5):在训练集上拟合切分点_,edgespd.qcut(series,qn_bins,retbinsTrue,duplicatesdrop)returnedges​apply_bins负责用已有的 edges 对任意数据分箱。注意它内部调用的是pd.cut而不是qcut因为切分点已经确定了不需要再从数据中计算defapply_bins(series,edges):用已保存的切分点对任意数据分箱returnpd.cut(series,binsedges,include_lowestTrue)1.2 使用​ 训练时调fit_bins拿到切分点之后训练集、测试集、线上数据全部走apply_bins# 训练阶段拟合edgesfit_bins(train[月收入],n_bins5)# 训练集分箱train[月收入_bin]apply_bins(train[月收入],edges)# 测试集 / 线上推断复用同一套 edgestest[月收入_bin]apply_bins(test[月收入],edges)​ 这个模式的核心是qcut只调用一次后续全部用cut。edges是一个 numpy 数组可以序列化保存pickle / JSON / 配置文件和模型权重一起管理。​fit_bins对应 sklearn 的fitapply_bins对应transform。分箱本质上也是一个有状态的转换器状态就是那组 edges。二、边界值兜底2.1 问题极端值变 NaN​ 训练集的值域是有限的。线上数据完全可能出现训练时没见过的极端值例如收入特别高的客户、负债率为零的新用户。如果这些值落在 edges 范围之外pd.cut会返回 NaN下游特征全部失效。2.2 解法首尾替换为无穷​ 只需要在fit_bins里加两行把qcut算出的第一个和最后一个切分点替换成 ±inf让区间向两端无限延伸deffit_bins(series,n_bins5):_,edgespd.qcut(series,qn_bins,retbinsTrue,duplicatesdrop)edges[0]-np.inf edges[-1]np.infreturnedges​ 这样不管来什么值都一定能落进某个箱里。edgesfit_bins(train[月收入],n_bins5)[-inf1776.894486274075.82093697400.2441135412748.68735451inf]​ 对于月收入我们设置的分箱数为5 得到了6个边界点。​ 验证一下效果故意传入一个远低于训练集最小值的 500 和一个远高于最大值的 200000test_seriespd.Series([500,200000])test_bins_resapply_bins(test_series,edges)test_bins_dfpd.DataFrame({data:test_series,bins:test_bins_res})print(ftest bins {test_bins_df})test bins data bins 0 500 (-inf, 1776.894] 1 200000 (12748.687, inf]​ 可以看到极小值进第一个箱极大值进最后一个箱。不会再有 NaN出现。2.3 注意事项​ 有一个细节值得注意替换 ±inf 后第一个箱和最后一个箱变成了兜底箱它们的样本量在线上可能和训练时不一样。如果业务上对极端值的处理有特殊要求比如超高收入客户需要单独审批流程应该在分箱之前就做截断或特殊标记而不是依赖兜底箱。三、重复边界的处理策略​ 基础篇中提到过duplicatesdrop能绕过重复切分点的报错。但绕过不等于解决箱数会减少等频的约束被打破。实际遇到这个问题时有几种处理方式。3.1 先看分布再决定​ 遇到duplicates报错时第一反应不是加duplicatesdrop而是先看看数据长什么样spd.Series([0,0,0,0,0,1,2,3,5,10])sorted_ress.value_counts().sort_index()print(sorted_res)0511213151101​ 10 个值里 5 个是 0等频分 5 箱需要找 20%、40%、60%、80% 四个分位数作为切分点其中 20% 分位和 40% 分位都落在 0 上产生重复的切分点qcut直接报ValueError。看清分布之后再选下面某种策略。3.2 策略一drop 接受更少的箱​ 最省事的方式就是让 pandas 自动合并重复的切分点实际箱数会少于你请求的数量_,edgespd.qcut(s,q5,retbinsTrue,duplicatesdrop)# 实际只得到 2~3 个箱​ 适合探索阶段快速看个大概不适合直接用于建模。3.3 策略二把高频值单独成箱​ 思路是把导致重复的那个值拎出来给它一个专属箱剩下的值再正常分箱。单独拎出来0所在的信息剩下的再分箱mask_zero(s0)_,edges_restpd.qcut(s[~mask_zero],q3,retbinsTrue)print(剩下的边界)print(edges_rest)剩下的边界[1.2.333333334.3333333310.]手工拼接在 edges_rest 前面插入-inf和0让 0 独占(-inf, 0]这个箱。edgesnp.concatenate([[-np.inf,0],edges_rest[1:]])edges[-1]np.infprint(拼接边界)print(edges)拼接边界[-inf0.2.333333334.33333333inf]​ 注意最终箱数是 10 的专属箱 3剩余值的等频箱 4 个不是q3指定的 3 个。q控制的只是去掉高频值之后那部分数据的分箱数加上手工拆出来的专属箱总箱数会多出来。​ 风控场景常见比如逾期次数 0本身就是一个强特征值得单独成箱。3.4 策略三换用等距或自定义分箱​ 如果等频分箱在这个特征上表现不好换用pd.cut或业务自定义切分点可能更合适。不必执着于一种分箱方式。四、自定义分箱点​ 等频和等距都是数据驱动的自动方案。实际业务中分箱点经常来自领域知识。4.1 按业务含义切分​ 年龄是最典型的例子每个年龄段在风控中的含义不同切分点来自业务经验而非数据分布age_bins[0,18,25,35,45,55,65,np.inf]age_labels[未成年,18-25,26-35,36-45,46-55,56-65,65]df[年龄段]pd.cut(df[年龄],binsage_bins,labelsage_labels,rightFalse,include_lowestTrue)​ 负债率也类似风控经验上 20%、40% 等是常见的风险分水岭debt_bins[-np.inf,0.2,0.4,0.6,0.8,np.inf]df[负债率段]pd.cut(df[负债率],binsdebt_bins,include_lowestTrue)​ 自定义分箱的好处是可解释性强业务人员能直接理解负债率 40%~60%“是什么意思不需要解释第 3 分位到第 4 分位”。缺点是需要领域经验切分点选不好会导致某些箱样本量太少。4.2 折中自动探索 手工微调​ 一种折中做法是先用 qcut 自动分箱看分布再根据业务含义手工微调切分点。五、分箱结果的验证​ 分箱完成后需要验证结果的合理性避免把有问题的分箱带入下游建模。以下三项检查覆盖了最常见的问题。5.1 各箱样本量​ 最基本的检查看每个箱里有多少样本df[月收入_bin].value_counts().sort_index()(-inf, 3200.0] 812 (3200.0, 5800.0] 798 (5800.0, 9500.0] 803 (9500.0, 16000.0] 791 (16000.0, inf] 796​ 等频分箱的各箱应该大致均匀。如果某个箱样本量特别少比如不到总量的5 % 5\%5%考虑合并相邻箱。5.2 是否存在空箱​ 训练集和测试集的分布可能有差异某个箱在测试集里可能一个样本都没有# 检查测试集是否有箱为空test_countstest[月收入_bin].value_counts()if(test_counts0).any():print(警告测试集存在空箱)​ 测试集某个箱为空不一定是问题可能只是样本量小但如果训练集某个箱为空就需要处理了空箱算不出 WOE会在下游引发错误。5.3 可视化验证​ 数字看完看图。最有信息量的图是柱线混合图柱子表示各箱样本量折线表示坏样本率importmatplotlib.pyplotasplt bin_stats(train.groupby(月收入_bin,observedTrue)[label].agg([mean,count]).rename(columns{mean:bad_rate,count:n}))​groupby按分箱聚合mean就是坏样本率因为 label 是 0/1count是样本量。月收入_bin bad_rate n(-inf,1776.894]0.06875800(1776.894,4075.821]0.05250800(4075.821,7400.244]0.05375800(7400.244,12748.687]0.03250800(12748.687, inf]0.01125800​ 画图用双 Y 轴左轴画柱子表示样本量右轴画折线表示坏样本率。两个指标量纲差异大共享一个 Y 轴会导致其中一个被压扁看不清fig,ax1plt.subplots(figsize(10,5))ax1.bar(range(len(bin_stats)),bin_stats[n],alpha0.3,label样本量)ax2ax1.twinx()# 创建共享 X 轴的第二个 Y 轴ax2.plot(range(len(bin_stats)),bin_stats[bad_rate],ro-,label坏样本率)​ X 轴的刻度默认是 0, 1, 2… 这样的整数索引需要替换成分箱区间标签。标签较长旋转 45° 避免重叠ax1.set_xticks(range(len(bin_stats)))ax1.set_xticklabels(bin_stats.index.astype(str),rotation45,haright)plt.tight_layout()plt.show()​ 重点看折线的走势理想情况下坏样本率应该在各箱之间呈单调趋势随收入增加而递减或随逾期次数增加而递增。如果出现非单调的拐点通常意味着需要合并相邻箱或重新调整切分点这就是WOE 单调性约束。另外需要说明的是非单调拐点是一个信号不是一个错误。它提示你这两个相邻箱的风险差异可能不够显著合并后模型会更稳定。六、多特征批量分箱​ 实际项目中特征不止一个。把前面的fit_bins/apply_bins包一层循环对所有特征统一处理deffit_all_bins(df,features,n_bins5):对多个特征批量拟合分箱return{feat:fit_bins(df[feat],n_bins)forfeatinfeatures}defapply_all_bins(df,features,bin_edges):对多个特征批量应用分箱resultdf.copy()forfeatinfeatures:result[f{feat}_bin]apply_bins(df[feat],bin_edges[feat])returnresult​ 用法很直观训练时 fit 一次之后对训练集和测试集各 apply 一次features[月收入,负债率,逾期次数,账龄,年龄]bin_edgesfit_all_bins(train,features)train_binnedapply_all_bins(train,features,bin_edges)test_binnedapply_all_bins(test,features,bin_edges)​bin_edges是一个字典键为特征名值为 edges 数组。整个字典可以一次性序列化保存部署时加载复用。七、edges 的持久化​bin_edges需要和模型一起保存否则线上没法分箱。7.1 方案一pickle​ 最简单的方式但 numpy 版本敏感importpicklewithopen(bin_edges.pkl,wb)asf:pickle.dump(bin_edges,f)7.2 方案二JSON​ 跨语言通用Java/Go 线上服务也能读但有一个麻烦JSON 规范只支持有限数值±inf和NaN都无法直接表示。Python 的json.dumps(float(inf))会直接抛ValueError。​ 这里需要约定一个映射规则。常见做法是把±inf映射成NonePython→nullJSON。注意这三者的对应关系PythonJSON含义Nonenull空值float(inf)无对应需自行约定正无穷float(nan)无对应需自行约定非数值​ 我们选择null来表示 ±inf是因为 edges 数组中只有首尾两个位置可能是无穷反序列化时根据位置首位→-inf末位→inf就能无歧义地还原。(1) 序列化实现importjsondefedges_to_json(bin_edges):result{}forfeat,edgesinbin_edges.items():result[feat][Noneifnp.isinf(e)elsefloat(e)foreinedges]returnresult​ 序列化后的 JSON 大概长这样{月收入: [null, 3200.0, 5800.0, 9500.0, 16000.0, null]}。(2) 反序列化实现​ 反序列化时把首尾的null还原成 ±infdefedges_from_json(data):result{}forfeat,edgesindata.items():arr[]fori,einenumerate(edges):ifeisNone:arr.append(-np.infifi0elsenp.inf)else:arr.append(e)result[feat]np.array(arr)returnresult7.3 如何选择​ 选哪个取决于部署环境。如果线上服务也是 Python比如用 Flask/FastAPI 包一层pickle 最省心如果线上是 Java 微服务JSON 或配置中心更合适。八、总结​ 这篇讲的是分箱的工程骨架fit / apply 分离qcut只在训练集上调一次后续全用cut 保存的 edges±inf 兜底替换首尾边界确保任何值都有箱可落重复边界先看分布再选策略drop / 单独成箱 / 换方式自定义分箱业务知识优先qcut做初始探索验证三件事样本量、空箱、坏样本率单调性持久化edges 和模型一起保存、一起部署