sklearn Pipeline：特征工程和建模流水线

你一定写过这样的代码先对年龄做分箱再对职业做 one-hot然后把处理好的列拼起来最后喂给模型。每一步都是散装的fit_transform变量名从X_binned到X_encoded到X_final稍不留神就在测试集上用了训练集的 encoder或者上线时漏了某一步预处理。​ sklearn 提供了一套组合工具Pipeline ColumnTransformer把这些散装步骤焊成一条流水线。训练时一个fit预测时一个predict中间的特征工程全部封装在里面。​ 这篇文章从一个完整的信用评分建模场景出发讲清楚这条流水线是怎么拼出来的、为什么要这样拼。一、散装代码的问题1.1 手动实现​ 先看最常见的写法把每一步拆开手动执行fromsklearn.preprocessingimportKBinsDiscretizer,OneHotEncoderfromsklearn.linear_modelimportLogisticRegressionimportnumpyasnp# 第 1 步数值特征分箱binnerKBinsDiscretizer(n_bins10,encodeordinal,strategyquantile)X_train_binnedbinner.fit_transform(X_train[numeric_features])X_test_binnedbinner.transform(X_test[numeric_features])# 第 2 步分箱结果 one-hotohe_numOneHotEncoder(sparse_outputFalse,handle_unknownignore)X_train_numohe_num.fit_transform(X_train_binned)X_test_numohe_num.transform(X_test_binned)# 第 3 步类别特征 one-hotohe_catOneHotEncoder(sparse_outputFalse,handle_unknownignore)X_train_catohe_cat.fit_transform(X_train[categorical_features])X_test_catohe_cat.transform(X_test[categorical_features])# 第 4 步二值特征直接用X_train_binX_train[binary_features].values X_test_binX_test[binary_features].values# 第 5 步拼接X_train_finalnp.hstack([X_train_num,X_train_cat,X_train_bin])X_test_finalnp.hstack([X_test_num,X_test_cat,X_test_bin])# 第 6 步训练模型modelLogisticRegression(max_iter1000,C0.1)model.fit(X_train_final,y_train)1.2 踩坑点​ 上述代码本身没有错但有三个容易踩的坑(1) 训练/测试不一致。​ 你必须记住每个 transformer 只在训练集上fit测试集只能transform。步骤一多手滑调反一次就是数据泄露。(2)上线时要复现全部步骤。​ 部署时你需要保存binner、ohe_num、ohe_cat三个对象还要记住拼接顺序。漏一个就会出错。(3) 调参时代码膨胀​ 想试试n_bins5和n_bins20的效果你得手动改值、重新跑全部六步。想做交叉验证每一折都要重复这套流程。​ 这些问题的根源是同一个预处理和模型是分开的你得自己保证它们步调一致。二、Pipeline把多步串成一步​Pipeline把多个处理步骤串联成一个对象。调用这个对象的fit它会按顺序依次fit_transform每一步最后一步只fit调用predict它会依次transform最后一步predict。2.1 简单示例​ 先看一个最简单的例子数值特征的分箱 → one-hot两步操作fromsklearn.pipelineimportPipelinefromsklearn.preprocessingimportKBinsDiscretizer,OneHotEncoder numeric_transformerPipeline([(binning,KBinsDiscretizer(n_bins10,encodeordinal,strategyquantile)),(onehot,OneHotEncoder(sparse_outputFalse,handle_unknownignore)),])​Pipeline接收一个列表每个元素是(名字, 转换器)的二元组。名字随便起但后面调参时会用到。2.2 逻辑说明​ 这两步的执行逻辑是输入矩阵 │ ▼ KBinsDiscretizer ── fit_transform ──▶ 分箱编号矩阵0,1,2,...,9 │ ▼ OneHotEncoder ── fit_transform ──▶ one-hot 矩阵为什么分箱用encodeordinal而不是直接encodeonehot​​ 上面是一步到位的方案KBinsDiscretizer直接输出 one-hot但它不认识训练时没见过的分箱编号遇到就报错。下面是拆成两步的方案第一步只输出整数编号第二步交给OneHotEncoder它的handle_unknownignore能安全地把未知类别编码为全零向量不会中断推理流程。生产环境中数据分布漂移是常态两步写法多一层防护。三、ColumnTransformer不同列用不同管道​ 现实中一张表里的特征不会都是同一种类型。数值特征要分箱类别特征要 one-hot二值特征什么都不用做。ColumnTransformer 解决的就是不同列走不同处理路径最后自动拼回来这个问题。3.1 简单示例fromsklearn.composeimportColumnTransformer NUMERIC_FEATURES[age,income,debt_ratio]CATEGORICAL_FEATURES[education,occupation]BINARY_FEATURES[has_house,has_car]preprocessorColumnTransformer([(num,numeric_transformer,NUMERIC_FEATURES),(cat,OneHotEncoder(sparse_outputFalse,handle_unknownignore),CATEGORICAL_FEATURES),(bin,passthrough,BINARY_FEATURES),])3.2 参数说明​ 三个参数的含义参数位置含义示例第 1 个名字用于调参和调试num第 2 个转换器可以是 Pipeline、单个 transformer或passthroughnumeric_transformer第 3 个要处理的列名列表NUMERIC_FEATURES​passthrough是特殊值表示这些列原样保留不做任何转换。二值特征已经是 0/1直接用就行。3.3 使用说明​ 执行时ColumnTransformer 把输入 DataFrame 按列名拆成三组分别送进各自的转换器最后把输出水平拼接成一个矩阵​ 一张表进来按列类型拆成三路数值特征走分箱→独热两步管道类别特征直接独热编码二值特征原样通过。三路输出水平拼接成一个 44 列的矩阵3 个数值特征各10 箱独热得 30 列类别特征展开 12 列二值特征 2 列。这个拆-处理-拼的过程就是 ColumnTransformer 自动完成的。四、完整流水线预处理 模型一体化​ 把 ColumnTransformer 和模型再套一层 Pipeline就得到了一个从原始 DataFrame 到预测结果的完整对象fromsklearn.pipelineimportPipelinefromsklearn.composeimportColumnTransformerfromsklearn.preprocessingimportKBinsDiscretizer,OneHotEncoderfromsklearn.linear_modelimportLogisticRegression NUMERIC_FEATURES[age,income,debt_ratio]CATEGORICAL_FEATURES[education,occupation]BINARY_FEATURES[has_house,has_car]defbuild_pipeline(n_bins10,strategyquantile,C0.1):numeric_transformerPipeline([(binning,KBinsDiscretizer(n_binsn_bins,encodeordinal,strategystrategy)),(onehot,OneHotEncoder(sparse_outputFalse,handle_unknownignore)),])categorical_transformerOneHotEncoder(sparse_outputFalse,handle_unknownignore)preprocessorColumnTransformer([(num,numeric_transformer,NUMERIC_FEATURES),(cat,categorical_transformer,CATEGORICAL_FEATURES),(bin,passthrough,BINARY_FEATURES),])returnPipeline([(preprocess,preprocessor),(model,LogisticRegression(max_iter1000,random_state42,CC)),])​ 整个结构是嵌套的Pipeline最外层 ├── preprocess: ColumnTransformer │ ├── num: Pipeline │ │ ├── binning: KBinsDiscretizer │ │ └── onehot: OneHotEncoder │ ├── cat: OneHotEncoder │ └── bin: passthrough └── model: LogisticRegression​写成函数的好处是参数化。n_bins、strategy、C都是函数参数换一组超参数就是换一次函数调用不用改任何内部代码。五、用起来有多简单5.1 训练和预测pipebuild_pipeline(n_bins10,C0.1)pipe.fit(X_train,y_train)# 一行完成所有预处理 模型训练y_predpipe.predict(X_test)# 一行完成所有预处理 预测y_probpipe.predict_proba(X_test)# 概率输出也一样​ 不需要手动管理任何中间变量。pipe内部会自动保证训练集fit、测试集只transform。5.2 交叉验证fromsklearn.model_selectionimportcross_val_score pipebuild_pipeline(n_bins10,C0.1)scorescross_val_score(pipe,X_train,y_train,cv5,scoringroc_auc)print(fAUC:{scores.mean():.4f}±{scores.std():.4f})​ 如果预处理和模型是分开的交叉验证时你要么手动在每一折里跑全套预处理写起来极其繁琐要么在交叉验证之前就把整个训练集预处理好后者会导致数据泄露分箱的边界、one-hot 的类别列表都应该只从当前折的训练部分学到不应该看到验证部分的数据。​ Pipeline 自动解决了这个问题每一折的fit只看训练部分transform应用到验证部分。5.3 网格搜索fromsklearn.model_selectionimportGridSearchCV param_grid{preprocess__num__binning__n_bins:[5,10,20],preprocess__num__binning__strategy:[quantile,uniform],model__C:[0.01,0.1,1.0],}searchGridSearchCV(build_pipeline(),param_grid,cv5,scoringroc_auc,n_jobs-1,)search.fit(X_train,y_train)print(search.best_params_)​ 注意参数名用双下划线连接层级preprocess__num__binning__n_bins的意思是Pipeline 的preprocess步骤 → ColumnTransformer 的num转换器 → Pipeline 的binning步骤 →n_bins参数。​ 双下划线就是树的路径分隔符。preprocess__num__binning__n_bins从根节点出发经过四层嵌套定位到最底层的n_bins参数。这就是前面给每一步起名字的意义名字是网格搜索的寻址路径。5.4 持久化importjoblib joblib.dump(pipe,credit_model.pkl)# 部署时pipejoblib.load(credit_model.pkl)scorepipe.predict_proba(new_customer_df)[:,1]​ 一个文件包含全部预处理逻辑和模型权重。不会再出现上线时忘了带 encoder的问题。六、和散装代码的对比维度散装代码Pipeline训练/测试一致性手动保证容易出错自动保证交叉验证需要手写循环或冒数据泄露风险直接传给cross_val_score超参数搜索手动改值 重跑GridSearchCV一行搞定部署保存多个对象 拼接逻辑joblib.dump一个对象可读性六步散装操作嵌套结构一目了然新增特征类型改多处代码在 ColumnTransformer 里加一行七、总结Pipeline 串联步骤多个 transformer 串成一条链fit/transform/predict一个接一个自动执行ColumnTransformer 分列路由不同类型的特征走不同的处理路径最后自动拼接嵌套组合Pipeline 里可以放 ColumnTransformerColumnTransformer 里可以放 Pipeline任意嵌套双下划线寻址步骤名__子步骤名__参数名的命名规则让网格搜索能直接触达任意层级的超参数核心价值不是少写几行代码而是消除训练和推理之间的不一致。预处理逻辑和模型绑在一起不可能漏步骤、不可能用错 encoder​ 如果你正在做评分卡、风控模型、或者任何需要分箱 编码 线性模型的场景Pipeline 几乎是标配写法。下次写建模代码时试试从build_pipeline()函数开始而不是从第一个fit_transform开始。