大数据-275 Spark MLib - 基础介绍 机器学习算法 集成学习 随机森林 Bagging Boosting

点一下关注吧！！！非常感谢！！持续更新！！！

大模型篇章已经开始！

• 目前已经更新到了第 22 篇：大语言模型 22 - MCP 自动操作 Figma+Cursor 自动设计原型

Java篇开始了！

• MyBatis 更新完毕
• 目前开始更新 Spring，一起深入浅出！

目前已经更新到了：

• Hadoop（已更完）
• HDFS（已更完）
• MapReduce（已更完）
• Hive（已更完）
• Flume（已更完）
• Sqoop（已更完）
• Zookeeper（已更完）
• HBase（已更完）
• Redis （已更完）
• Kafka（已更完）
• Spark（已更完）
• Flink（已更完）
• ClickHouse（已更完）
• Kudu（已更完）
• Druid（已更完）
• Kylin（已更完）
• Elasticsearch（已更完）
• DataX（已更完）
• Tez（已更完）
• 数据挖掘（已更完）
• Prometheus（已更完）
• Grafana（已更完）
• 离线数仓（已更完）
• 实时数仓（正在更新…）
• Spark MLib (正在更新…)

集成学习

不指望单个弱模型“包打天下”，而是构造一簇互补的基学习器并让它们投票/加权，用“群体智慧”提升泛化能力、稳定性和鲁棒性。

基本定义

集成学习通过建立几个模型来解决单一预测问题，它的工作原理是生成多个分类器/模型，各自独立的学习和做出预测，这些预测最后结合成组合预测，因为优于任何一个单分类的做出预测。

集成学习分类

● 任务一：如何优化训练数据 - 主要用于解决欠拟合问题
● 任务二：如何提升泛化性能 - 主要用于解决过拟合问题

只要单分类器的表现不太差，集成学习的结果总是要好于单分类器的。

Bagging

集成原理

目标

把下面的圈和方块进行分类

采集不同的数据集

训练分类器

平权投票

获取最终结果

随机森林

在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由所有树输出的类别的众数而定。
随机森林 = Bagging + 决策树

例如，如果你训练了5个树，其中有4个树的结果是True，1个树的结果是False，那么最终投票的结果就是True，随机森林构造过程中的关键步骤（M表示特征数目）：
● 一次随机选出部分样本，有放回的抽样，重复N次（有可能出现重复的样本）
● 随机去选出 m 个特征，m << M，建立决策树

Boosting

基本概念

随着学习的积累从弱到强，简而言之：每新加入一个弱学习器，整体能力就会得到提升

代表算法：Adaboost、GBDT、XGBoost、LightGBM

Spark MLlib 的 GBT 相当于 “纯原生 Java/Scala 实现的 GBDT”，功能和速度距现代竞赛级框架（XGBoost / LightGBM / CatBoost）仍有差距。工业界常用以下两条路线把先进算法接进 Spark Pipeline：

• XGBoost4J‑Spark：将每个 XGBoost worker 嵌入 Spark executor，天然支持 GPU / CPU 分布式；API 兼容 ML Pipeline，可与 VectorAssembler、ParamGridBuilder 协同工作。
• LightGBM‑Spark（microsoft/synapseml）：基于 LightGBM 的梯度直方、Leaf‑wise growth，训练速度较快，支持类别特征原生处理与分布式训练。

使用方式大体一致： 把 XGBoostClassifier 或 LightGBMRegressor 替换到 Pipeline 里，并确保 依赖 JAR 与 native lib 在所有 executor 可见。常见踩坑点：

• 内存分配：XGBoost 需要 executor 拥有足够的 off‑heap；通过 spark.executor.memoryOverhead 和 spark.executor.cores 调整。
• 数据格式：必须把特征向量转成 Dense 或 Sparse Vector; 并避免 StringIndexer 将类别特征过度 one‑hot，使维度爆炸。
• GPU 调度：需要 spark.task.resource.gpu.amount=1 并在 YARN/K8s 上配置 spark.executor.resource.gpu.amount。

实现过程

训练第一个学习器

调整数据分布

训练第二个学习器

再次调整数据分布

学习器训练及数据分布调整

整体过程