机器学习-随机森林解析

目录

一、.随机森林的思想

二、随机森林构建步骤

1.自助采样

2.特征随机选择

3构建决策树

4.集成预测

三. 随机森林的关键优势

​**(1) 减少过拟合**

​**(2) 高效并行化**

​**(3) 特征重要性评估**

​**(4) 耐抗噪声**

四. 随机森林的优缺点

​优点

​缺点

五. 参数调优（以scikit-learn为例）​

波士顿房价预测

---

一、.随机森林的思想

1.通过组成多个弱学习器（决策树）形成一个学习器

2.多样性增强：每颗决策树通过特征随机选择和样本随机抽样生成，降低模型之间的相关性，减少过拟合风险

二、随机森林构建步骤

1.自助采样

从原始数据集中有放回的随机抽样（每个子集大小等于原始数据集）。

大约30%的数据未被抽中，形成“袋外样本”（Out-of-Bag, OOB），用于模型评估。

2.特征随机选择

每棵决策树在构建时，仅从所有特征中随机选择一个子集（例如，对于分类任务，通常选择 m=sqrt(n_feature) 个特征）

增加特征间的独立性，避免模型偏向特定特征

3构建决策树

对每个子集和特征组合，递归地生成决策树（使用与单棵决策树相同的算法，如CART）。
不进行剪枝（Pre-pruning），允许树完全生长。

4.集成预测

分类任务：所有树的预测结果按多数票决定最终类别

回归任务：所有树的预测结果取平均值

三. 随机森林的关键优势

​**(1) 减少过拟合**

• 单棵决策树易过拟合，但多棵树的“平均效应”降低了方差。
• 无需复杂的剪枝操作。

​**(2) 高效并行化**

• 树之间相互独立，可通过并行计算加速训练。

​**(3) 特征重要性评估**

• 通过统计每棵树中特征被选中的频率，量化其对最终预测的贡献度。

​**(4) 耐抗噪声**

• 对缺失值和异常值不敏感（需适当处理缺失值）。

四. 随机森林的优缺点

​优点

• ​高准确率：在大多数任务中表现优于单个决策树。
• ​可解释性：可通过特征重要性分析和可视化部分树结构。
• ​适应性强：支持分类、回归、特征选择等多种任务。

​缺点

• ​计算资源消耗大：生成大量树需要更多内存和计算时间。
• ​对高维稀疏数据效果不佳：特征随机选择可能无法覆盖关键特征。
• ​黑箱化风险：相比单棵决策树，集成模型的解释性略低。

五. 参数调优（以scikit-learn为例）​

参数	作用	默认值
n_estimators	树的数量	100
max_depth	树的最大深度	None（不限制）
min_samples_split	内部节点最少分割样本数	2
max_features	每棵树使用的特征数量	auto（分类任务为√n）
bootstrap	是否使用自助采样	True

波士顿房价预测

from sklearn.ensemble import RandomForestRegressor
from sklearn.datasets import load_boston# 加载数据
boston = load_boston()
X, y = boston.data, boston.target# 创建随机森林回归模型
model = RandomForestRegressor(n_estimators=100, random_state=42)# 训练模型
model.fit(X, y)# 预测均值绝对误差（MAE）
y_pred = model.predict(X)
print(f"Mean Absolute Error: {np.mean(np.abs(y - y_pred)):.2f}")