数据分析系列--⑦RapidMiner模型评价(基于泰坦尼克号案例含数据集)

一、前提

二、模型评估

        1.改造⑥

        2.Cross Validation算子说明

                2.1Cross Validation 的作用

                        2.1.1 模型评估

                        2.1.2 减少过拟合

                        2.1.3 数据利用

                2.2 Cross Validation 的工作原理

                        2.2.1 数据分割

                        2.2.2 迭代训练与测试

                ​​​​​​​        2.2.3 结果汇总

                ​​​​​​​        2.2.4 Cross Validation 的参数

                ​​​​​​​        2.2.5 Cross Validation 的流程

                ​​​​​​​        2.2.6 示例

                ​​​​​​​        2.2.7 总结

        3 实践

        4 结果说明

        ​​​​​​​5 决策依据

---

一、前提

请确保已有第⑥小节中所完成的模型,没有可以点击数据分析系列--⑥RapidMiner构建决策树(泰坦尼克号案例含数据)

链接学习.

二、模型评估

1.改造⑥

⑥小节完成后的模型如下,复制粘贴保存为EvaluatingTheTitanicModel.

2.Cross Validation算子说明

在RapidMiner中，Cross Validation又称为交叉验证,用于评估模型的性能和泛化能力。它是一种统计方法，通过将数据集分成多个子集来训练和测试模型，从而减少过拟合和评估偏差。

2.1Cross Validation 的作用

2.1.1 模型评估

    - 交叉验证通过多次训练和测试模型，提供更可靠的性能评估（如准确率、精确率、召回率等）。
   - 与简单的训练-测试分割相比，交叉验证能更全面地反映模型的表现。

2.1.2 减少过拟合

   - 通过多次使用不同的训练和测试子集，交叉验证可以检测模型是否过拟合训练数据。

2.1.3 数据利用

   - 交叉验证充分利用所有数据，既用于训练也用于测试，适合数据量较少的情况。

2.2 Cross Validation 的工作原理

2.2.1 数据分割

   - 将数据集分成 \( k \) 个大小相似的子集（称为“折”或“folds”）。
   - 例如，\( k=10 \) 表示 10 折交叉验证。

2.2.2 迭代训练与测试

   - 每次迭代中，选择一个子集作为测试集，其余 \( k-1 \) 个子集作为训练集。
   - 训练模型并在测试集上评估性能。

2.2.3 结果汇总

   - 所有迭代完成后，计算性能指标的平均值，作为模型的最终评估结果。

2.2.4 Cross Validation 的参数

在 RapidMiner 中，Cross Validation 算子有以下关键参数：
2.2.4.1 Number of folds（折数）
   - 决定将数据集分成多少个子集。常见值为 5 或 10。

2.2.4.2 Sampling type（采样类型）
   - 决定如何分割数据，例如分层采样（Stratified Sampling）可以保持类别分布。

2.2.4.3 Use local random seed（使用本地随机种子）
   - 控制数据分割的随机性，确保结果可重复。

2.2.5 Cross Validation 的流程

在 RapidMiner 中，Cross Validation 算子的典型流程如下：
1. 将数据集连接到 Cross Validation 算子的输入端口。
2. 在 Cross Validation 算子内部：
   - 将模型（如决策树、逻辑回归等）放入 Training 子流程。
   - 将性能评估算子（如 Performance）放入 Testing 子流程。
3. 运行流程后，Cross Validation 会输出模型的平均性能指标。

2.2.6 示例

假设使用 5 折交叉验证评估决策树模型：
1. 数据集被分成 5 个子集。
2. 进行 5 次迭代：
   - 每次使用 4 个子集训练模型，1 个子集测试模型。
3. 最终输出 5 次测试的平均准确率、F1 分数等。

2.2.7 总结

Cross Validation 算子的主要作用是：
- 提供更可靠的模型性能评估。
- 减少过拟合风险。
- 充分利用数据，特别适合小数据集。

它是模型开发和评估中不可或缺的工具，帮助确保模型在实际应用中的稳定性和泛化能力。

3 实践

4 结果说明

这是一个混淆矩阵,根据混淆矩阵可知如下结果:

 

 5 决策依据

 

Ending,  congratulations, you're done.