机器学习-3-特征工程的重要性及常用特征选择方法

参考特征重要性：理解机器学习模型预测中的关键因素
参考[数据分析]特征选择的方法

1 特征重要性

特征重要性帮助我们理解哪些特征或变量对模型预测的影响最大。

特征重要性是数据科学中一个至关重要的概念，尤其是在建立预测性任务的模型时。想象你正在尝试预测明天是否会下雨，考虑各种因素，如温度、湿度和风速，特征重要性告诉你这些因素中哪一个在你的预测中起到最大的作用。

现在，让我们看看一些确定特征重要性的方法：

1.1 相关性分析(Correlation Analysis)

这种方法检查一个特征在另一个特征变化时的变化程度。如果它们倾向于一起变化，它们被认为是相关的。高相关性表明重要性。

1.2 信息增益(Information Gain)

它测量一个特征在分类或预测目标变量方面的效果。这通常用于决策树中。信息增益高的特征更重要。

1.3 置换重要性 (Permutation Importance)：

这涉及到对单个特征的值进行洗牌，