【数据分析】特征工程-特征选择

相关数据集：数据集

数据预处理完成后，就进入特征工程
特征工程包括特征提取、特征创造、特征选择

• 特征提取(feature extraction)
  从文字，图像，声音等其他非结构化数据中提取新信息作为特征。比如说，从淘宝宝贝的名称中提取出产品类别，产品颜色，是否是网红产品等等。
• 特征创造(feature creation)
  把现有特征进行组合，或互相计算，得到新的特征。比如说，我们有一列特征是速度，一列特征是距离，我们就可以通过让两列相处，创造新的特征：通过距离所花的时间。
• 特征选择(feature selection)
  从所有的特征中，选择出有意义，对模型有帮助的特征，以避免必须将所有特征都导入模型去训练的情况

特征工程的第一步是：理解业务

导入数据

import pandas as pddata = pd.read_csv('data/手写数字识别.csv')
x = data.iloc[:,1:]
y = data.iloc[:,0]
print(f'数据形状：{x.shape}')  #（42000，784） 7百多列

数据集维度大，接下来使用多种方法对特征进行抽取。

（一）方差过滤法

方差选择法是一种进行特征选择的简单的baseline方法，它移除所有不满足给定阈值要求的特征。阈值默认为0，此方法默认移除方差为0的特征，即在所有样本上取值相同的特征。这是通过特征本身的方差来筛选特征的类。

• 特征的方差很小，表示样本在这个特征上基本没有差异，那这个特征对于样本区分没有什么作用。所以要优先消除方差为0的特征。

1.1 消除方差为0的特征

sklearn.feature_selection.VarianceThreshold(threshold=0.0)

VarianceThreshold有重要参数threshold，表示方差的阈值，表示舍弃所有方差小threshold的特征，不填默认为0，即删除所有的记录都相同的特征。

from sklearn.feature_selection import VarianceThresholdselector = VarianceThreshold()  # 实例化，不填参数默认方差为0,即删除值都是一样的特征
x_fsvar = selector.fit_transform(x)  # 获取删除后的新特征矩阵
print(f'消除方差为0的特征后的数据形状：{x_fsvar.shape}')  # （42000，708） 确实减少了70多个特征

已经删除了方差为0的特征，但是依然剩下了708多个特征，还需要进一步的特征选择。如果我们知道我们需要多少个特征，方差也可以帮助我们将特征选择一步到位。

1.2 保留一半的特征

例子：我们希望留下一半的特征，那可以设定一个让特征总数减半的方差阈值，只要找到特征方差的中位数，再将这个中位数作为参数threshold的值输入

import numpy as np# np.median(x.var().values)# 即方差的中位数
selector = VarianceThreshold(np.median(x.var().values))
x_fsvar = selector.fit_transform(x)
print(f'特征减半后数据形状：{x_fsvar.shape}')  # 输出（42000，392）减少到一半了

1.3 特征是二分类时

若特征是二分类时的处理，特征的取值就是伯努利变量，方差=p(1-p)

# 假设特征是伯努利变量，p=0.8，即二分类特征中某种分类占80%以上的时候删除特征
selector = VarianceThreshold(0.8 * (1 - 0.8))
X_fsvar = selector.fit_transform(x)
print(f'二分类特征处理后的数据形状：{X_fsvar.shape}')  # 输出（42000，685）只剩下了685个特征

为什么随机森林运行如此之快？为什么方差过滤对随机森林没很大的有影响？

• 这是由于两种算法的原理中涉及到的计算量不同。最近邻算法KNN，单棵决策树，支持向量机SVM，神经网络，回归算法，都需要遍历特征或升维来进行运算，所以他们本身的运算量就很大，需要的时间就很长，因此方差过滤这样的特征选择对他们来说就尤为重要。但对于不需要遍历特征的算法，比如随机森林，它随机选取特征进行分枝，本身运算就非常快速，因此特征选择对它来说效果平平。
• 无论过滤法如何降低特征的数量，随机森林也只会选取固定数量的特征来建模；而最近邻算法就不同了，特征越少，距离计算的维度就越少，模型明显会随着特征的减少变得轻量。
• 因此，过滤法的主要对象是：需要遍历特征或升维的算法们，而过滤法的主要目的是：在维持算法表现的前提下，帮助算法们降低计算成本。

（二）相关性过滤法

希望选出与标签相关且有意义的特征，因为这样的特征能够提供大量信息。如果特征与标签无关，那只会白白浪费我们的计算内存，可能还会给模型带来噪音。

在sklearn当中，我们有三种常用的方法来评判特征与标签之间的相关性：卡方，F检验，互信息。

• 导入数据

# 1.导入依赖包
from sklearn.datasets import load_iris# 2.获取数据
iris = load_iris()
X, Y = iris.data, iris.target
print(f'X的形状：{X.shape}')  # (150, 4)

2.1 卡方过滤

卡方过滤是专门针对离散型标签（即分类问题）的相关性过滤。卡方检验类feature_selection.chi2计算每个非负特征和标签之间的卡方统计量，并依照卡方统计量由高到低为特征排名。

再结合feature_selection.SelectKBest这个可以输入”评分标准“来选出前K个分数最高的特征的类，我们可以借此除去最可能独立于标签，与我们分类目的无关的特征。

• SelectKBest：按照scores保留K个特征；
• SelectPercentile：按照scores保留指定百分比的特征；
• SelectFpr、SelectFdr和SelectFwe：对每个特征使用通用的单变量统计检验；
• GenericUnivariateSelect：允许使用可配置策略如超参数搜索估计器选择最佳的单变量选择策略。

# 卡方检验-鸢尾花案例
from sklearn.datasets import load_iris
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
iris = load_iris()
X, Y = iris.data, iris.target
print(f'X的形状：{X.shape}') # (150, 4)selector = SelectKBest(chi2, k=2)
X_new = selector.fit_transform(X, Y)
print(f'X_new的形状：{X_new.shape}')  # (150, 2)print(f'特征得分：{selector.scores_}')
print(f'特征索引：{selector.get_support(indices=True)}')
print(f'特征名称：{[iris.feature_names[i] for i in selector.get_support(indices=True)]}')

# 卡方过滤法-案例-手写数字识别
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.model_selection import cross_val_score
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2# 假设在这里需要300个特征
selector = SelectKBest(chi2, k=300)
X_fschi = selector.fit_transform(x, y)
print(f'卡方过滤后数据的形状：{X_fschi.shape}')
# 验证一下模型的效果
print(f'卡方过滤后的模型效果：{cross_val_score(RFC(n_estimators=10,random_state=0),X_fschi,y,cv=5).mean()}')print(f'特征得分：{selector.scores_}')
print(f'特征索引：{selector.get_support(indices=True)}')
print(f'特征名称：{x.columns[selector.get_support(indices=True)]}')

2.2 F检验

F检验，又称ANOVA，方差齐性检验，是用来捕捉每个特征与标签之间的线性关系的过滤方法。它即可以做回归也可以做分类，因此包含feature_selection.f_classif（F检验分类）和feature_selection.f_regression（F检验回归）两个类。其中F检验分类用于标签是离散型变量的数据，而F检验回归用于标签是连续型变量的数据。

F检验的本质是寻找两组数据之间的线性关系，其原假设是”数据不存在显著的线性关系“。它返回F值和p值两个统计量。和卡方过滤一样，我们希望选取p值小于0.05或0.01的特征，这些特征与标签时显著线性相关的，而p值大于0.05或0.01的特征则被我们认为是和标签没有显著线性关系的特征，应该被删除。

• f_classif

from sklearn.feature_selection import f_classif

from sklearn.feature_selection import f_classiff_values, p_values = f_classif(X, Y) # f_values是每个特征的F值，p_values是对应的p值。
print(f'特征F值：{f_values},  特征p值：{p_values}')
# 特征F值：[ 119.26450218   49.16004009 1180.16118225  960.0071468 ]
# 特征p值：[1.66966919e-31 4.49201713e-17 2.85677661e-91 4.16944584e-85]

• f-regression

from sklearn.feature_selection import f_regression

• 案例

import pandas as pd
import numpy as np
from sklearn.feature_selection import f_regression
from sklearn.impute import SimpleImputer# 读取数据
data = pd.read_csv('data/Titanic_train.csv')# 显式定义需要使用的特征列
feature_columns = ['Age', 'Fare']  # 示例，可根据实际情况扩展
target_column = 'Survived'  # 确认目标列名称是否正确# 处理缺失值
imputer = SimpleImputer(missing_values=np.nan, strategy='most_frequent')
x_imputed = imputer.fit_transform(data[feature_columns])
# print(f'F验证法-f_regression-处理缺失值后的数据：{x_imputed}')# 获取目标变量
y = data[target_column].values# 特征选择
f_values, p_values = f_regression(x_imputed, y)# 输出结果
print(f'f_regression特征F值：{f_values},  f_regression特征p值：{p_values}')

• X是特征矩阵，y是目标变量，center表示是否对X和y进行中心化

• 第一步，计算每个特征与目标变量的相关系数

  

• 第二步，将相关系数转换为F score和p-value

2.3 互信息法

互信息法是用来捕捉每个特征与标签之间的任意关系（包括线性和非线性关系）的过滤方法。和F检验相似，它既可以做回归也可以做分类，并且包含两个类feature_selection.mutual_info_classif（互信息分类）和feature_selection.mutual_info_regression（互信息回归）。
这两个类的用法和参数都和F检验一模一样，不过互信息法比F检验更加强大，F检验只能够找出线性关系，而互信息法可以找出任意关系。

• feature_selection.mutual_info_regression（互信息回归）

sklearn.feature_selection.mutual_info_regression(X, y, discrete_features=’auto’, n_neighbors=3, copy=True, random_state=None)

• X是特征矩阵，y是目标变量，discrete_features用于指定哪些是离散的特征，n_neighbors是[1][2]中用来估计随机变量互信息的近邻数，大的n_neighbors可以降低估计器的方差，但会造成偏差。
• 两个随机变量之间的互信息是一个非负值，度量变量之间的依赖关系。独立随机变量之间的互信息等于0，互信息越大表示依赖关系越强。
• feature_selection.mutual_info_classif（互信息分类）

from sklearn.feature_selection import mutual_info_classif as MIC
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.model_selection import cross_val_scoreresult = MIC(X,Y)k = result.shape[0] - sum(result <= 0)
X_fsmic = SelectKBest(MIC, k=2).fit_transform(X, Y)
print(f'互信息过滤后的模型效果：{cross_val_score(RFC(n_estimators=10, random_state=0), X_fsmic, Y, cv=5).mean()}')

（三）其他

3.1 包装法

通过选择一个目标函数来一步步的筛选特征。通常是预测效果评分，每次选择部分特征，或者排除部分特征。

• feature_selection.RFE(estimator)
  递归消除特征法(recursive feature elimination, RFE)，使用一个机器学习模型来进行多轮训练，每轮训练后，消除若干权值系数对应的特征，再基于新的特征集进行下一轮训练。
• SVM-RFE算法：每轮使用特征集中特征来训练，得到分类超平面𝑤𝑥+𝑏=0后，选出𝑤中分量的平方值最小的那个序号i对应的特征，将其排除。

3.2 嵌入法

用机器学习的方法来选择特征，但是它和RFE的区别是它不是通过不停的筛掉特征来进行训练，而是使用的都是特征全集。

• feature_selection.SelectFromModel(estimator)
  最常用的是使用L1正则化和L2正则化来选择特征。正则化惩罚项越大，那么模型的系数就会越小，当正则化惩罚项大到一定程度时，部分特征系数会更容易先变成0，这部分系数就是可以筛掉的。
• 常用逻辑回归作为基学习器。此外也可以使用决策树或GBDT。

3.3 衍生特征法（寻找高级特征）

• 若干项特征加和： 假设希望根据每日销售额得到一周销售额的特征。可以将最近7天的销售额相加得到。
• 若干项特征之差： 假设已经拥有每周销售额以及每月销售额两项特征，可以求一周前一月内的销售额。
• 若干项特征乘积： 假设有商品价格和商品销量的特征，就可以得到销售额的特征。
• 若干项特征除商： 假设有销售额和购买的商品件数，就可以得到平均每件商品的销售额。

注意：不是随便两两组合就可以形成高级特征，这样容易导致特征爆炸，反而没有办法得到较好的模型。

（四）总结

类	说明	超参数选择
VarianceThreshold	方差过滤，可输入方差阈值，返回方差大于阈值的新特征矩阵	看具体数据究竟是否包含有更多噪声还是更多的有效特征，一般就使用0或者1来筛选，也可以画学习曲线或取中位数跑模型来帮助确认
SelectKBest	用来选取K个统计量结果最佳的特征，生成符合统计量要求的新特征矩阵	看配合使用的统计量
chi2	卡方检验，专用于分类算法，捕捉相关性	追求p小于显著性水平的特征
f_classif	F检验分类，只能捕捉线性相关性；要求数据服从正态分布	追求p小于显著性水平的特征
f_regression	F检验回归，只能捕捉线性相关性；要求数据服从正态分布	追求p小于显著性水平的特征
mutual_info_classif	互信息分类，可以捕捉任何相关性；不能用于稀疏矩阵	追求互信息估计大于0的特征
mutual_info_regression	互信息回归，可以捕捉任何相关性；不能用于稀疏矩阵	追求互信息估计大于0的特征

按照特征的发散性或者相关性指标对各个特征进行评分，设定评分阈值或者待选择阈值的个数，选择合适特征。

• feature_selection.VarianceThreshold([threshold])
  方差筛选。方差越大的特征，那么可以认为它是比较有用的。如果方差较小，比如小于1，那么这个特征可能对算法作用很小。可以指定一个方差的阈值，方差小于这个阈值的特征会被筛掉。
• feature_selection.SelectKBest([score_func, k])
  相关系数。主要用于输出连续值的监督学习算法中。分别计算所有训练集中各个特征与输出值之间的相关系数，设定一个阈值，选择相关系数较大的部分特征。
• feature_selection.chi2(X, y)
  假设检验如卡方检验。卡方检验可以检验某个特征分布和输出值分布之间的相关性。使用chi2这个类来做卡方检验得到所有特征的卡方值与显著性水平P临界值，可以给定卡方值阈值， 选择卡方值较大的部分特征。
• feature_selection.f_classif(X, y)， feature_selection.f_regression(X, y)
  假设检验除了卡方检验，还可以使用F检验和t检验。F检验的函数f_classif和f_regression，分别在分类和回归特征选择时使用。
• feature_selection.mutual_info_classif(X, y)，`feature_selection.mutual_info_regression(X, y)``
  互信息，即从信息熵的角度分析各个特征和输出值之间的关系评分。在决策树中出现过互信息（信息增益）。互信息值越大，说明该特征和输出值之间的相关性越大，越需要保留。

（可以优先使用卡方检验和互信息来做特征选择）