【Python机器学习】模型评估与改进——在模型选择中使用评估指标

我们通常希望，在使用GridSearchCV或cross_val_score进行模型选择时能够使用AUC等指标。scikit-learn提供了一种非常简单的实现方法，那就是scoring参数，它可以同时用于GridSearchCV和cross_val_score。你只需要提供一个字符串，用于描述想要使用的评估指标。

举例，我们想用AUC分数对digits数据集中“9与其他”任务上的SVM分类器进行评估。想要将分数从默认值修改为AUC，可以提供‘roc_auc’作为scoring参数的值：

print('Default scoring:{}'.format(cross_val_score(SVC(),digits.data,digits.target==9)))
explicit_accuracy=cross_val_score(SVC(),digits.data,digits.target==9,scoring='accuracy')
print('explicit accuracy score:{}'.format(explicit_accuracy))
roc_auc=cross_val_score(SVC(),digits.data,digits.target==9,scoring='roc_auc')
print('AUC score:{}'.format(roc_auc))

类似的，我们可以改变GridSearchCV中用于选择最佳参数的指标

digits=load_digits()
y=digits.target==9
X_train,X_test,y_train,y_test=train_test_split(digits.data,y,random_state=0)
param_grid={'gamma':[0.0001,0.01,0.1,1,10]}
grid=GridSearchCV(SVC(),param_grid=param_grid)
grid.fit(X_train,y_train)
print('Grid-Search with accuracy')
print('最好参数:{}'.format(grid.best_params_))
print('最好精度（accuracy）：{}'.format(grid.best_score_))
print('测试集AUC：{}'.format(roc_auc_score(y_test,grid.decision_function(X_test))))
print('测试集精度：{}'.format(grid.score(X_test,y_test)))

使用AUC评分来代替：

grid=GridSearchCV(SVC(),param_grid=param_grid,scoring='roc_auc')
grid.fit(X_train,y_train)
print('Grid-Search with AUC')
print('最好参数:{}'.format(grid.best_params_))
print('最好精度（accuracy）：{}'.format(grid.best_score_))
print('测试集AUC：{}'.format(roc_auc_score(y_test,grid.decision_function(X_test))))
print('测试集精度：{}'.format(grid.score(X_test,y_test)))

在使用精度时，选择的参数是gamma=0.0001，而使用AUC时选择的事gamma=0.01，在两种情况下，交叉验证精度与测试集精度时一致的。但是使用AUC时，对应的AUC更高，甚至对应的精度也更高。

对于分类问题，scoring参数最重要的取值包括：accuracy（默认值，精度），roc_auc（ROC曲线下方的面积），average_precision（准确率-召回率曲线下方的面积）、f1、f1_marco、f1_mirco、f1_weighted（分数及各种加权变体）。

对于回归问题，scoring参数最常用的取值包括：r2（分数）、mean_squared_error（均方误差）和mean_absolute_error（平均绝对误差）。