机器学习之逻辑回归算法

一、逻辑回归简介1. 定义逻辑回归Logistic Regression是一种有监督学习算法主要用于解决二分类问题的统计学习方法。尽管名字中带有“回归”但它实际上是一种分类算法。大白话解释逻辑回归就是一种“做判断题”的算法专门用来回答“是与不是”、“属于这一类还是那一类”等这类二分类的问题。核心作用根据一些已知的信息预测出一个事件发生的概率。2. 应用场景逻辑回归主要用于解决二分类问题因此被广泛应用于以下场景疾病预测检测结果是阴性还是阳性情感分析情绪是正面还是负面预测广告点击率是点击还是不点击二、逻辑回归原理1. 原理逻辑回归是一种分类模型把线性回归的输出作为逻辑回归的输入而逻辑回归的输出是(0, 1)之间的值。基本思想利用线性模型 f(x) wx b 根据特征的重要性计算出一个值再使用 sigmoid 函数将 f(x) 的输出值映射为概率值设置阈值(eg:0.5)输出概率值大于 0.5则将未知样本输出为 1 类否则输出为 0 类假设函数h(w) sigmoid(wx b )2. 损失函数在逻辑回归中我们该如何去衡量预测结果与真实结果的差异呢我们引入损失函数来进行衡量。公式Loss(L)−∑i1m(yilog⁡(pi)(1−yi)log⁡(1−pi))\text{Loss}(L) -\sum_{i1}^{m} \left( y_i \log(p_i) (1 - y_i) \log(1 - p_i) \right)Loss(L)−i1∑m​(yi​log(pi​)(1−yi​)log(1−pi​))pisigmoid(wTxb) p_i \text{sigmoid}(w^T x b)pi​sigmoid(wTxb)工作原理每个样本预测值有A、B两个类别真实类别对应的位置概率值越大越好。三、逻辑回归API1. API介绍sklearn.linear_model.LogisticRegression(solverliblinear,penaltyl2,C1.0)参数说明solver损失函数优化方法训练速度liblinear 对小数据集场景训练速度更快sag 和 saga 对大数据集更快一些。正则化newton-cg、lbfgs、sag、saga 支持 L2 正则化或者没有正则化liblinear 和 saga 支持 L1 正则化penalty正则化的种类l1l2C正则化力度注意默认将类别数量少的当做正例四、分类评估方法1. 混淆矩阵混淆矩阵是一种用于评估分类模型性能的工具。它通过显示模型预测结果的正确与错误分类情况帮助我们更好地理解模型的表现。包含四个主要部分真正例True Positive, TP、伪正例False Positive, FP、真反例True Negative, TN和伪反例False Negative, FN。预测值(正例)预测值(反例)真实值(正例)真正例(TP)伪反例(FN)真实值(反例)伪正例(FP)真反例(TN)混淆矩阵作用在测试集样本集中真实值是正例的样本中被分类为正例的样本数量有多少这部分样本叫做真正例TPTrue Positive真实值是正例的样本中被分类为假例的样本数量有多少这部分样本叫做伪反例FNFalse Negative真实值是假例的样本中被分类为正例的样本数量有多少这部分样本叫做伪正例FPFalse Positive真实值是假例的样本中被分类为假例的样本数量有多少这部分样本叫做真反例TNTrue NegativeTrue Positive 表示样本真实的类别Positive 表示样本被预测为的类别例子样本集中有 6 个恶性肿瘤样本4 个良性肿瘤样本我们假设恶性肿瘤为正例则模型 A预测对了 3 个恶性肿瘤样本4 个良性肿瘤样本真正例 TP 为3伪反例 FN 为3伪正例 FP 为0真反例 TN4模型 B预测对了 6 个恶性肿瘤样本1个良性肿瘤样本真正例 TP 为6伪反例 FN 为0伪正例 FP 为3真反例 TN1我们会发现TPFNFPTN 总样本数量2. Precision精确率精确率也叫做查准率指的是对正例样本的预测准确率。比如我们把恶性肿瘤当做正例样本则我们就需要知道模型对恶性肿瘤的预测准确率。公式PTPTPFPP \frac{TP}{TP FP}PTPFPTP​例子样本集中有 6 个恶性肿瘤样本4 个良性肿瘤样本我们假设恶性肿瘤为正例则模型 A预测对了 3 个恶性肿瘤样本4 个良性肿瘤样本真正例 TP 为3伪反例 FN 为3假正例 FP 为0真反例 TN4精准率3/(30) 100%模型 B预测对了 6 个恶性肿瘤样本1个良性肿瘤样本真正例 TP 为6伪反例 FN 为0假正例 FP 为3真反例 TN1精准率6/(63) 67%3. Recall召回率召回率也叫做查全率指的是预测为真正例样本占所有真实正例样本的比重。例如我们把恶性肿瘤当做正例样本则我们想知道模型是否能把所有的恶性肿瘤患者都预测出来。公式RTPTPFNR \frac{TP}{TP FN}RTPFNTP​例子样本集中有 6 个恶性肿瘤样本4 个良性肿瘤样本我们假设恶性肿瘤为正例则模型 A预测对了 3 个恶性肿瘤样本4 个良性肿瘤样本真正例 TP 为3伪反例 FN 为3假正例 FP 为0真反例 TN4精准率3/(30) 100%召回率3/(33)50%模型 B预测对了 6 个恶性肿瘤样本1个良性肿瘤样本真正例 TP 为6伪反例 FN 为0假正例 FP 为3真反例 TN1精准率6/(63) 67%召回率6/(60) 100%4. F1值如果我们对模型的精度、召回率都有要求希望知道模型在这两个评估方向的综合预测能力如何则可以使用 F1-score 指标。公式F12TP2TPFNFP2⋅Precision⋅RecallPrecisionRecallF1 \frac{2TP}{2TP FN FP} \frac{2 \cdot \text{Precision} \cdot \text{Recall}}{\text{Precision} \text{Recall}}F12TPFNFP2TP​PrecisionRecall2⋅Precision⋅Recall​样本集中有 6 个恶性肿瘤样本4 个良性肿瘤样本我们假设恶性肿瘤为正例则模型 A预测对了 3 个恶性肿瘤样本4 个良性肿瘤样本真正例 TP 为3伪反例 FN 为3假正例 FP 为0真反例 TN4精准率3/(30) 100%召回率3/(33)50%F1-score(2*3)/(2*330)67%模型 B预测对了 6 个恶性肿瘤样本1个良性肿瘤样本真正例 TP 为6伪反例 FN 为0假正例 FP 为3真反例 TN1精准率6/(63) 67%召回率6/(60) 100%F1-score(2*6)/(2*603)80%5. ROC曲线和AUC指标5.1 ROC曲线ROC曲线Receiver Operating Characteristic Curve是评估二分类模型性能的重要工具尤其适用于逻辑回归这类输出概率的模型。它通过不同分类阈值下的**真正率TPR与假正率FPR**关系直观展示模型在各种判别条件下的表现。核心原理逻辑回归通过Sigmoid函数将线性回归的结果值映射到(0,1)区间输出样本属于正类的概率。改变分类阈值会影响TPR与FPR从而在ROC平面上形成一条曲线。理想模型的曲线应贴近左上角AUC曲线下面积越接近1模型区分能力越强。绘制步骤预测概率用逻辑回归模型对测试集预测得到正类概率。遍历阈值从0到1选取多个阈值将概率转为类别标签。计算TPR/FPR每个阈值下计算TPR和FPR。名词解释真正率True Positive RateTPR正样本中被预测为正样本的概率。假正率False Positive RateFPR负样本中被预测为正样本的概率。绘制曲线ROC曲线以假正率FPR为横轴真正率TPR为纵轴展示模型在不同阈值下的分类性能。ROC 曲线图像中4 个特殊点的含义(0, 0) 表示所有的负样本都预测正确所有的正样本都预测为错误(1, 0) 表示所有的负样本都预测错误所有的正样本都预测错误预测效果最差(1, 1) 表示所有的负样本都预测错误所有的正样本都预测正确(0, 1) 表示所有的负样本都预测正确所有的正样本都预测正确预测效果最好5.2 AUC值AUCArea Under the Curve是评估逻辑回归模型性能的重要指标表示ROC曲线下的面积用于衡量模型对正负样本的区分能力。该值越大则模型的辨别能力就越强。AUC值为0.5时模型等同于随机猜测AUC值越接近1模型性能越好五、案例介绍癌症预测 案例: 演示逻辑回滚模型实现 癌症预测. 逻辑回归模型介绍: 概述: 属于有监督学习, 即: 有特征, 有标签, 且标签是离散的 主要适用于: 二分法 原理: 把线性回归处理后的预测值, 通过sigmoid激活函数, 映射到[0, 1]概率, 基于自定义的阈值, 结合概率来 分类 损失函数: 极大似然估计函数的 负数形式 回顾: 机器学习项目流程 1. 加载数据 2. 数据预处理 3. 特征工程(提取, 预处理...) 4. 模型训练 5. 模型预测 6. 模型评估 # 导包importnumpyasnpimportpandasaspdfromsklearn.linear_modelimportLogisticRegressionfromsklearn.preprocessingimportStandardScalerfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score# 1. 加载数据datapd.read_csv(./data/breast-cancer-wisconsin.csv)data.info()# 查看数据信息# 2. 数据预处理# 2.1 把?替换成np.nan, 参1: 要被替换的值, 参2: 用于替换的值, 参3: 是否替换源数据, 默认为Falsedata.replace(?,np.nan,inplaceTrue)# 2.2 缺失值处理, 删除data.dropna(inplaceTrue)data.info()# 3. 特征工程(提取, 预处理...)# 3.1 特征提取, 特征和标签xdata.iloc[:,1:-1]# 按照行号, 列索引获取数据, :表示所有行, 1:-1 表示从第1列到最后1列, 包左不包右ydata.iloc[:,-1]# 3.2 查看特征和标签print(f特征:{x})print(f标签:{y})print(x.shape,y.shape)# 3.3 切分训练集和测试集x_train,x_test,y_train,y_testtrain_test_split(x,y,test_size0.2,random_state23)# 3.4 特征工程: 标准化# 3.4.1 创建标准化对象transferStandardScaler()# 3.4.2 对训练集进行标准化. 训练 标准化x_traintransfer.fit_transform(x_train)# 3.4.3 对测试集进行标准化. 标准化x_testtransfer.transform(x_test)# 4. 模型训练# 4.1 创建逻辑回归模型对象estimatorLogisticRegression()# 4.2 模型训练estimator.fit(x_train,y_train)# 5. 模型预测y_predestimator.predict(x_test)print(f预测值为:{y_pred})# 6. 模型评估# 正确率(准备率), 公式为: 预测对的 / 样本总数print(f预测前评估, 准确率为:,estimator.score(x_test,y_test))print(f预测后评估, 准确率为:,accuracy_score(y_test,y_pred))# 思考: 逻辑回归模型能用 准确率来评测吗?# 答案: 可以, 但是结果不精准, 因为逻辑回归模型主要用于 二分类, 即: A类还是B类, 不能说 97%的A类, 3%的B类# 所以要通过 混淆矩阵来评测, 即: 精确率, 召回率, F1值(F1-Score), ROC曲线, AUC值电信用户流失预测 案例: 通过逻辑回归算法, 针对电信用户数据建模, 进行流失预测分析 # 导包importnumpyasnpimportpandasaspdimportseabornassnsimportmatplotlib.pyplotaspltfromsklearn.model_selectionimporttrain_test_splitfromsklearn.linear_modelimportLogisticRegressionfromsklearn.metricsimportaccuracy_score,precision_score,recall_score,f1_score,\ classification_report# 准确率, 精确率, 召回率, F1值, 分类评估报告# 1. 定义函数, 演示: 数据的预处理defdm01_data_preprocess():# 1. 读取csv文件获取到df对象churn_dfpd.read_csv(./data/churn.csv)# 2. 查看(处理前)的数据集# churn_df.info()# 3. 因为Churn 和 gender列是字符串, 所以需要进行one-hot编码(热编码处理)churn_dfpd.get_dummies(churn_df,columns[Churn,gender])# 4. 查看(处理后)的数据集# churn_df.info()# 5. 删除one-hot处理后, 冗余的列# 参1: 要删除的列, 参2: 1表示删除列, 参3: inplaceTrue表示直接修改原数据churn_df.drop(labels[Churn_No,gender_Male],axis1,inplaceTrue)# churn_df.info()# print(churn_df.head(5))# 6. 修改列名, 将Churn_Yes改为flag, 充当标签列churn_df.rename(columns{Churn_Yes:flag},inplaceTrue)churn_df.info()print(churn_df.head(5))# False表示不流失, True表示流失# 7. 查看数据值的分布print(churn_df.flag.value_counts())# False: 5174, True: 1869# 2. 定义函数, 演示: 数据的可视化defdm02_data_visualization():# 1. 读取csv文件, 获取df对象churn_dfpd.read_csv(./data/churn.csv)# 2. one-hot操作churn_dfpd.get_dummies(churn_df,columns[Churn,gender])# 3. 删除one-hot处理后, 冗余的列churn_df.drop(labels[Churn_No,gender_Male],axis1,inplaceTrue)# 4. 修改列名churn_df.rename(columns{Churn_Yes:flag},inplaceTrue)# 5. 查看数据值的分布print(churn_df.flag.value_counts())# 6. 查看列名, 方便我们一会儿抽取特征# 列名为: Partner_att, Dependents_att, landline, internet_att, internet_other, StreamingTV, StreamingMovies, Contract_Month,# Contract_1YR, PaymentBank, PaymentCreditcard, PaymentElectronic, MonthlyCharges, TotalCharges, flag, gender_Femaleprint(churn_df.columns)# 7. 数据的可视化, 绘制计数柱状图sns.countplot(datachurn_df,xContract_Month,hueflag)plt.show()# 3. 定义函数, 演示: 逻辑回归算法的模型训练, 预测, 评估defdm03_logistic_regression():# 1. 加载数据集churn_dfpd.read_csv(./data/churn.csv)# 2. 数据预处理# 2.1 one-hot处理数据churn_dfpd.get_dummies(churn_df,columns[Churn,gender])# 2.2 删除one-hot处理后, 冗余的列churn_df.drop(labels[Churn_No,gender_Male],axis1,inplaceTrue)# 2.3. 修改列名churn_df.rename(columns{Churn_Yes:flag},inplaceTrue)# 2.4 提取特征列和标签列# x的特征列: 月度会员, 是否有互联网服务, 是否提供电子支付xchurn_df[[Contract_Month,internet_other,PaymentElectronic]]# False表示不流失, True表示流失ychurn_df[flag]# 2.5 划分训练集和测试集x_train,x_test,y_train,y_testtrain_test_split(x,y,test_size0.2,random_state23)# 3. 特征工程(特征提取, 特征预处理-归一化, 标准化...), 暂不处理# 4. 模型训练# 4.1 创建逻辑回归模型对象estimatorLogisticRegression()# 4.2 模型训练estimator.fit(x_train,y_train)# 5. 模型预测y_predestimator.predict(x_test)print(f预测值为:{y_pred})# 6. 模型评估print(f准确率:{estimator.score(x_test,y_test)})# 预测前 0.7679205110007097print(f准确率:{accuracy_score(y_test,y_pred)})# 预测后 0.7679205110007097print(f精确率:{precision_score(y_test,y_pred)})print(f召回率:{recall_score(y_test,y_pred)})print(fF1值:{f1_score(y_test,y_pred)})# macro avg 宏平均, 即: 不考虑样本权重, 直接求平均值, 适用于数据均衡的情况# weighted avg 样本权重平均, 即: 考虑样本权重, 求平均, 适用于数据不均衡的情况print(f分类评估报告:{classification_report(y_test,y_pred)})# 4. 测试if__name____main__:# dm01_data_preprocess()# dm02_data_visualization()dm03_logistic_regression()