机器学习算法（六）---逻辑回归

常见的十大机器学习算法：
机器学习算法（一）—决策树
机器学习算法（二）—支持向量机SVM
机器学习算法（三）—K近邻
机器学习算法（四）—集成算法
机器学习算法（五）—聚类
机器学习算法（六）—逻辑回归
机器学习算法（七）—Apriori 关联分析
  机器学习中监督学习模型的任务重点在于根据已有经验知识对未知样本的目标/标记进行预测。根据目标预测变量的类型不同，把监督学习任务大体分为分类学习和回归预测两类。分类学习是最为常见的监督学习问题，其中，最基础的是二分类问题，除此之外还有多分类问题。

一、逻辑回归

1.1 模型介绍

  逻辑回归是在数据服从伯努利分布的假设下，通过极大似然的方法，运用梯度下降法来求解参数，从而达到将数据二分类的目的。
  逻辑回归是一种用于二分类问题的统计方法，引入了一种 S型曲线（Sigmoid函数），它能将输出值压缩到0和1之间，从而解决了线性回归不适用分类问题的问题。
Sigmoid函数：

其中，Z=w0+w1x1+w2x2+…+(wn)xn=W*X，逻辑回归可以将 z 映射为一个 0 到 1 之间的概率。X表示特征向量，W表示模型的参数。

1.2 工作原理

  逻辑回归主要用于估计某个事件发生的概率，核心思想是使用线性回归来计算一个分数（即Z ），然后通过 Sigmoid函数将这个分数转化为概率，再以此概率进行分类。逻辑回归的参数是通过极大似然估计来确定。

（1）损失函数
使用交叉熵损失函数来衡量模型预测的概率与真实类别标签之间的差距。交叉熵损失定义如下：

其中，yi是真实类别，pi是模型的预测概率，m 是样本数量。
（2）优化算法
使用梯度下降法来更新权重和偏置项，以最小化损失函数。

1.3 算法流程

1、初始化
设定初始参数 W，可以随机选择，也可以设为零。
2、前向传播
对每一个样本计算线性组合，应用逻辑回归函数计算概率
3、计算损失
使用对数似然函数计算损失
4、梯度计算
计算梯度
5、参数更新
更新参数
6、迭代
重复前向传播、损失计算、梯度计算和参数更新，直到收敛或达到预设的迭代次数。
7、分类决策
使用训练好的模型对新数据进行预测，根据计算出的概率 p 和阈值进行分类。

1.4 逻辑回归优缺点

优点:

• 1.形式简单，模型的可解释性好
• 2.训练速度较快
• 3.方便调整输出结果，通过调整阈值的方式

缺点：

• 1.无法自动进行特征筛选
• 2.只能处理二分类问题
• 3.很难处理数据不平衡问题

1.5 案例

  案例数据为‘良/恶性乳腺肿瘤预测数据’，该数据共有569条样本，1列表征肿瘤类型的数值，以及30列与肿瘤相关的医学特征（30个特征(10个平均值，10个标准差，10个最值)）。

import pandas as pd
import numpy as np
from sklearn.datasets import load_breast_cancer  #引入乳腺癌的数据集
from sklearn.model_selection import train_test_split #用于分割数据集
from sklearn.preprocessing import StandardScaler     # 归一化
from sklearn.linear_model import LogisticRegression    # 导入逻辑回归模型
from sklearn.linear_model import SGDClassifier   #导入随机梯度下降分类模型
from sklearn.metrics import classification_report
cancer = load_breast_cancer() 
print(cancer.data.shape)
print(cancer.target.shape)

x=cancer.data
y=cancer.target
x

y

x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.3,random_state=33)
#标准化数据，使得每个维度特征数据方差为1，均值为0，预测结果不会被某些维度过大的特征值而主导
ss=StandardScaler()
X_train=ss.fit_transform(x_train)
X_test=ss.transform(x_test)
#初始化
lr=LogisticRegression()
sgdc=SGDClassifier()
#调用LogisticRegression中fit函数/模块训练参数
lr.fit(X_train,y_train)
#使用训练好的模型lr对x_test数据进行预测
lr_y_predict=lr.predict(X_test)#调用SGDClassifier中fit函数/模块训练参数
sgdc.fit(X_train,y_train)
#使用训练好的模型lr对x_test数据进行预测
sgdc_y_predict=sgdc.predict(X_test)#对于乳腺癌肿瘤预测问题，显然更加关注召回率和精确率更加接近的模型给予更高的分数。
print('Accuracy of LR Classifier:',lr.score(X_test,y_test))
print(classification_report(y_test,lr_y_predict,target_names=['Benign','Malignant']))
#Benign：良性  Malignant：恶性
#macro avg 即宏均值，可理解为普通的平均值。对应的概念还有微均值 micro avg
#weighted avg 加权平均

print('Accuracy of sgdc Classifier:',sgdc.score(X_test,y_test))
print(classification_report(y_test,sgdc_y_predict,target_names=['Benign','Malignant']))

macro avg 即宏均值，可理解为普通的平均值。对应的概念还有微均值 micro avg
宏平均是先对每一个类统计指标值，然后在对所有类求算术平均值。微平均是对每一个实例不分类别进行统计建立全局混淆矩阵，然后计算相应指标。
  如果每个class的样本数量相差不大，那么宏平均和微平均差异也不大，如果每个class的相差较大并且你想：更注重样本量多的class：使用宏平均；更注重样本量少的class：使用微平均。
  LogisticRegression比起SGDClassifier在测试集上表现有更高的准确性，一般而言，对于训练数据规模在10万以上的数据，推荐使用随机梯度算法对模型参数进行估计。

1.6 classification_report()参数

classification_report(y_true,y_pred,labels=None,target_names=None,sample_weight=None,digits=2,output_dict=False,zero_division=“warn”）
y_true：真实值
y_pred：预测值
labels：标签索引列表，可选参数，数组形式
target_names：与标签匹配的名称，可选参数，数组形式
sample_weight：样本权重，当“output_dict”为“True”时，这将被忽略，并且返回的值不会四舍五入。
digits：格式化输出浮点值的位数。默认为2，是否输出字典。默认为False，如果为True则输出结果形式为字典。
zero_division：设置存在零除法时返回的值。默认为warn。如果设置为“warn”，这相当于0，但也会引发警告。

二、逻辑回归与线性回归的区别与联系

• 1.分类与回归：
  线性回归模型是预测一个连续变量
  逻辑回归是预测一个分类变量

• 2.输出：
  线性回归 连续型 线性回归容易受异常值影响
  逻辑回归 分类型

• 3.参数估计方法
  线性回归使用的是最小平方误差损失函数，对偏离真实值越远的数据惩罚越严重
  逻辑回归使用似然函数进行参数估计，使用交叉熵作为损失函数