【机器学习】Logistic回归#1基于Scikit-Learn的简单Logistic回归

主要参考学习资料：

《机器学习算法的数学解析与Python实现》莫凡 著

前置知识：线性代数-Python

问题背景

分类问题是一类预测非连续（离散）值的问题，即预先设定类别，向模型输入带有类别信息的训练集样本，最后进行预测。

待分类别只有两个的分类问题为二元分类问题，超过两个为多分类问题。

多分类问题可以拆解为多次关于正类（是）和负类（否）的二元逻辑分类问题，形成数据结构中的二叉搜索树来解决。

数学模型

类别表示

用数值表示类别的形式有三种：

①数字形式：最直接，例如0为A类，1为B类，2为C类，本文从该形式入门。

②向量形式：广泛应用于深度学习，n元分类使用n个线性无关的n维向量来表示，例如[1,0,0]为A类，[0,1,0]为B类，[0,0,1]为C类。

③概率值形式：预测结果为每个类的可能概率，例如向量[0.114,0.514,0.810]的每个元素分别代表A、B、C三类的概率。

Logistic函数

离散数据往往与阶跃特征紧密联系，一个最基本的阶跃函数如下：

$u(t)=\{\begin{array}{c}0,t<0\\ 1,t>0\end{array}$

该函数的输出非0即1，符合二元分类问题的背景，但阶跃函数的不可导为机器学习的优化算法带来问题。

Logistic函数是一种Sigmoid函数（S型函数），作为扮演类似阶跃函数角色的可导函数，其表达式为：

$\mathrm{Logistic}(z)=\frac{1}{1-e^{-z}}$

其图像为：

可见横坐标尺度越大，图像越近似于阶跃函数。

假设函数

利用Logistic函数将线性模型预测的连续值映射到分类问题所需的非连续值，得到假设函数：

$H(x)=\frac{1}{1+e^{-({\mathbf{w}}^T{x}_i+b)}}$

损失函数

Logistic回归的损失函数为对数损失函数/交叉熵损失函数：

$L(x)=-y\log \hat{y}-(1-y)\log (1-\hat{y})$

从分类的两种情况来理解它：

若真实值为1，则预测值趋于1时损失值趋于0；

若真实值为0，则预测值趋于0时损失值趋于0；

训练步骤

Logistic回归算法的训练步骤与线性回归算法类似，只不过输出从连续变成了离散。

代码实现

#导入LogisticRegression类
from sklearn.linear_model import LogisticRegression  
#导入鸢尾花分类数据集
from sklearn.datasets import load_iris  
import numpy as np  
import matplotlib.pyplot as plt  
#载入鸢尾花数据集
iris = load_iris()  
#选择前两个特征作为输入（方便可视化）
X = iris.data[:, :2]
#提取分类标签
y = iris.target  
#训练Logistic回归模型
clf = LogisticRegression().fit(X, y)  
#用于可视化的函数
def plot_decision_boundary(X, y, model):  #根据两个特征的最值确定坐标边界x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1  y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1  #meshgrid方法生成分别以两个列表为横、纵坐标二维网格#二维数组xx和yy分别为网格各点的横、纵坐标矩阵xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.01), np.arange(y_min, y_max, 0.01))  #ravel方法将坐标矩阵展开到一维#c_方法按列连接矩阵，即将横、纵坐标一一组合#用模型遍历所有坐标得到各点预测值Z = model.predict(np.c_[xx.ravel(), yy.ravel()])  #将预测值调整为xx的形状Z = Z.reshape(xx.shape)  #contourf方法绘制等高线，横纵坐标xx和yy，高度Zplt.contourf(xx, yy, Z, alpha=0.8, cmap=plt.cm.coolwarm)  #绘制训练数据的散点图plt.scatter(X[:, 0], X[:, 1], c=y, edgecolors='k', marker='o', cmap=plt.cm.coolwarm) #绘制轴标签和标题 plt.xlabel('Feature 1')  plt.ylabel('Feature 2')  plt.title('Logistic Regression Decision Boundary')  plt.show()  
plot_decision_boundary(X, y, clf)

运行结果：

可见模型对鸢尾花数据集中蓝色数据点分类较为准确，而浅色和红色效果较差，这是因为数据点在选取的两个特征维度下线性不可分。

可以通过$\text{model.score(X,y)}$对模型进行性能评估。

特点

优点：形式简单，可解释性强，容易理解和实现，计算代价较低。

缺点：效果有时不好，容易欠拟合。

应用领域：二分类领域，或作为其他算法的部件，例如神经网络算法的激活函数。