当前位置：首页 > article >正文

逻辑回归知识点

article 2025/6/6 11:39:16

一、逻辑回归概念

逻辑回归(Logistic Regression)是一种广泛应用于分类问题的统计方法，尤其适用于二分类问题。

注意: 尽管名称中有"回归"二字，但它实际上是一种分类算法。

解决二分类的问题。

API：sklearn.linear_model.LogisticRegression

二、核心函数

Sigmoid函数： $\sigma \left ( z \right )=\frac{1}{1+e^{-z}}$

其中 $z=w^{T}x+b$ ，w是权重向量，x是特征向量，b是偏置项。

三、逻辑回归原理和优化手段

1.原理：（核心思想）逻辑回归通过将线性回归的输出映射到(0,1)区间，使用Sigmoid函数将连续值转换为概率值，然后根据概率值进行分类预测。

2.优化手段：极大似然估计和最小化交叉熵。

极大似然估计：（MLE,即 Maximum Likelihood Estimation）

是一种统计方法，用于从观测数据中估计概率分布的参数。核心思想是“在已知观测数据的情况下，选择使得这些数据出现概率最大的参数值。”

二分类公式：

$L\left ( p \right )=\prod_{i=1}^{n}p^{y_{i}}\left ( 1-p \right )^{1-y_{i}}$

其中 $y_{i}$ 表示第i个样本的真实标签，取值为0或1（1表示成功，0表示失败）， $p$ 是模型预测的“成功”概率（即 $P\left ( y_{i}=1 \right )$ ），是带估计的参数。

最小化交叉熵：交叉熵损失函数（Cross-Entropy Loss），也称为对数损失（Log Loss）

交叉熵是衡量两个概率分布（真实分布 y和预测分布 p）差异的指标

二分类公式：

$Loss\left ( L \right )=-\sum_{i=1}^{m}\left ( y_{i}ln\left ( p_{i} \right )+\left ( 1-y_{i} \right )ln\left ( 1-p_{i} \right ) \right )$

其中 $y_{i}$ 表示第i个样本的真实标签，通常取值0或1（二分类问题）， $p_{i}$ 表示模型预测的第i个样本属于类别1的概率（即 $P\left ( y_{i}=1|x_{i} \right )$ ）

关系：先用伯努利分布的似然函数,然后对其取负对数，直接得到交叉熵损失,然后不断的梯度下降迭代更新找到最优参数!（把最大化问题将其变为最小化问题，把连乘问题将其变为连加问题）

四、混淆矩阵

1.概念

混淆矩阵是机器学习中用于评估分类模型性能的表格。它展示了模型的预测结果与实际标签的对比情况。

2.图解

3.作用

直观显示模型的分类错误类型（如误诊、漏检），计算关键指标：准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1分数等。

五、分类结果评价指标

1.准确率(Accuracy_score)

准确率 = 预测正确的样本数 / 总样本数其中预测正确指的是预测结果 = 真实结果（包含正例以及反例）

$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$

2.精确率(Precision_score)

精确率是预测正例中真实正例的个数占比

$P=\frac{TP}{TP+FP}$

3.召回率(Recall_score)

召回率是真实正例中预测的正例的个数占比

$P=\frac{TP}{TP+FN}$

4.F1-score

对模型的精确率和召回率都有要求，希望知道模型在这两个评估方向的综合预测能力

$P=\frac{2*Precision*Recall}{Precision+Recall}$

5.ROC曲线

概念：ROC曲线以模型的真正率为纵轴，假正率为横轴，它将模型在不同阈值下的表现以曲线的形式展现出来。

真正率: 正样本中被预测为正样本的概率TPR （True Positive Rate）

假正率: 负样本中被预测为正样本的概率FPR （False Positive Rate）

6.AUC面积

ROC曲线下方的面积，AUC越大，代表分类器越好