对数几率回归

对数几率回归简介

对数几率回归（Logistic Regression）是一种用于解决分类问题的经典统计模型，其核心思想是利用逻辑函数（Sigmoid函数）将线性回归模型的输出值映射到概率范围 [0, 1]，从而实现分类预测。对数几率回归特别适合用于二分类问题。

模型表达式

对数几率回归的概率预测公式为：

​

其中：

• 
• w为权重向量，x 为输入特征向量，b为偏置项
• 是 Sigmoid 函数

目标是通过训练确定参数 w 和 b，以最大化模型对数据的预测能力。

---

极大似然函数与交叉熵损失

极大似然函数

在训练过程中，假设数据集包含 n 个样本​，目标是最大化样本标签 y 的条件概率的乘积，即似然函数：

为简化计算，通常对似然函数取对数，得到对数似然函数：

交叉熵损失

对数似然函数的负值称为交叉熵损失，是对数几率回归优化的目标函数：

通过最小化交叉熵损失函数，可以训练出最优的模型参数。

在信息论中涉及信息熵与交叉熵的概念。信息熵越大，表示随机变量的不确定性越大。相对熵=信息熵+交叉熵，相对熵用来度量两个随机变量之间的差异。

---

参数优化方法

梯度下降法

使用梯度下降法（Gradient Descent）通过迭代更新参数 w 和 b 来最小化损失函数。更新公式为：

其中 η为学习率。

牛顿法

牛顿法是一种二阶优化方法，利用梯度和二阶导数（Hessian 矩阵）更新参数，相较于梯度下降法收敛更快。更新公式为：

其中：

• ∇ℓ 是损失函数的梯度
• H 是 Hessian 矩阵，定义为损失函数的二阶导数矩阵

优点： 牛顿法可以显著加快优化速度，特别是在凸优化问题中表现出色。
缺点： 计算 Hessian 矩阵和求逆的开销较大，不适合大规模数据。