逻辑回归梯度推导

逻辑回归是一种广泛使用的分类算法，用于估计一个事件发生的概率。它是线性回归的扩展，通过sigmoid函数将线性回归的输出映射到[0, 1]区间，从而用于分类任务。
在逻辑回归中，我们使用对数似然损失函数（log-likelihood loss function）来衡量模型预测值与真实值之间的差异。我们的目标是最小化这个损失函数，以找到最优的模型参数。
假设我们有以下符号：

• $h_{\theta }(x)$ 是模型预测的概率，$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$。
• $m$ 是训练样本的数量。
• $y$ 是实际输出标签，取值为0或1。
• $\theta$ 是模型参数。
• $x$ 是单个训练样本的特征向量。

对数似然损失函数为(也可以说是交叉熵损失，来源于KL散度的后一项)：
$$L(\theta )=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))]$$

为了找到最小化损失函数的参数 $\theta$，我们需要计算损失函数关 $\theta $ 的梯度。以下是梯度计算的过程：

对 $ L(\theta) $ 求关于$ \theta_j $ 的偏导数：
$$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}L(\theta )& =-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\frac{\partial }{\partial {\theta }_j}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\frac{\partial }{\partial {\theta }_j}\log (1-h_{\theta }(x^{(i)}))\right]\\ & =-\frac{1}{m}\sum _{i=1}^m\left[\frac{y^{(i)}}{h_{\theta }(x^{(i)})}\frac{\partial }{\partial {\theta }_j}{h}_{\theta }(x^{(i)})-\frac{1-y^{(i)}}{1-h_{\theta }(x^{(i)})}\frac{\partial }{\partial {\theta }_j}{h}_{\theta }(x^{(i)})\right]\\ & =-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\frac{1}{h_{\theta }(x^{(i)})}-(1-y^{(i)})\frac{1}{1-h_{\theta }(x^{(i)})}\right]\frac{\partial }{\partial {\theta }_j}{h}_{\theta }(x^{(i)})\end{array}$$

计算 $h_{\theta }(x)$ 关于 ${\theta }_j$的偏导数:
$$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}{h}_{\theta }(x)& =\frac{\partial }{\partial {\theta }_j}\left(\frac{1}{1+e^{-{\theta }^{T}x}}\right)\\ & =\frac{e^{-{\theta }^{T}x}}{(1+e^{-{\theta }^{T}x}{)}^2}\frac{\partial }{\partial {\theta }_j}(-{\theta }^{T}x)\\ & =\frac{e^{-{\theta }^{T}x}}{(1+e^{-{\theta }^{T}x}{)}^2}(-x_j)\\ & =h_{\theta }(x)(1-h_{\theta }(x))(-x_j)\end{array}$$
将 ( $\frac{\partial }{\partial {\theta }_j}{h}_{\theta }(x)$ ) 的结果代入梯度公式中：
$$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}L(\theta )& =-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\frac{1}{h_{\theta }(x^{(i)})}-(1-y^{(i)})\frac{1}{1-h_{\theta }(x^{(i)})}\right]h_{\theta }(x)(1-h_{\theta }(x))(-x_j)\\ & =-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}(1-h_{\theta }(x^{(i)}))-(1-y^{(i)})h_{\theta }(x^{(i)})\right](-x_j^{(i)})\\ & =-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}-h_{\theta }(x^{(i)})\right](-x_j^{(i)})\end{array}$$
因此，逻辑回归损失函数 $L(\theta )$ 关于参数 ${\theta }_j$的梯度是：
$$\frac{\partial }{\partial {\theta }_j}L(\theta )=-\frac{1}{m}\sum _{i=1}^m\left[h_{\theta }(x^{(i)})-y^{(i)}\right]x_j^{(i)}$$

​ 这个梯度表达式告诉我们，对于每个参数 ${\theta }_j$，我们需要计算模型预测 $h_{\theta }(x^{(i)})$ 和实际标签 $y^{(i)}$ 之间的差异，然后将这个差异乘以特征 $x_j^{(i)}$，最后对所有训练样本求和并除以样本数量 $m$。这个梯度用于在优化过程中更新参数 ${\theta }_j$，以最小化损失函数。