PyTorch逻辑回归总结

PyTorch逻辑回归总结

神经网络基础

基本结构

• 输入节点
• 隐藏节点
• 输出节点

学习路径

• 逻辑回归作为神经网络入门基础

线性回归

简单线性回归

• 模型表达式：$y={\beta }_0+{\beta }_{1}x+ϵ$
• 参数估计方法：最小二乘法
• 参数求解公式
  • ${\hat{\beta }}_1=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x}{)}^2}$
  • ${\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}$

多元线性回归

• 模型表达式：$y={\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_p{x}_p+ϵ$
• 矩阵形式求解：$\hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}y$

逻辑回归

核心原理

• 线性回归结果映射到概率：$z={\theta }^{T}x$
• Sigmoid函数：$\sigma (z)=\frac{1}{1+e^{-z}}$
  • 输出范围：[0, 1]
  • 代码实现：sigmoid(z)

损失函数

• 最大似然估计推导
• 对数损失函数：
  $J(\theta )=-\sum \left[y\log (\hat{y})+(1-y)\log (1-\hat{y})\right]$
• 防止数值溢出：添加极小值 $ϵ$

梯度下降法

基本思想

• 类比下山问题
• 梯度方向：函数下降最快的方向
• 学习率（η）：控制步长的超参数

关键公式

• 参数更新：${\theta }_{n+1}={\theta }_n-\eta \frac{\partial J}{\partial \theta }$
• 偏导数计算：
  • 权重：$\frac{\partial J}{\partial {\theta }_j}=\frac{1}{m}\sum (y_i-{\hat{y}}_i)x_{ij}$
  • 截距：$\frac{\partial J}{\partial b}=\frac{1}{m}\sum (y_i-{\hat{y}}_i)$

学习率影响

• 过小：收敛缓慢
• 过大：震荡或发散
• 优化策略：动态衰减、网格搜索

PyTorch实现

数据准备

• 使用make_classification生成数据
• 拆分训练集/测试集：train_test_split

模型构建

1. 参数初始化

   • 权重：w = torch.randn(1, 10, requires_grad=True)
   • 偏置：b = torch.randn(1, requires_grad=True)

2. 前向传播

   • 线性运算：z = torch.mm(x, w.T) + b
   • Sigmoid激活：y_hat = torch.sigmoid(z)

3. 损失计算

   • 二元交叉熵：loss = F.binary_cross_entropy(y_hat, y_true)

4. 反向传播

   • 自动求导：loss.backward()
   • 梯度清零：w.grad.zero_()

5. 参数更新

   • w -= lr * w.grad
   • b -= lr * b.grad

代码优化

• 对比NumPy与PyTorch实现
• 利用自动求导简化梯度计算

核心概念对比

• 概率 vs 似然
  • 概率：已知参数预测结果
  • 似然：已知结果估计参数
• 超参数 vs 权重参数
  • 超参数：手动设置（如学习率）
  • 权重参数：模型自动学习