当前位置：首页 > news >正文

【机器学习:四、多输入变量的回归问题】

news 2025/12/28 15:54:27

多输入变量的回归问题

1. 多元线性回归概述

1.1 单变量线性回归与多变量线性回归的概念区分

单变量线性回归：用于预测一个因变量（输出变量）与单一自变量（输入变量）之间的线性关系。模型形式为：

$\theta_0 + \theta_1x$

多变量线性回归：扩展到多个自变量，模型形式为：

$\theta_0 + \theta_1x_1 + \theta_2x_2 + \cdots + \theta_nx_n$
或者以向量形式表示：

$\mathbf{\theta}^T \mathbf{x}$

其中：

$\mathbf{\theta}$ 是参数向量。
$\mathbf{x}$ 是特征向量。

1.2 实际应用——房价预测

问题描述：假设我们要预测房屋的价格，影响价格的因素可能包括：
- 面积（平方米）。
- 卧室数量。
- 房屋年龄。
多元回归模型的目标：根据上述多个特征建立线性回归模型，用于预测房价。

2. 向量化表示与优势

2.1 向量化表示

线性回归模型的向量形式：
假设有 $m$ 个样本，每个样本有 $n$ 个特征，设计矩阵 $\mathbf{X}$ 和参数向量 $\mathbf{\theta}$ 定义如下：

$\mathbf{X} = \begin{bmatrix} 1 & x_{1,1} & x_{1,2} & \dots & x_{1,n} \\ 1 & x_{2,1} & x_{2,2} & \dots & x_{2,n} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{m,1} & x_{m,2} & \dots & x_{m,n} \end{bmatrix}, \mathbf{\theta} = \begin{bmatrix} \theta_0 \\ \theta_1 \\ \vdots \\ \theta_n \end{bmatrix}$

模型预测值：

$\mathbf{y} = \mathbf{X} \mathbf{\theta}$

2.2 向量化的优势

计算效率高：利用矩阵运算可以快速计算多个样本的预测值。
代码简洁：减少循环操作，简化实现。

3. 多元线性回归的优化方法

3.1 梯度下降法

目标：通过最小化损失函数找到最优参数 $\mathbf{\theta}$ 。
损失函数：

$J(\mathbf{\theta}) = \frac{1}{2m} \sum_{i=1}^m \left( h_\mathbf{\theta}(\mathbf{x}^{(i)}) - y^{(i)} \right)^2$

梯度下降更新公式：

$\mathbf{\theta} := \mathbf{\theta} - \alpha \frac{\partial J(\mathbf{\theta})}{\partial \mathbf{\theta}}$

更新过程向量化为：

$\mathbf{\theta} := \mathbf{\theta} - \alpha \frac{1}{m} \mathbf{X}^T (\mathbf{X} \mathbf{\theta} - \mathbf{y})$

其中：
- $\alpha$ 是学习率。
- $m$ 是样本数量。

3.2 正规方程法

目标：通过直接计算闭式解找到参数向量 $\mathbf{\theta}$ 。
公式：

$\mathbf{\theta} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y}$

特点：
- 无需选择学习率。
- 计算量较大，尤其是特征数较多时。

4. 总结与比较

方法	优点	缺点
梯度下降法	易于处理大规模数据集；灵活性高	需要选择学习率；可能收敛较慢
正规方程法	无需调参，计算直接	对高维特征敏感，计算复杂度较高

应用建议：

当特征数较少时，优先考虑正规方程法。
当样本量大或特征维度高时，选择梯度下降法。