【机器学习】线性回归算法简介 及 数学实现方法

线性回归

简介

利用 回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式。
数学公式： ℎ_(w) = w_1x_1+ w_2x_2 + w_3x_3 + … + b = w^Tx+b

概念

​ 利用回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式

分类

一元线性回归、多元线性回归

应用场景

线性回归问题的求解

API简单介绍

损失函数

误差概念: 用预测值y – 真实值y就是误差

损失函数:衡量每个样本预测值与真实值效果的函数，也叫代价函数、成本函数、目标函数

损失函数误差最小,也就是损失函数的最优解为求解的回归方程

损失函数的种类:

求解线性回归问题流程:

数据-> 线性回归模型 -> 损失函数 -> 优化方法

正规方程法

这里用到数学知识,与程序训练无关,讲解模型求回归方程的底层数学逻辑

这里补充一个知识 范数

范数:

一元线性回归解析解:

多元线性回归-方程法

梯度下降法

​ 沿着梯度下降的方向求解极小值

梯度:

梯度下降公式:

• α: 学习率(步长) 不能太大, 也不能太小. 机器学习中：0.001 ~ 0.01
• 梯度是上升最快的方向, 我们需要是下降最快的方向, 所以需要加负号

梯度下降法分类:

​ 随机选择一个样本，假设选择 D 样本，计算其梯度值并存储到列表：[D]，然后使用列表中的梯度值均值，更新模型参数。
​ 随机再选择一个样本，假设选择 G 样本，计算其梯度值并存储到列表：[D, G]，然后使用列表中的梯度值均值，更新模型参数。
​ 随机再选择一个样本，假设又选择了 D 样本, 重新计算该样本梯度值，并更新列表中 D 样本的梯度值，使用列表中梯度值均值，更新模型参数。
​ …以此类推，直到算法收敛。

正规方程和梯度下降的对比

回归模型评估方法

线性模型评估的三个指标

平均绝对误差 MAE

均方误差 MSE

均方根误差

三种指标对比