【机器学习理论基础】回归模型定义和分类

定义

回归分析是研究自变量与因变量之间数量变化关系的一种分析方法，它主要是通过因变量$Y$与影响它的自变量 $X_i$ 之间的回归模型，衡量自变量 $X_i$ 对因变量 $Y$ 的影响能力的，进而可以用来预测因变量Y的发展趋势。

分类

回归分析可以根据不同的分类标准进行分类，主要包括以下几种类型:

机器学习中主流回归算法

在机器学习领域，有许多不同类型的回归算法，每种算法都有其独特的优点和适用场景。主流回归算法主要有如下几种：

• 线性回归
• Lasso回归
• 岭回归
• 多项式回归
• 决策树回归
• 随机森林回归
• 支持向量机回归
• k近邻回归
• 梯度提升回归
• 神经网络回归

这些主流算法会在后面文章中一一介绍。