人工智能之数学基础【最小二乘法】

原理

最小二乘法由勒让德（A.M.Legendre）于1805年在其著作《计算彗星轨道的新方法》中提出，主要思想是最小化误差二次方和寻找数据的最佳匹配函数，利用最小二乘法求解未知参数，使得理论值与观测值之差（即误差，或称为残差）的二次方和达到最小，即：
$$E=\sum _{i=1}^n{ϵ}_i^2=\sum _{i=1}^n(y_i-\hat{y}{)}^2$$
其中，$\hat{y}$是样本数据；$y_i$是假设拟合函数。

示例

下面是一个简单的例子：

假设通过观测或实验得到一组$(x,y)$数据：$(1,6),(3,5),(5,7),(6,12)$。目标是用一条与这几个点最匹配的直线来表示出这些数据之间的关系。

通过分析数据可知，这些点差不多分布在一条直线上，因此可以利用线性式子：$y=ax+b$表示它们之间的关系，设方程组如下：
$$\{\begin{array}{l}6=a+b\\ 5=3a+b\\ 7=5a+b\\ 12=6a+b\end{array}$$
这样就需确定参数 $a和b$的值，通常这样的$a和b$是不存在的，也就是找不到一条直线穿过所有的点。我们希望能找到一条线与这些点距离最近的线。
假设有某个方法可以确定$a和b$，则按$y=ax+b$，给出一个x便可以计算出一个$y$，记作$y_i=a{x}_i+b$。$y_i$称为$y$的估计值，它们之间的差(通常称为残差)${ϵ}_k=y_i-y$无疑是衡量被确定的参数$a和b$（也就是近似多项式$y=ax+b$）好坏的重要标志。
可以规定许多原则来确定参数$a$和$b$，例如：

1. 使残差绝对值中最大的一个达到最小，即$T=max(|{ϵ}_k|)$。
2. 使残差绝对值之和达到最小，即${\sum }_{i=1}^k|{ϵ}_k|$为最小。
3. 使残差的二次方和达到最小，即${\sum }_{}$