机器学习-最小二乘法

概况

最小二乘法其实就是为数据(二维)拟合出一条直线，为(三维)数据拟合出一个面。来最大程度的是我们的样本点落在该直线上。
使得我们找到一条直线使所以的样本点尽可能靠近该直线，即每个样本点到直线的距离最短。

Y=WX+B，W是权重，B是偏移量。
损失函数
$$L(w)=\sum _{i=1}^m||w^T{x}_i-y_i|{|}^2$$
$$=\sum _{i=1}^m(w^T{x}_i-y_i{)}^2$$
$$=[W^T{X}^T-Y^t][XW-Y]$$
$$=W^T{X}^{T}XW-Y^{T}XW-W^T{X}^{T}Y+Y^{T}Y$$
$$=W^T{X}^{T}XW-2W^T{X}^{T}Y+Y^{T}Y$$
为什么$Y^{T}XW$和$W^T{X}^{T}Y$是相等的，因为$Y^T$的维度是(1,n),$X$的维度是(n,n),$W$的维度是(n,1)，所以$Y^{T}XW$的维度是(1，1)也就是一个常数值。而$W^T$的维度为(1，n),$X^T$的维度为(n,n)，$Y$的维度为(n,1)。$W^T{X}^{T}Y$的维度为(1，1)所以都是常数，所以转置不转置不影响数值的值。所以是相等的。

---

因为我们采用的是最小二乘估计，所以这里希望损失函数最小，所以求取函数导数为0的点，就是我们的最优解，因为这里是二次函数，所以导数为0的点就是最值点。
最优解为$w^{\ast }$
$$w^{\ast }=argmi{n}_{w}L(w)$$
对其求导，并令其导数为0.
$$导数=2X^{T}XW-2X^{T}Y=0$$
具体过程是：
$$dL(w)=d(W^T{X}^{T}XW-2W^T{X}^{T}Y+Y^{T}Y)$$
$$=d(W^T)X^{T}XW-2d(W^T)X^{T}Y+W^T{X}^{T}Xd(W)$$
$$=X^{T}XWd(W)-2X^{T}Yd(W)+W^T{X}^{T}Xd(W)$$
即$$2X^{T}XW-2X^{T}Y=0$$
$$w^{\ast }=(X^{T}X{)}^{-1}{X}^{T}Y$$
然后我们可以构造决策函数：
$$f(x)=(w^{\ast }{)}^{T}x$$