最小二乘法

1、相关的矩阵公式

$$\begin{array}{l}Precondit\mathrm{i}on:\xi \in R^n,A\in R^{n\ast n}\\ \\ i:\frac{\sigma A\xi }{\sigma \xi }=A^T\\ \\ ii:\frac{\sigma {\xi }^{T}A\xi }{\sigma \xi }=A^T\xi +A\xi \\ \\ iii:{\left(AB\right)}^T=B^T{A}^T\\ \\ iv:{\left(A+B\right)}^T=A^T+B^T\\ \\ v:\Vert \xi \Vert ={\xi }^T\xi \end{array}$$

2、线性回归

线性回归（Linear Regression）个人理解大概是说，一组数据基本上服从线性分布。举一个在二维平面中线性回归的例子，如下图所示，我们可以找到一条表达式为$y=ax+b$的直线来大概的拟合这些数据。进而，我们可以用这条直线去预测新输入的点的相应的坐标。那么这种寻找线性方程去拟合数据的方式我们称之为线性回归。

3、最小二乘法

3.1、损失函数（Loss Function）

在二维平面中，我们可以设这条可以拟合大多数数据的直线的表达式如下:
$$h\left(\theta \right)={\theta }_{1}x+{\theta }_2$$
其中${\theta }_1$和${\theta }_2$就是$y=ax+b$中的$a$和$b$，只是换了一种表达而已。
接着，可以求得平面上每一个点在这条直线上对应的坐标（即估计值）：
$$\begin{array}{l}{h}_1\left(\theta \right)={\theta }_1{x}_1+{\theta }_2\\ h_2\left(\theta \right)={\theta }_1{x}_2+{\theta }_2\\ ....\\ h_n\left(\theta \right)={\theta }_1{x}_n+{\theta }_2\end{array}$$

再求这些点在直线上的坐标和真实坐标的差的平方，就得到损失函数的表达式。
$$L\left(\theta \right)=\sum _{i=1}^m{\left(h_i\left(\theta \right)-f\left(x_i\right)\right)}^2$$
其中$f\left(x_i\right)$则是$x_i$对应的真实坐标值。
因此，可以通过损失函数$L\left(\theta \right)$来找出适当的${\theta }_1$和${\theta }_2$，使其$f\left(x_i\right)$之间的方差最小。求解方法放在后面讲。

3.2、多维空间的损失函数

在$m$维线性空间中，有$n$个点。其对应的预测方程应该如下：

$$\begin{array}{l}{h}_1\left(\theta \right)={\theta }_1{x}_{11}+{\theta }_2{x}_{12}+...+{\theta }_{m-1}{x}_{1m-1}+{\theta }_m\\ h_2\left(\theta \right)={\theta }_1{x}_{21}+{\theta }_2{x}_{22}+...+{\theta }_{m-1}{x}_{2m-1}+{\theta }_m\\ ...\\ h_n\left(\theta \right)={\theta }_1{x}_{n1}+{\theta }_2{x}_{n2}+...+{\theta }_{m-1}{x}_{nm-1}+{\theta }_m\end{array}$$
其中$n>m$（方程数量等比未知数多才能有解）。损失函数的表达式依旧如此：
$$L\left(\theta \right)=\sum _{i=1}^m{\left(h_i\left(\theta \right)-f\left(x_i\right)\right)}^2$$
那么再将以上的所有变量矩阵化：

可以得到损失函数的表达式为：
$$L\left(\theta \right)={\Vert X\theta -F\Vert }^2={\left(X\theta -F\right)}^T\left(X\theta -F\right)$$
再展开化简：
$$\begin{array}{l}L\left(\theta \right)={\Vert X\theta -F\Vert }^2={\left(X\theta -F\right)}^T\left(X\theta -F\right)\\ \\ =\left({\theta }^T{X}^T-F^T\right)\left(X\theta -F\right)={\theta }^T{X}^{T}X\theta -{\theta }^T{X}^{T}F-F^{T}X\theta +F^{T}F\\ \\ ={\theta }^T{X}^{T}X\theta -2F^{T}X\theta +F^{T}F\end{array}$$
根据上文，我们知道化简的目的是为了找到适当的$\theta$使得损失函数$L\left(\theta \right)$最小，而常用的求$\theta$有两种，分别是解析法求解和梯度下降法。

3.3、解析法求解

从高数可以知，当偏导等于零时，该点是极值点（说的不严谨emm）。所以我们直接求偏导，另其为零即可得$\theta$。
$$\begin{array}{l}\frac{\sigma L\left(\theta \right)}{\sigma \theta }=2X^{T}X\theta -2X^{T}F=0\\ \\ \theta ={\left(X^{T}X\right)}^{-1}{X}^{T}F\end{array}$$
但这种方法要求$X^{T}X$是可逆的，即行列式不为零or满秩。很多时候这个条件并不成立，所以在机器学习(Machine Learning)中经常用到梯度下降法。

3.4、梯度下降法求解

梯度下降基本思想是先随便取一个${\theta }_i$，然后带入下式看看损失函数多大，然后再在${\theta }_i$基础上，取一个稍微小一点或大一点的${\theta }_j$带入下式，看看此时的损失函数多大。如此往复，找到那个最优的$\theta$的取值。
$$L\left({\theta }_{\mathrm{i}}\right)={{\theta }_i}^T{X}^{T}X{\theta }_i-2F^{T}X{\theta }_i+F^{T}F$$