#机器学习--重新看待线性回归

引言

        本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。

---

普通视角的线性回归

        对于一组数据 $\{(x_0,y_0),\dots (x_m,y_m)\}$ 我们希望找到一个线性模型 $y=w^{T}x$ 使得其在这组数据上拟合效果最好。既然要找最好，肯定就需要一个衡量指标。
        最直观的理解就是，当所有点到直线的距离之和最小时，误差最小，拟合效果最好。即，使用 $MS{E}_{train}$ 作为模型的衡量指标。此时我们得到优化目标：$$\underset{w}{\mathrm{argmin}}\sum _i^m(y_i-w^T{x}_i{)}^2$$

最大似然角度的线性回归

        假设对于每个 $y_i$ 都由正态分布 $N(w^T{x}_i,\sigma )$ 产生，其中 $\sigma$ 是用户固定的某个常量。之所以这么假设，是因为如果要找到一个正态分布 $N(\mu ,\sigma )$ 能够使得点 $(x,y)$ 被采样的概率最大，那么这个正态分布就是$N(x,\sigma )$ 。也就是说，对于每个样本都是由正态分布采样所得，根据最大似然的思想，令所有的 $y_i$ 同时发生的可能性最大，即：$$\underset{w}{\mathrm{argmax}}\sum _i^{m}ln[\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{1}{2}(\frac{y_i-w^T{x}_i}{\sigma }{)}^2}]$$$$=>\underset{w}{\mathrm{argmax}}[\sum _i^{m}ln[\frac{1}{\sigma \sqrt{2\pi }}]-\sum _i^m[\frac{1}{2{\sigma }^2}(y_i-w^T{x}_i{)}^2]]$$$$=>\underset{w}{\mathrm{argmin}}\sum _i^m(y_i-w^T{x}_i{)}^2$$

总结

        从最终结果来看，两者之间的优化目标是一样的，但从本质上来讲，最小二乘法只是最大似然在正态分布下的一种特殊情况。如果假设其它分布则会有不同的结果，如：
        伯努利分布下，最大似然估计的结果就是逻辑回归。
        多项式分布下，最大似然估计的结果就是softmax回归。
        感兴趣的读者可以自行证明。