机器学习（二）

一,Multiple features(多类特征) 多元线性回归：

        

        1,多类特征的符号表示: (可以类比二维数组)

        2,多元线性回归模型:

二,Vectorization（向量化） (简化代码&缩短运行速度)：

        

1. 向量化实现多元线性回归模型：

2. 向量化实现多元线性回归的梯度下降:

3. 拓展：正规方程(normal equation)求线性回归模型的W和b (调用机器学习库,无需迭代和下降，但是不利于推广，且当n足够大时，速度慢)

 三，Feature Scaling（特征缩放）:

        

1. 定义：当不同特征的取值范围相差很大（太大或者太小）时，可通过重新缩放不同的特征，使其取值在可比的范围内（即当数据集的特征值取值范围大时，模型的所对应的参数尽可能的小，反之则尽可能的大），来提高梯度下降的运行速度

2. 实现：

         （1）法一：除以特征的最大值：

        （2）法二：均值归一化：（ 缩放后特征值的取值范围为[-1,1] ）

        

        （3）法三：Z分数归一化：(与法二相似，将普通正态分布转换为标准正态分布)

                ①分别计算特征X的均值和标准差

                ②缩放后的X为(X-均值)/标准差

四，判断梯度下降是否收敛：

         

1. 法一：绘制以迭代次数为横坐标，以成本函数J为纵坐标的学习曲线，观察曲线何时趋于平稳
2. 法二：规定ɛ(值很小的变量)，若成本函数一次迭代中减少的量小于ɛ，即收敛

五，学习率的选择：（尝试一系列学习率，从而找到最优解） ：

        方法：选择一个最小的值（如0.001），绘制学习曲线，后扩大倍数，绘制其学习曲线，不断重复。

        0.001 -> 0.003 -> 0.01 -> 0.03 -> 0.1 ->............

        直到筛选出最小的学习率，最大的学习率，略小于最大的学习率

六，特征方程： 

        利用自己的知识和直觉来设计新特征，或通过变换或组合，将原始特征转换为一个更贴近核心问题的特征，从而提高预测的准确性

        注：组合后的新特征取值范围可能差别较大，可利用特征缩放进行处理

七，多项式回归：

        多项式回归=多元线性回归+特征工程

        组合后的数据可能会出现多次方，可以将曲线，非线性函数拟合到数据中，从而提高预测的准确性，这就是多项式回归