吴恩达机器学习全课程笔记第六篇

目录

前言

P96-P100

使用多个决策树

随机森林算法

XGBoost

什么时候使用决策树

P101-P107

聚类

K-means

初始化K-means

选择聚类的个数

P108-P113

异常检测算法

开发和评估异常检测系统

异常检测vs监督学习

选择要使用的特征

前言

这是吴恩达机器学习笔记的第六篇，第五篇笔记请见：

吴恩达机器学习全课程笔记第五篇

完整的课程链接如下：

吴恩达机器学习教程（bilibili）

推荐网站：

scikit-learn中文社区

吴恩达机器学习资料（github）

P96-P100

使用多个决策树

使用单一决策树的缺点之一是对数据中微小的变化非常敏感，一个使算法不那么敏感或更健壮的方案是建立大量的决策树

每个决策树给出一个结果、少数服从多数

放回抽样

随机森林算法

随机森林算法是一种强大的树集成算法，比使用单个的决策树工作得更好

用放回抽样生成B组数据，训练每一组数据得到B个决策树，一般来说随着B的增大，算法的性能会先提高再递减

即使是使用放回抽样，有时总是在根节点上使用相同的拆分或者和根节点非常相似的分裂

因此，对算法进行了一次修改，以进一步尝试在每个结点随机化特性选择，这会导致你学习的一组树变得更加不同，您将选择k个特性作为允许的特性，然后在这些K个特性中，选择信息增益最高的一个作为使用拆分的特性的选择，当n很大时，常见的一种选择方法是令

XGBoost

XGBoost背后的想法是看看到目前为止我们已经训练过的决策树，看看我们还没有做得很好的例子，而不是看所有的训练例子

需要注意的此算法不使用放回抽样，XGBoost实际上给不同的训练例子分配了不同的权重，所以它实际上不需要生成大量的数据集

XGBoost的低层实现非常复杂，所以大多数情况下，许多从业者要使用开源库来实现

什么时候使用决策树

下面是决策树和神经网络的对比和适用场景

P101-P107

聚类

聚类(Clustering)：是指把相似的数据划分到一起，具体划分的时候并不关心这一类的标签，目标就是把相似的数据聚合到一起，聚类是一种无监督学习(Unsupervised Learning)方法

下面是聚类的一些应用：

K-means

该算法的过程：在坐标轴上随机设置两个点A、B，对于坐标轴上每个点，分别求出和A、B的距离，把距离A较近的一组点标记为a类，把距离B较近的一组点标记为b类，然后求出a类所有点的平均点（x坐标和y坐标都取平均数）替代原来的A，求出b类所有点的平均点（x坐标和y坐标都取平均数）替代原来的B，然后重复上述过程，一直用上述方法进行迭代，直到两次操作之后a类的点b类的点不会发生变化，此时就把所有的点分成了a类点和b类点两个cluster

在那些没有分离的很好的数据集上运行k-means也会取得效果

k-means算法的成本函数如下所示

可以通过移动中心来降低成本（损失）

初始化K-means

初始化聚类中心的第一种方法是随机选取样本中的点

但有的时候会陷入成本函数的局部最优解

一种方法是运行多次k-means然后计算每一种结果的成本函数，选择最小的情况

总结初始化的方法如下，注意，100可以是随意选择的，但是随着这个数的增大，有可能产生一定的负面效果

选择聚类的个数

聚类个数k的选择是具有二义性的

一种选择聚类个数的方法叫做肘法

但是在很多情况下，这个曲线没有一个明显的肘部的位置

所以，大多数情况下，还是要根据问题的实际情况选择合适的聚类个数

P108-P113

异常检测算法

下面是一个飞机引擎检测的例子

一种方法是密度预测

一种应用是用来检测骗子（机器人）

高斯分布（高中应该都学过，不多写了）

下面是异常检测算法的表达式

 

算法具体步骤如下：

举一个具体的例子进行说明

开发和评估异常检测系统

以飞机引擎检测为例，由于异常数据较少，一种替代方法是仅设置交叉验证集而不设置测试集

评估异常检测系统的方法如下

异常检测vs监督学习

选择要使用的特征

异常特征的选择对于异常检测算法相当重要

对于一些不满足高斯分布的特征，可以对它进行调整，是他接近高斯分布

有些情况，即使p(x)很大但其实它就是异常数据，这时候我可以去识别、添加进去一些新的特征去解决这个问题

通过组合旧特征来形成新特征也是常见的，以检测计算机为例