聚类与回归

聚类

聚类属于非监督式学习（无监督学习），往往不知道因变量。

通过观察学习，将数据分割成多个簇。

回归

回归属于监督式学习（有监督学习），知道因变量。

通过有标签样本的学习分类器

聚类和回归的区别

在数据分类过程中，我们可以直接知道回归对应的具体类别名，但是在聚类过程中，我们只能知道聚类对应的类别与xxx是同一种类别。

比如：我们在使用分类处理一些水果时，我们可以知道某一个水果具体是什么水果，但是聚类我们只能知道这个水果和其他的某些水果是同一种水果，但是我们却不能知道具体的水果类型名是什么。

聚类的基本方法有三大类：

划分方法（K均值、K-Means）

通过反复迭代，先随机分配均值点， 根据均值点形成聚簇，形成聚簇之后，再调整均值点。调整均值点后，再进一步反复进行迭代，最后找到我们相应的聚簇。

层次方法（层次聚类法）

凝聚的（agglomeration）和分裂的（divisive）层次聚类图示

层次聚类有两种方法，一种是自底向上的方法，这种方法称为凝聚法。另一种方法是自下而上的方法，该方法又称为划分的方法。

 凝聚法的过程:我们通过水来凝结成冰。首先根据数据进行相似性计算，把相似的数据形成一个簇，形成了各种小簇，进一步计算簇和簇之间的相似性，如果簇和簇之间的相似性更高，将他们合并形成更大的簇。从㡳向上凝聚，形成我们想要的一个聚簇的一个结束条件时，得到我们想要的一个聚簇（层次聚类的结束条件有很多方法，比如从㡳向上进行聚类时，当聚到第k个聚簇的时候，我们就停止迭代；另外一种，我们当进行迭代时，我们数据的相似性足够高，越往上走，聚簇和聚簇的相似性就会越来越低，当相似性的阈值低到一定程度时，就可以认为我的一个层次聚类停止，如此一来就得到了相应的聚簇，即为我们的层次聚类）

霍普金斯统计量

假如求出来的霍普金斯统计量数据接近1，这说明比较符合聚类的要求；若霍普金斯统计量接近0.5，则说明数据接近于均匀分布，不适合对其进行 均匀分布。

聚类的大致流程：

1、通过计算霍普金斯统计量判断数据质量，判断当前数据是否需要聚类

2、通过使用一些方法，如：肘方法。来计算我们需要聚簇的k的数量。

3、在了解了k的数量以后，使用相应的k均值，或者是层次聚类法进行聚类

4、聚类结束后，对聚类的结果进行评估，对于聚类的评估方法通常有两种方法，一种是外在方法，类似于分类，需要有一个基准，用来评价聚类结果的准确率；一种是内在方法，通过我们的轮廓系数，来评价聚类质量的好坏。轮廓系数越接近1，聚类的效果就越好；第三种，聚类中常见的四种特征。