聚类算法详解

聚类算法作为无监督学习的核心分支就像一位“智能分类师”能在没有标签的数据集里自动把相似的对象归为一类把不同的对象分开。它广泛应用于客户分群、图像分割、异常检测等场景接下来我们用通俗易懂的方式拆解常见聚类算法的原理、例子和代码实现。一、K-Means聚类最经典的“中心靠拢”算法原理K-Means是最常用的聚类算法之一核心思想很简单先指定要划分的类别数K随机选取K个点作为初始聚类中心然后反复做两件事一是把每个样本分配到距离最近的中心所在的类别二是根据每个类的样本重新计算新的聚类中心。直到聚类中心不再变化或者变化很小就完成了聚类。可以类比成老师要把学生分成K组先随便选K个学生当组长然后让其他学生选离自己“最合得来”的组长组队组队后每组重新选一个“最能代表大家”的新组长再重复这个过程直到每组的组长不再更换分组就稳定了。例子比如电商平台要对用户分群选取“月消费额”和“月购买次数”两个特征假设指定K3K-Means就能自动把用户分成“高消费高频次”“低消费低频次”“中等消费中等频次”三类方便平台针对不同群体做精准营销。代码实现Python我们用sklearn库实现K-Means以经典的鸢尾花数据集为例虽然鸢尾花有标签但可以当作无监督数据来聚类fromsklearn.clusterimportKMeansfromsklearn.datasetsimportload_irisimportmatplotlib.pyplotasplt# 加载数据取前两个特征方便可视化irisload_iris()Xiris.data[:,:2]# 构建K-Means模型指定聚类数为3kmeansKMeans(n_clusters3,random_state42)y_predkmeans.fit_predict(X)# 可视化聚类结果plt.scatter(X[:,0],X[:,1],cy_pred,cmapviridis)plt.scatter(kmeans.cluster_centers_[:,0],kmeans.cluster_centers_[:,1],s200,cred,markerX,label聚类中心)plt.xlabel(花萼长度)plt.ylabel(花萼宽度)plt.legend()plt.title(K-Means聚类结果)plt.show()二、层次聚类“树状图”式的逐步聚合/分裂原理层次聚类就像搭建一棵“分类树”分为两种方式凝聚式自下而上一开始每个样本都是一个单独的类然后不断把最相似的两个类合并直到所有样本聚成一个类或者达到指定的类别数。分裂式自上而下一开始所有样本是一个大类然后不断把最不相似的类拆分直到每个样本都是单独的类或者达到指定类别数。可以类比成一堆散落在地上的积木凝聚式就是先把相似的积木两两拼在一起再把拼好的小模块继续合并最后拼成一个大整体分裂式则是先把所有积木看成一个大整体然后慢慢拆成小模块直到每个积木单独分开。例子在生物分类中层次聚类可以用来构建物种的进化树从单个物种开始把亲缘关系近的物种逐步合并最终形成一棵展示物种进化关系的树状图。代码实现Python用scipy和sklearn实现凝聚式层次聚类fromsklearn.clusterimportAgglomerativeClusteringfromsklearn.datasetsimportmake_blobsimportmatplotlib.pyplotaspltfromscipy.cluster.hierarchyimportdendrogram,linkage# 生成模拟数据X,_make_blobs(n_samples50,centers3,random_state42)# 构建层次聚类模型agg_clusteringAgglomerativeClustering(n_clusters3)y_predagg_clustering.fit_predict(X)# 绘制树状图基于linkage矩阵linkedlinkage(X,ward)# ward方法使合并后的类内方差最小plt.figure(figsize(10,5))dendrogram(linked,orientationtop,distance_sortdescending,show_leaf_countsTrue)plt.title(层次聚类树状图)plt.show()# 可视化聚类结果plt.scatter(X[:,0],X[:,1],cy_pred,cmapviridis)plt.xlabel(特征1)plt.ylabel(特征2)plt.title(凝聚式层次聚类结果)plt.show()三、DBSCAN基于“密度”的异常检测能手原理DBSCAN密度基于空间聚类的应用与噪声不依赖预先指定类别数它的核心是“密度”把样本分为三类——核心点周围一定范围内有足够多的样本、边界点靠近核心点但自身不是核心点、噪声点既不是核心点也不是边界点。聚类过程就是找到所有相互可达的核心点和边界点形成一个类噪声点则被单独区分出来。可以类比成在人群中核心点就是周围有很多朋友的人边界点是靠近这些“社交达人”但自己朋友不多的人噪声点是孤零零站在角落的人。DBSCAN会把相互认识的“社交达人”和他们身边的人归为一群角落的人就是异常。例子在信用卡欺诈检测中正常交易的样本会形成密集的簇而欺诈交易因为数量少、特征异常会被DBSCAN识别为噪声点从而快速定位异常交易。代码实现Python用sklearn实现DBSCANfromsklearn.clusterimportDBSCANfromsklearn.datasetsimportmake_moonsimportmatplotlib.pyplotasplt# 生成模拟的“月亮形”数据K-Means难以处理这种非凸数据X,_make_moons(n_samples200,noise0.05,random_state42)# 构建DBSCAN模型eps是邻域半径min_samples是邻域内最少样本数dbscanDBSCAN(eps0.3,min_samples5)y_preddbscan.fit_predict(X)# 可视化聚类结果-1表示噪声点plt.scatter(X[:,0],X[:,1],cy_pred,cmapviridis)plt.xlabel(特征1)plt.ylabel(特征2)plt.title(DBSCAN聚类结果-1为噪声点)plt.show()四、高斯混合模型GMM“概率化”的聚类算法原理GMM假设每个类别的样本都服从高斯分布正态分布整个数据集是多个高斯分布的混合。它的核心是通过EM算法期望最大化估计每个高斯分布的均值、方差以及每个样本属于各个高斯分布的概率最终根据概率最大的类别给样本归类。可以类比成有几台不同的机器在生产零件每台机器生产的零件尺寸服从不同的正态分布GMM就能通过零件尺寸数据反推出有几台机器以及每个零件更可能是哪台机器生产的。例子在图像分割中GMM可以根据像素的颜色、亮度等特征把图像分成不同的区域比如把背景和前景分开因为背景和前景的像素分布通常符合不同的高斯分布。代码实现Python用sklearn实现GMMfromsklearn.mixtureimportGaussianMixturefromsklearn.datasetsimportmake_blobsimportmatplotlib.pyplotasplt# 生成模拟数据X,_make_blobs(n_samples300,centers3,random_state42)# 构建GMM模型指定组件数为3gmmGaussianMixture(n_components3,random_state42)y_predgmm.fit_predict(X)# 可视化聚类结果plt.scatter(X[:,0],X[:,1],cy_pred,cmapviridis)plt.xlabel(特征1)plt.ylabel(特征2)plt.title(高斯混合模型聚类结果)plt.show()以上只是常见聚类算法的基础介绍实际应用中还有谱聚类、OPTICS等算法不同算法适合不同的数据场景比如K-Means适合凸形簇DBSCAN适合非凸簇和异常检测。个人能力有限文中介绍的算法原理和代码实现仅为基础入门内容若需深入理解算法的数学推导和复杂场景下的调优技巧还需参考专业书籍和学术资料进一步学习。