三大聚类算法对比

聚类算法核心对比划分聚类、层次聚类与密度聚类在无监督学习中聚类算法根据其核心思想和构建簇的方式主要分为基于划分、基于层次和基于密度三大类。下表从定义、核心原理、关键步骤及应用场景等方面对这三种主流方法进行了系统性对比。特征维度划分聚类 (Partitioning Clustering) - 以K-Means为代表层次聚类 (Hierarchical Clustering)密度聚类 (Density-Based Clustering) - 以DBSCAN为代表核心思想将数据集划分为K个互斥的簇通过迭代优化簇内相似度最大化或误差最小化。通过构建数据的层次嵌套簇树状图Dendrogram来揭示数据的层次结构。基于数据分布的密度来发现任意形状的簇将高密度区域划分为簇低密度区域视为噪声。簇形状假设假设簇是凸形的如球形且大小相近。对非球形、大小不一的簇效果不佳。无特定形状假设能反映数据的内在层次关系。无特定形状假设能发现任意形状的簇对噪声和异常值鲁棒。关键参数K簇的数量需预先指定。距离度量方式如欧氏、曼哈顿、链接准则如单/全/平均/ward链接。ε (eps)邻域半径MinPts核心点的最小邻域样本数。核心算法流程1. 随机初始化K个质心。2. 分配样本到最近质心。3. 重新计算质心。4. 迭代2-3步直至收敛。凝聚法 (自底向上)1. 视每个样本为独立簇。2. 合并距离最近的两个簇。3. 重复直至所有样本聚为一类。1. 标记所有点核心点、边界点、噪声点。2. 从任意核心点出发密度可达的所有点形成一个簇。3. 重复直至所有核心点被访问。是否需要预设簇数是必须预先指定K值。否通过设定距离阈值或观察树状图来最终确定簇的划分。否簇的数量由数据密度和参数(ε, MinPts)自然决定。对噪声/异常值的敏感性敏感离群点会显著影响质心位置。中等敏感取决于链接准则某些准则如单链接对噪声敏感。不敏感能将低密度区域的点直接标记为噪声。输出结果一个扁平的簇划分每个样本属于一个簇。一个树状层次结构可在不同粒度上切割以获得不同数量的簇。簇的划分以及明确的噪声点标记。典型算法K-Means, K-Medoids, K-Means。AGNES (凝聚层次聚类), DIANA (分裂层次聚类)。DBSCAN, OPTICS, HDBSCAN。主要优缺点优点简单、高效适用于大数据集。缺点需预设K、对初始值敏感、对非凸簇和噪声敏感。优点无需预设簇数可视化好树状图能展示层次关系。缺点计算和存储复杂度高O(n²)或O(n³)合并/分裂决策不可逆。优点无需预设簇数能发现任意形状簇抗噪声能力强。缺点对参数(ε, MinPts)敏感高维数据中距离度量失效“维度灾难”。最佳应用场景数据集呈凸形、簇大小均匀、分布密集且簇数K已知或可估计的场景如客户细分RFM模型、图像颜色量化、文档主题分类。需要探索数据层次结构或簇数未知的场景如生物物种分类系统发育树、社交网络社区发现、文档/新闻的层次化主题归类。数据簇形状不规则、含有大量噪声或离群点、簇密度不均匀的场景如地理信息系统中识别城市群、异常检测如信用卡欺诈、卫星图像中识别森林区域。核心算法原理与关键代码实现1. 划分聚类K-MeansK-Means的目标是最小化簇内误差平方和SSE。其核心是迭代的“分配-更新”过程。from sklearn.cluster import KMeans import numpy as np # 模拟数据 np.random.seed(0) X np.random.randn(300, 2) # K-Means聚类 kmeans KMeans(n_clusters3, initk-means, n_init10, max_iter300, random_state42) kmeans.fit(X) labels kmeans.labels_ centroids kmeans.cluster_centers_ print(f簇中心坐标: {centroids}) print(fSSE (惯性): {kmeans.inertia_:.2f})2. 层次聚类凝聚层次聚类 (AGNES)凝聚层次聚类从每个点作为一个簇开始逐步合并最相似的簇。from scipy.cluster.hierarchy import dendrogram, linkage, fcluster from sklearn.preprocessing import StandardScaler import matplotlib.pyplot as plt # 数据标准化 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 计算链接矩阵 (使用Ward方法最小化簇内方差) Z linkage(X_scaled, methodward) # 绘制树状图 plt.figure(figsize(10, 5)) dendrogram(Z, truncate_modelastp, p12, show_leaf_countsTrue) plt.title(凝聚层次聚类树状图) plt.xlabel(样本索引) plt.ylabel(合并距离) plt.show() # 在指定距离阈值处切割树状图形成扁平簇 max_d 5 # 距离阈值 clusters fcluster(Z, max_d, criteriondistance) print(f在距离阈值{max_d}处切割得到 {len(np.unique(clusters))} 个簇)3. 密度聚类DBSCANDBSCAN基于核心点、边界点和噪声点的定义来扩展簇。from sklearn.cluster import DBSCAN from sklearn.datasets import make_moons # 生成半月形非凸数据 X_moons, _ make_moons(n_samples300, noise0.05, random_state0) # DBSCAN聚类 dbscan DBSCAN(eps0.3, min_samples5) labels_db dbscan.fit_predict(X_moons) # 统计结果-1表示噪声点 n_clusters len(set(labels_db)) - (1 if -1 in labels_db else 0) n_noise list(labels_db).count(-1) print(f估计的簇数量: {n_clusters}) print(f识别出的噪声点数量: {n_noise}) # 可视化 plt.scatter(X_moons[:, 0], X_moons[:, 1], clabels_db, cmapviridis, s50, edgecolorsk) plt.title(DBSCAN聚类结果 (能识别任意形状簇)) plt.show()算法选择指南与应用实例选择哪种算法取决于数据的特性和分析目标数据形状与分布若数据呈球形或凸形且簇大小均匀选K-Means。若数据呈任意形状如流形、环状或有噪声选DBSCAN。若想探索数据的层次关系选层次聚类。先验知识若已知或能估计簇数K可考虑K-Means。若完全未知且不想预设参数可先尝试层次聚类观察结构或用DBSCAN。计算效率与数据规模大数据集K-Means效率高O(n)。中小数据集需可视化层次层次聚类。中等规模形状复杂DBSCAN。综合应用实例鸢尾花数据集聚类对比from sklearn import datasets from sklearn.metrics import adjusted_rand_score import pandas as pd # 加载鸢尾花数据集 iris datasets.load_iris() X iris.data y_true iris.target # 真实标签仅用于评估 # 分别应用三种算法 kmeans KMeans(n_clusters3, random_state42).fit(X) hierarchical fcluster(linkage(X, methodward), t3, criterionmaxclust) - 1 # 切割为3簇 dbscan DBSCAN(eps0.5, min_samples5).fit(X) # 评估使用调整兰德指数ARI越接近1越好 results { 算法: [K-Means, 层次聚类, DBSCAN], ARI分数: [ adjusted_rand_score(y_true, kmeans.labels_), adjusted_rand_score(y_true, hierarchical), adjusted_rand_score(y_true, dbscan.labels_) ], 发现的簇数: [ len(set(kmeans.labels_)), len(set(hierarchical)), len(set(dbscan.labels_)) ] } df_results pd.DataFrame(results) print(df_results)在这个例子中鸢尾花数据近似球形分布K-Means和层次聚类通常表现良好而DBSCAN可能因参数设置不当而将部分点判为噪声。参考来源机器学习聚类层次聚类密度聚类K-means谱聚类【Python机器学习实战】聚类算法——层次聚类(HAC)和DBSCAN【机器学习】任务七聚类算法 K-means 算法、层次聚类、密度聚类对鸢尾花Iris数据进行聚类层次聚类和密度聚类思想及实现k均值密度聚类层次聚类三种聚类底层逻辑的区别了解聚类是什么。聚类方法k-means、核聚类、层次聚类、谱聚类