当前位置： 首页 > news >正文

【机器学习】26. 聚类评估方法

news 2025/6/2 3:39:22

聚类评估方法

  • 1. Unsupervised Measure
    • 1.1. Method 1: measure cohesion and separation
      • Silhouette coefficient
    • Method 2：Correlation between two similarity matrices
    • Method 3：Visual Inspection of similarity matrix
  • 2. Supervised measures
  • 3. 决定cluster的数量
  • 4. 确定聚类趋势

1. Unsupervised Measure

  • 一个集群内的相似性高，集群之间的相似性低
  • 这些措施也被称为internal

1.1. Method 1: measure cohesion and separation

cohesion 和separation使用距离测量
cohesion ：每个点与集群中心的距离（曼哈顿）
整体cohesion ：直接相加

separation：每个类的中心的距离
整体separation：乘以数量权重再相加

在这里插入图片描述
也可以用平方距离 名字改成SSE BSE

Silhouette coefficient

对于某个点i:
a_I: 点i到簇内所有其他点的平均距离, 代表凝聚度
b_i: 首先找到点i到另一个簇中所有点的平均距离, 然后取这些平均距离的最小值
在这里插入图片描述
s的范围是[−1,1]，越高越好

Method 2：Correlation between two similarity matrices

• 第一个相似度矩阵从距离得出
• 第二个相似度矩阵从聚类结果得出 0 不同，1相同
计算这两个相似度矩阵的相关性.

Method 3：Visual Inspection of similarity matrix

Plot the similarity matrix using coloring based on the similarity
在这里插入图片描述
主对角线的块状结构越清晰越好

2. Supervised measures

  • 将聚类结果与“ground truth”（专家提供的正确聚类标签）进行比较
  • 也叫External

3. 决定cluster的数量

elbow method
运行几个k的聚类算法，绘制SSE或其他无监督度量与簇的数量
寻找明显的膝盖或峰=大量的集群
在这里插入图片描述

4. 确定聚类趋势

Hopkins statistic

相关文章：

【机器学习】26. 聚类评估方法

聚类评估方法 1. Unsupervised Measure1.1. Method 1: measure cohesion and separationSilhouette coefficient Method 2：Correlation between two similarity matricesMethod 3：Visual Inspection of similarity matrix 2. Supervised measures3. 决定…...

编程日记 2024/11/3 0:19:56

linux 最多能创建多少个 TCP 连接？

linux 最大允许TCP连接数 约束一&#xff1a;服务器的端口范围约束二&#xff0c;服务器文件描述符限制约束三&#xff1a;系统线程约束四&#xff1a;系统内存总结 tcp连接四元组&#xff1a;源ip&#xff0c;源端口 <> 目标ip&#xff0c;目标端口 连续对同一个目标ip及…...

编程日记 2024/11/3 0:17:54

我为何要用wordpress搭建一个自己的独立博客

我在csdn有一个博客&#xff0c;这个博客是之前学习编程时建立的。 博客有哪些好处呢&#xff1f; 1&#xff0c;可以写自己的遇到的问题和如何解决的步骤 2&#xff0c;心得体会&#xff0c;经验&#xff0c;和踩坑 3&#xff0c;可以转载别人的好的技术知识 4&#xff0c;宝贵…...

编程日记 2024/11/3 0:16:54

Linux系统每日定时备份mysql数据

一、创建存储脚本的文件夹 创建文件夹&#xff0c;我的脚本放在/root/dbback/mysql mkdir ... cd /root/dbback/mysql 二、编写脚本 vi backup_mysql.sh 复制脚本内容 DB_USER"填写用户名" DB_PASSWORD"填写密码" DB_NAME"数据库名称" # …...

编程日记 2024/11/3 0:15:52

书生大模型第一关Linux基础知识

任务一&#xff1a;完成SSH连接与端口映射并运行hello_world.py 1.SSH及其端口映射 2.在VSCode中安装插件&#xff1a; 3.创建开发机 最后点击创建&#xff0c;然后可能需要等待一段较长的时间&#xff0c;大概需要5分钟左右&#xff0c;如果需要排队则更长时间 然后选择…...

编程日记 2024/11/3 0:14:49

机器学习之fetch_olivetti_faces人脸识别--基于Python实现

fetch_olivetti_faces 数据集下载 fetch_olivetti_faceshttps://github.com/jikechao/olivettifaces sklearn.datasets.fetch_olivetti_faces(*, data_homeNone, shuffleFalse, random_state0, download_if_missingTrue, return_X_yFalse, n_retries3, delay1.0)[source] L…...

编程日记 2024/11/3 0:13:48

【系统设计】深入理解HTTP缓存机制：从Read-Through缓存到HTTP缓存的交互流程

在现代Web开发中&#xff0c;缓存机制扮演着至关重要的角色。它不仅提升了用户体验&#xff0c;还极大地优化了资源的使用效率。在这篇博文中&#xff0c;我们将从“Read-Through”缓存的概念出发&#xff0c;深入探讨HTTP缓存的工作原理和交互流程&#xff0c;并详细描述max-a…...

编程日记 2024/11/3 0:12:47

FLINK单机版安装部署入门-1

文章目录 FLINK单机版安装部署高于1.9.3需要修改配置文件flink-conf.yaml(低于1.9.3可以跳过)linux启动集群windows下启动Flink实例运行(单机)还有一种方式是上传任务包运行examples\streamingjava: Compilation failed: internal java compiler error高版本启动脚本 FLINK单机…...

编程日记 2024/11/3 0:11:45

深度学习-学习率调整策略

在深度学习中&#xff0c;学习率调整策略&#xff08;Learning Rate Scheduling&#xff09;用于在训练过程中动态调整学习率&#xff0c;以实现更快的收敛和更好的模型性能。选择合适的学习率策略可以避免模型陷入局部最优、震荡不稳定等问题。下面介绍一些常见的学习率调整策…...

编程日记 2024/11/3 0:10:44

【学员提问bug】小程序在onUnload里面调接口，用来记录退出的时间, 但是接口调用还没成功, 页面就关闭了。如何让接口在onUnload关闭前调用成功？

这种问题比较通用&#xff0c;并不涉及到具体方法执行障碍&#xff0c;所以&#xff0c;解决起来也不麻烦。但是新手往往不知道如何做。 在小程序中&#xff0c;如果在 onUnload 中调用 API 记录页面退出时间&#xff0c;但因为页面关闭速度较快导致请求未完成&#xff0c;可以…...

编程日记 2024/11/3 0:09:42

【刷题13】链表专题

目录 一、两数相加二、两两交换链表的节点三、重排链表四、合并k个升序链表五、k个一组翻转链表 一、两数相加 题目&#xff1a; 思路&#xff1a; 注意整数是逆序存储的&#xff0c;结果要按照题目的要求用链表连接起来遍历l1的cur1&#xff0c;遍历l2的cur2&#xff0c;和…...

编程日记 2024/11/3 0:06:40

Python Turtle模块详解与使用教程

Python Turtle模块详解与使用教程 引言 Python是一种广泛使用的编程语言&#xff0c;其简洁易读的语法使得它成为初学者学习编程的理想选择。而Turtle模块则是Python标准库中一个非常有趣且实用的图形绘制工具&#xff0c;特别适合用于教育和学习编程的基础知识。通过Turtle模…...

编程日记 2024/11/3 0:05:36

【PTA】4-2 树的同构【数据结构】

给定两棵树 T1​ 和 T2​。如果 T1​ 可以通过若干次左右孩子互换就变成 T2​&#xff0c;则我们称两棵树是“同构”的。例如图1给出的两棵树就是同构的&#xff0c;因为我们把其中一棵树的结点A、B、G的左右孩子互换后&#xff0c;就得到另外一棵树。而图2就不是同构的。 图一…...

编程日记 2024/11/3 0:04:34

Node.js——fs模块-同步与异步

本文的分享到此结束&#xff0c;欢迎大家评论区一同讨论学习&#xff0c;下一篇继续分享Node.js的fs模块文件追加写入的学习。...

编程日记 2024/11/3 0:03:33

Java基于微信小程序的私家车位共享系统(附源码，文档）

博主介绍&#xff1a;✌stormjun、8年大厂程序员经历。全网粉丝15w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专栏推荐订阅&#x1f447;&…...

编程日记 2024/11/3 0:01:31

vscode 创建 vue 项目时，配置文件为什么收缩到一起展示了？

一、前言 今天用 vue 官方脚手架创建工程&#xff0c;然后通过 vscode 打开项目发现&#xff0c;配置文件都被收缩在一起了。就像下面这样 这有点反直觉&#xff0c;他们应该是在同一层级下的&#xff0c;怎么会这样&#xff0c;有点好奇&#xff0c;但是打开资源管理查看&…...

编程日记 2024/11/3 0:00:29

PySpark任务提交

一般情况下&#xff0c;spark任务是用scala开发的&#xff0c;但是对于一些偏业务人员&#xff0c;或者是基于上手的来说python的API确实降低了开发前置条件的难度&#xff0c;首当其冲的就是能跳过Java和Scala需要的知识储备&#xff0c;但是在提交任务到集群的时候就很麻烦了…...

编程日记 2024/11/2 23:55:25

【果蔬购物商城管理与推荐系统】Python+Django网页界面+协同过滤推荐算法+管理系统网站

一、介绍 果蔬购物管理与推荐系统。本系统以Python作为主要开发语言&#xff0c;前端通过HTML、CSS、BootStrap等框架搭建界面&#xff0c;后端使用Django框架作为逻辑处理&#xff0c;通过Ajax实现前后端的数据通信。并基于用户对商品的评分信息&#xff0c;采用协同过滤推荐…...

编程日记 2024/11/2 23:53:23

【大模型】海外生成式AI赛道的关键玩家：OpenAI、Anthropic之外还有谁？

引言 在生成式AI快速发展的今天&#xff0c;不同公司在各自领域发挥着独特作用。本文将从基础模型研发、开发工具框架、垂直领域应用三个维度&#xff0c;为读者梳理当前生成式AI技术领域的主要参与者&#xff0c;帮助开发者更好地把握技术发展方向。 一、基础模型研发公司 O…...

编程日记 2024/11/2 23:51:20

kubevirt cloud-init配置

https://cloudinit.readthedocs.io/en/latest/reference/examples.html （示例） https://cloudinit.readthedocs.io/en/latest/reference/faq.html （常见问题） https://cloudinit.readthedocs.io/en/latest/howto/debug_user_data.html （检查user_data） https://clo…...

编程日记 2024/11/2 23:49:18

C++数据结构 ： 哈希表的实现

C数据结构 &#xff1a; 哈希表的实现 目录 C数据结构 &#xff1a; 哈希表的实现引言1. 哈希概念1.1 直接定址法1.2 哈希冲突1.3 负载因子 2. 哈希函数2.1 除法散列法/除留余数法2.2 乘法散列法&#xff08;了解&#xff09;2.3 全域散列法&#xff08;了解&#xff09; 3. 处…...

编程新知 2025/6/2 1:49:59

webpack CDN打包优化

CDN网络分发服务 请求资源时最近的服务器将缓存内容交给用户 体积较大且变动不多的文件存在CDN文件中 react react-dom资源 // 添加自定义对于webpack的配置const path require(path) const { whenProd, getPlugin, pluginByName } require(craco/craco)module.exports {//…...

编程新知 2025/6/2 1:37:42

Deseq2：MAG相对丰度差异检验

首先使用代码将contigs和MAG联系起来 https://github.com/MrOlm/drep/blob/master/helper_scripts/parse_stb.py ~/parse_stb.py --reverse -f ~/bin_dir/* -o ~/bin_dir/genomes.stb # 查看第一列的contigs有没有重复&#xff08;重复的话会影响后续比对&#xff09; awk {p…...

编程新知 2025/6/2 1:32:25

题解：洛谷 P12672 「LAOI-8」近期我们注意到有网站混淆视听

设 LGR 存在数量为 x x x&#xff0c;CSP 存在数量为 y y y。 很明显&#xff0c;我们只需要将其中数量较小的一方改没就行了&#xff08;一个巴掌拍不响&#xff09;。 每两个字符串可同意进行一次更改&#xff0c;答案为&#xff1a; ⌈ min ⁡ ( x , y ) 2 ⌉ \left\lce…...

编程新知 2025/6/1 23:31:48

LearnOpenGL-笔记-其十二

今天我们来将LearnOpenGL的高级光照部分彻底完结&#xff1a; Bloom 泛光是一个非常常见的用于改善图像质量的手段&#xff0c;其主要做法就是将某个高亮度区域的亮度向四周发善以实现该区域更亮的视觉效果&#xff08;因为显示器的亮度范围有限&#xff0c;需要通过泛光来体…...

编程新知 2025/6/1 22:18:35

word批量导出visio图

具体步骤 修改word格式打开VBA窗口插入代码运行代码 修改word格式 将word文档修改为docm格式 打开VBA窗口 打开开发工具VisualBasic项&#xff0c;如果没有右键在自定义功能区添加 插入代码 插入 -> 模块&#xff0c;代码如下&#xff1a; Sub ExportAllVisioDiagrams()D…...

编程新知 2025/6/1 22:08:09

[SC]SystemC在CPU/GPU验证中的应用（六）

SystemC在CPU/GPU验证中的应用（六） 摘要：下面分享50个逐步升级SystemC编程能力的示例及建议的学习路线图。您可以一次一批地完成它们——从前五个基础的例子开始，然后转向channels, TLM, bus models, simple CPU/GPU kernels等等。在每个阶段掌握之后，再进行下一组…...

编程新知 2025/6/1 21:14:51

11.4java语言执行浅析4

编译成字节码&#xff08;.class 文件&#xff09; 使用 javac 命令将源代码编译为 Java 字节码&#xff08;bytecode&#xff09; 它不是机器码&#xff0c;而是 JVM 能理解的中间语言&#xff08;字节码&#xff09;&#xff0c;具有平台无关性。 编译过程简要&#xff1…...

编程新知 2025/6/1 19:07:22

Unity数字人开发笔记——讯飞超拟人语音

基于上一篇&#xff1a; https://blog.csdn.net/qq_17523181/article/details/148255809?spm1001.2014.3001.5501 https://blog.csdn.net/qq_17523181/article/details/148264127?spm1011.2415.3001.5331 讯飞默认的语音非常机械&#xff0c;更换为讯飞的超拟人语音 一、讯飞…...

编程新知 2025/6/1 18:02:29

【深度学习】10. 深度推理（含链式法则详解）RNN, LSTM, GRU，VQA

深度推理&#xff08;含链式法则详解&#xff09;RNN, LSTM, GRU&#xff0c;VQA RNN 输入表示方式 在循环神经网络&#xff08;Recurrent Neural Network, RNN&#xff09;中&#xff0c;我们处理的是一段文字或语音等序列数据。对于文本任务&#xff0c;输入通常是单词序列…...

编程新知 2025/6/1 16:27:40