当前位置: 首页 > news >正文

分类模型评估利器-混淆矩阵

相关文章

地理时空动态模拟工具介绍(上)
地理时空动态模拟工具介绍(下)地理时空动态模拟工具的使用方法

前言

混淆矩阵(Confusion Matrix)是机器学习领域中用于评估分类模型性能的一种工具。它通过矩阵的形式,将模型的预测结果与实际分类进行比较,从而可以直观地展示分类模型的性能及精度。通常,混淆矩阵用于二分类问题(例如是否患有某种疾病),但是在GIS的分类模型中,多分类问题更为常见(例如多种土地利用类型)。

01 混淆矩阵的类别介绍

二分类混淆矩阵

对于二分类问题,混淆矩阵包含四个主要部分:

1. True Positive (TP):模型正确预测为正类的实例数量。(真阳性)

2. False Positive (FP):模型错误预测为正类(实际上是负类)的实例数量。(假阳性)

3. False Negative (FN):模型错误预测为负类(实际上是正类)的实例数量。(假阴性)

4. True Negative (TN):模型正确预测为负类的实例数量。(真阴性)

二分类混淆矩阵的结构如下:

实际正类

实际负类

预测正类

TP

FP

预测负类

FN

TN

多分类混淆矩阵

多分类混淆矩阵的每行代表预测类别,每列代表实际类别,对角线上的值表示正确分类的数量,非对角线上的值表示错误分类的数量。

例如,对于一个有3个类别(A、B、C)的多分类问题,混淆矩阵的结构如下:

实际为A

实际为B

实际为C

预测为A

a11

a12

a13

预测为B

a21

a22

a23

预测为C

a31

a32

a33

其中a11、a22、a33为正确的分类。类别还可以更多。同样,多分类矩阵将非对角线上的值进行合并,也可得到二分类中的TP、FP、TN、FN等相关值。

02 混淆矩阵的扩展

通过混淆矩阵,我们可以计算出多种评估指标,例如:

• 准确率(Accuracy):(TP + TN) / (TP + TN + FP + FN)

• 精确率(Precision):TP / (TP + FP)

• 召回率(Recall):TP / (TP + FN)

• F1分数(F1-Score):2 * (Precision * Recall) / (Precision + Recall)

这些指标可以帮助我们更加全面评估模型的性能,更常用于深度学习等方法中。

03 如何读懂GeoScene Pro中的混淆矩阵

Pro中的混淆矩阵,除有分类之外,还会包含U_Accuracy、P_Accuracy以及kappa系数等信息。以下表为例。

实际

预测

C_1

C_2

C_3

总计

U_Accuracy

kappa

C_1

49

4

4

57

0.8594

0

C_2

2

40

2

44

0.9091

0

C_3

3

3

59

65

0.9077

0

总计

54

47

65

166

0

0

P_Accuracy

0.9074

0.8511

0.9077

0

0.8916

0

kappa

0

0

0

0

0

0.8357

矩阵中共有3类样本。对角线上预测全部正确的共有49+40+59个样本,总数量为166,其交并比(IoU)为148/166=0.8916。

U_Accuracy字段叫做用户精度,也叫错分误差,表示预测中其他类被错分为成指定类。以第一行为例, 49个1类判断正确,4个实际为2类以及4个实际为3类的样本被错误判断为1类,1类的U_Accuracy为49/57。

P_Accuracy字段叫做制作者精度,也叫漏分误差,表示预测中指定类错报成其他类。以第一列为例,其中49个1类判断正确,2个实际为1类的样本错报成2类,3个实际为1类的样本错报成3类,1类的P_Accuracy为54/57。

表中的0.8916为整体精度。

kappa系数为0.8357,它是混淆矩阵的核心,用于整体评估分类的精度。

其公式如下:

是每一类正确分类的样本数量之和除以总样本数,即上文中提及的交并比=0.8916。

的计算公式如下:

各类实际样本数量为

,预测样本数量为

,总样本数量为n,类别总数为C。

的实际计算方法为

在带入Kappa公式

在分类模型精度评估中,Kappa指数如果大于0.75,就可以认为该模型整体精度比较高,预测结果可信。

04 如何在GeoScene Pro软件中计算混淆矩阵

上一节中我们已经了解到混淆矩阵主要用在分类问题中,用于对比预测和实际类型,从而计算分类结果的精度。在Pro中共计三步来完成混淆矩阵的计算。

第一步:使用创建精度评估点工具构建随机点。

创建精度评估点工具可以创建随机采样点,用于分类后精度评估,同时还可以将预测数据或实际数据的分类结果提取至采样点中。

创建精度评估点工具

该工具中的“输入栅格数据或要素类数据”可以是预测或实际类型数据本,需要注意必须与“目标字段”参数对应。

第二步:使用更新精度评估点工具补充随机点属性。

更新精度评估点工具可以选择实际或预测类型数据,也必须与“目标字段”参数对应。

更新精度评估点工具

上述两步运行完成后,打开精度评估点的属性表,包含Classfied字段(预测分类属性),GrndTruth字段(实际分类属性)。

精度评估表的属性表

第三步:使用计算混淆矩阵工具计算结果。

计算混淆矩阵工具

即可得到混淆矩阵。

混淆矩阵表

为简化上述步骤,还可以将上述工具制作成模型构建器。

混淆矩阵模型构建器

进一步还可以将模型构建器进行封装,制作成地理处理工具。

混淆矩阵综合工具

相关文章:

分类模型评估利器-混淆矩阵

相关文章 地理时空动态模拟工具介绍(上) 地理时空动态模拟工具介绍(下)地理时空动态模拟工具的使用方法 前言 混淆矩阵(Confusion Matrix)是机器学习领域中用于评估分类模型性能的一种工具。它通过矩阵的…...

算法题(23):只出现一次的数字

初级: 审题: 需要输出只出现了一次的数据,其他数据均出现了两次 思路: 若不限制空间复杂度: 方法一:哈希表 用哈希映射循环一次,把对应数字出现的次数记录到数组里面,然后再遍历一次…...

@RestController与@Controller区别

区别1: RestController是Controller的升级版 区别2: RestController用于标识一个类作为控制器,并且可以处理HTTP请求。控制器类通常用于接收用户输入并决定返回响应的内容。 RestController通常用于返回JSON或XML数据 区别3:…...

使用ExecutorService和@Async来使用多线程

文章目录 使用ExecutorService和Async来使用多线程采用ExecutorService来使用多线程多线程过程的详细解释注意事项优点 使用Async来使用多线程对比Async和ExecutorService的多线程使用方式使用 ExecutorService 的服务类使用 Async 的服务类异步任务类自定义线程池主应用类解释…...

计算机网络 (19)扩展的以太网

前言 以太网(Ethernet)是一种局域网(LAN)技术,它规定了包括物理层的连线、电子信号和介质访问层协议的内容。以太网技术不断演进,从最初的10Mbps到如今的10Gbps、25Gbps、40Gbps、100Gbps等,已成…...

构造器/构造方法

1. 构造器 1.1 概述 先浏览下面简单代码; class Cons{ // 属性int age;String name; // 方法public void show(){System.out.println("age"age);} } class ConsTest{public static void main(String[] args) {Cons c new Cons();// Cons() 就是…...

异常

目录 1. 异常的概念及使用 1.1 异常的概念 1.2 异常的抛出和捕获 1.3 栈展开 1.4 查找匹配的处理代码 1.5 异常的重新抛出 1.6 异常安全问题 1.7 异常规范 2. 标准库的异常 1. 异常的概念及使用 1.1 异常的概念 异常处理机制允许程序中独⽴开发的部分能够在运⾏时就…...

MySQL中distinct和group by去重的区别

MySQL中distinct和group by去重的区别 在MySQL中,我们经常需要对查询结果进行去重,而DISTINCT和GROUP BY是实现这一功能的两种常见方法。虽然它们在很多情况下可以互换使用,但它们之间还是存在一些差异的。接下来,我们将通过创建测…...

Qt判别不同平台操作系统调用相应动态库读取RFID

本示例使用的读卡器&#xff1a;https://item.taobao.com/item.htm?spma21dvs.23580594.0.0.52de2c1b8jdyXi&ftt&id562957272162 #include <QDebug> #include "mainwindow.h" #include "./ui_mainwindow.h" #include "QLibrary"…...

vue2+echarts实现水球+外层动效

实现效果 安装echarts-liquidfill 需要安装echarts-liquidfill&#xff01;&#xff01;&#xff01;需要安装echarts-liquidfill&#xff01;&#xff01;&#xff01;需要安装echarts-liquidfill&#xff01;&#xff01;&#xff01; 安装命令 npm install echarts-liqui…...

C++ 基础思维导图(一)

目录 1、C基础 IO流 namespace 引用、const inline、函数参数 重载 2、类和对象 类举例 3、 内存管理 new/delete 对象内存分布 内存泄漏 4、继承 继承权限 继承中的构造与析构 菱形继承 1、C基础 IO流 #include <iostream> #include <iomanip> //…...

【gopher的java学习笔记】依赖管理方式对比(go mod maven)

什么是go mod go mod是Go语言官方引入的模块管理工具&#xff0c;旨在简化项目依赖管理&#xff0c;提高构建的可重复性和稳定性。以下是关于go mod的详细介绍&#xff1a; 在go mod之前&#xff0c;Go语言主要依赖GOPATH和vendor目录来管理项目依赖。然而&#xff0c;这种方式…...

CTFshow—远程命令执行

29-35 Web29 代码利用正则匹配过滤了flag&#xff0c;后面加了/i所以不区分大小写。 可以利用通配符绕过 匹配任何字符串&#xff0f;文本&#xff0c;包括空字符串&#xff1b;*代表任意字符&#xff08;0个或多个&#xff09; ls file * ? 匹配任何一个字符&#xff08;不…...

Qt之简易音视频播放器设计(十五)

Qt开发 系列文章 - MediaPlayer&#xff08;十五&#xff09; 目录 前言 一、QMediaPlayer 二、实现方式 1.添加multimedia 2.创建类vedioplayer 3.UI设计 4.用户使用 5.效果演示 总结 前言 利用Qt进行音视频播放器设计&#xff0c;首先比较方便使用的是Qt自带的音视…...

ArrayList 和LinkedList的区别比较

前言 ‌ArrayList和LinkedList的主要区别在于它们的底层数据结构、性能特点以及适用场景。‌ArrayList和LinkedList从名字分析&#xff0c;他们一个是Array&#xff08;动态数组&#xff09;的数据结构&#xff0c;一个是Linked&#xff08;链表&#xff09;的数据结构&#x…...

Wallpaper壁纸制作学习记录13

骨骼物理模拟 Wallpaper Engine还允许您为人偶变形骨骼配置某些物理模拟。选择骨骼时&#xff0c;点击编辑约束来配置骨骼这些属性。 警告 请记住&#xff0c;物理模拟可能会根据用户的最大FPS设置略微改变其行为。 Wallpaper Engine编辑器将始终以高帧速率渲染。您可以将壁纸…...

Visual Studio 2022安装教程

1、下载网址 Visual Studio 2022 IDE安装网址借助 Visual Studio 设计&#xff0c;具有自动完成、构建、调试、测试功能的代码将与 Git 管理和云部署融为一体。https://visualstudio.microsoft.com/zh-hans/vs/ 点击图片所示 双击运行 2、安装 点击C桌面开发&#xff08;右边…...

std__invoke 的使用

std__invoke 的使用 文章目录 std__invoke 的使用1. std::invoke 的功能2. 语法3. 使用场景1. 调用普通函数2. 调用成员函数3. 调用成员函数&#xff08;通过指针或引用&#xff09;4. 调用函数对象&#xff08;仿函数&#xff09;5. 调用 Lambda 表达式 4. std::invoke 的优势…...

2501d,d.109

原文 2.109.0带来了15个主要更改和26个修复的Bugzilla问题.非常感谢39位贡献者,是他们使2.109.0变成可能. 更改编译器 1,[下一版]现在,为类型实例的成员设置别名是个错误 2,添加位字段内省功能 3,添加了从CTFE写入消息的__ctfeWrite 4,现在-verrors也限制弃用警告 5,dtoh为e…...

1、蓝牙打印机环境搭建

本项目采用stm32f103c8T6芯片&#xff0c;通过库函数实现打印功能&#xff0c;并配置有小程序蓝牙通信上位机。 1、创建文件夹目录 core文件夹存放核心库文件 LIB文件夹存放标准库函数文件 这里可以删减&#xff0c;用不到的可以不要。 obj存放编译后的文件 project存放项目…...

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…...

装饰模式(Decorator Pattern)重构java邮件发奖系统实战

前言 现在我们有个如下的需求&#xff0c;设计一个邮件发奖的小系统&#xff0c; 需求 1.数据验证 → 2. 敏感信息加密 → 3. 日志记录 → 4. 实际发送邮件 装饰器模式&#xff08;Decorator Pattern&#xff09;允许向一个现有的对象添加新的功能&#xff0c;同时又不改变其…...

内存分配函数malloc kmalloc vmalloc

内存分配函数malloc kmalloc vmalloc malloc实现步骤: 1)请求大小调整:首先,malloc 需要调整用户请求的大小,以适应内部数据结构(例如,可能需要存储额外的元数据)。通常,这包括对齐调整,确保分配的内存地址满足特定硬件要求(如对齐到8字节或16字节边界)。 2)空闲…...

Ubuntu系统下交叉编译openssl

一、参考资料 OpenSSL&&libcurl库的交叉编译 - hesetone - 博客园 二、准备工作 1. 编译环境 宿主机&#xff1a;Ubuntu 20.04.6 LTSHost&#xff1a;ARM32位交叉编译器&#xff1a;arm-linux-gnueabihf-gcc-11.1.0 2. 设置交叉编译工具链 在交叉编译之前&#x…...

RocketMQ延迟消息机制

两种延迟消息 RocketMQ中提供了两种延迟消息机制 指定固定的延迟级别 通过在Message中设定一个MessageDelayLevel参数&#xff0c;对应18个预设的延迟级别指定时间点的延迟级别 通过在Message中设定一个DeliverTimeMS指定一个Long类型表示的具体时间点。到了时间点后&#xf…...

突破不可导策略的训练难题:零阶优化与强化学习的深度嵌合

强化学习&#xff08;Reinforcement Learning, RL&#xff09;是工业领域智能控制的重要方法。它的基本原理是将最优控制问题建模为马尔可夫决策过程&#xff0c;然后使用强化学习的Actor-Critic机制&#xff08;中文译作“知行互动”机制&#xff09;&#xff0c;逐步迭代求解…...

聊聊 Pulsar:Producer 源码解析

一、前言 Apache Pulsar 是一个企业级的开源分布式消息传递平台&#xff0c;以其高性能、可扩展性和存储计算分离架构在消息队列和流处理领域独树一帜。在 Pulsar 的核心架构中&#xff0c;Producer&#xff08;生产者&#xff09; 是连接客户端应用与消息队列的第一步。生产者…...

Qt Http Server模块功能及架构

Qt Http Server 是 Qt 6.0 中引入的一个新模块&#xff0c;它提供了一个轻量级的 HTTP 服务器实现&#xff0c;主要用于构建基于 HTTP 的应用程序和服务。 功能介绍&#xff1a; 主要功能 HTTP服务器功能&#xff1a; 支持 HTTP/1.1 协议 简单的请求/响应处理模型 支持 GET…...

拉力测试cuda pytorch 把 4070显卡拉满

import torch import timedef stress_test_gpu(matrix_size16384, duration300):"""对GPU进行压力测试&#xff0c;通过持续的矩阵乘法来最大化GPU利用率参数:matrix_size: 矩阵维度大小&#xff0c;增大可提高计算复杂度duration: 测试持续时间&#xff08;秒&…...

GC1808高性能24位立体声音频ADC芯片解析

1. 芯片概述 GC1808是一款24位立体声音频模数转换器&#xff08;ADC&#xff09;&#xff0c;支持8kHz~96kHz采样率&#xff0c;集成Δ-Σ调制器、数字抗混叠滤波器和高通滤波器&#xff0c;适用于高保真音频采集场景。 2. 核心特性 高精度&#xff1a;24位分辨率&#xff0c…...