DL/CV领域常见指标术语(FLOPS/mIoU/混淆矩阵/F1-measure)------一篇入门

1. FLOPS、FLOPs和GFLOPs

FLOPS: floating-point operations per second，每秒浮点运算次数，用来衡量硬件性能。

FLOPs：floating point of operations，是浮点运算次数，用来衡量算法、模型的复杂度。

GFLOPS：Giga Floating-point Operations Per Second，即每秒10亿次的浮点运算数,

 如何计算FLOPs？

 

 而在实际中，我们不可能自己计算FLOPs，所以，有相关计算FLOPs的三方库，一个是torchstat，一个是thop。

计算实例：

 2.mIoU：

mIoU：mean Intersection over Union 平均交并比，计算机视觉任务中常用的评估指标，特别是在目标检测和语义分割任务当中。用于衡量模型的边界框或分割区域与真是边界框或真是分割区域之间的重叠程度。

计算方法：

   (交并比)---------对于每一个预测的边界框或分割区域

• 是预测区域与真实区域的重叠部分（交集）的面积。
• 是预测区域和真是区域的总面积（并集），即二者的并集减去交集的面积。

 (平均交并比)------对每个样本或类别分别计算 IoU，然后取它们的平均值

其中:

• 是样本或类别的数量
• 是第个样本或类别的IoU。

mIoU 的意义

• 1.0 的 mIoU 表示模型的预测完全准确，预测区域和真实区域完全重合。
• 0 的 mIoU 表示模型的预测完全错误，预测区域和真实区域没有任何重叠。

在目标检测和分割任务中，mIoU 越高，模型的性能越好。因此，mIoU 被广泛用于评估模型在处理物体定位或区域划分任务时的表现。

3. 混淆矩阵

	预测值（P）	预测值（N）
真实值（T）	TP	FN
真实值（F）	FP	TN

指标说明：

• precision：精度，即查准率
  • precision = TP / (TP + FP)   
  • 预测为正样本，并且确实为正样本 / 所有预测为正样本
• recall：召回率，即查全率
  • recall = TP / (TP + FN) 
  • 预测为正样本，并且确实为正样本 / 实际上所有正样本

案例说明：

预测：红（负样本）＋绿（正样本）一般来讲，当预测框和真实框IOU>=0.5时，被认为是正样本。

真实：蓝（正样本）

1. 图 TP + FP的数量为 4（即两个绿框和两个红框），进一步，TP 是 分类器预测为正样本并且预测对了，所以 TP 为 2 （两个绿框）；同理 FP 是分类器预测为正样本但是预测错了，图中解释即分类器画出框了但是画了了，即 误检，所以 FP 为2（两个红框）
2. FN，分类器预测为负样本但是预测错了，在图中可以解释为，真实框我标出来了，分类器认为是负样本没标出来，即分类器 漏检，所以 FN为1（对应于图中下排第2个蓝框真实框没有检出）

precision = TP /（TP + FP）= 1/2
recall = TP /（TP + FN） = 2/3

4. F1-measure

1. 解释：

综合 precision 与 recall，当 F-meansure 较高时，precision 与 recall 都较高。

2. 计算公式：

F-meansure = 2 / (1/precision + 1/recall ）
           = 2 * [ precision * recall / (precision + recall)]