【详解】文本检测OCR模型的评价指标

关于文本检测OCR模型的评价指标

前言：网上关于评价标准乱七八糟的，有关于单词的，有关于段落的，似乎没见过谁解释一下常见论文中常用的评价指标具体是怎么计算的，比如DBNet，比如RCNN，这似乎好像默认大家都知道咋算了。

好吧，我不知道，我刚搞懂，做个笔记。

识别网络

识别网络是最简单的，只有一个指标，就是准确率

检测正确的图像占总图像的比例
$$accuracy=\frac{检测正确的小图数量}{数据集中所有的小图数量}$$

这里的图像指的是“小图”，如下所示：

识别结果就是文本，如果识别结果与标注一致，即为正样本。

检测网络

检测网络就是采用的二分类的最简单的混淆矩阵
有框没框，框的位置对不对，都需要设定阈值进行限定

$$\text{ Precision }=\frac{TP}{TP+FP}$$
$$\text{ Recall }=\frac{TP}{TP+FN}$$
$$F_{\text{Score }}=\left(1+{\beta }^2\right)\frac{\text{ Precision }\cdot \text{ Recall }}{{\beta }^2\cdot \text{ Precision }+\text{ Recall }}（\beta 系数一般取1）$$

两者和在一起组成OCR系统，以paddleOCR为例

官方指标评估代码与方法

PaddleOCR计算三个OCR检测相关的指标，分别是：Precision、Recall、Hmean（F-Score）。

PS：这里，Hmean与F-Score在PaddleOCR-V1中是分开的，Hmean特指检测位置部分的指标，F-Score特指OCR系统的指标，V2V3就没区分了，全部都是OCR系统的指标。

区别在于：TP的计算，OCR系统的指标需要：真实有框的位置，预测为有框，且识别结果正确。

依据论文：

举个非常好的例子

如上图所示：

• 真实有框的数量为10个
• 真实有框和预测有框对上的数量有7个：TP=7（绿蓝）
• 但其中只有5个识别正确，所以：TP=5（红绿蓝）
• 真实没框和预测有框的数量为2个：FP=2（纯蓝）
• 真实有框但没有预测出来的有3个：FN=3（纯绿）

计算如下：

检测算法指标计算：

$$\text{ Precision }=\frac{TP}{TP+FP}=\frac{7}{7+2}=0.7778$$
$$\text{ Recall }=\frac{TP}{TP+FN}=\frac{7}{7+3}=0.7$$
$$F_{\text{Score }}=\left(1+{\beta }^2\right)\frac{\text{ Precision }\cdot \text{ Recall }}{{\beta }^2\cdot \text{ Precision }+\text{ Recall }}=\left(2\right)\frac{\text{ 0.7778 }\cdot \text{ 0.7 }}{1\cdot \text{ 0.7778 }+\text{0.7 }}=0.73685$$

整体OCR系统指标计算：

$$\text{ Precision }=\frac{TP}{TP+FP}=\frac{5}{5+2}=0.714$$
$$\text{ Recall }=\frac{TP}{TP+FN}=\frac{5}{5+3}=0.625$$
$$F_{\text{Score }}=\left(1+{\beta }^2\right)\frac{\text{ Precision }\cdot \text{ Recall }}{{\beta }^2\cdot \text{ Precision }+\text{ Recall }}=\left(2\right)\frac{\text{ 0.714 }\cdot \text{ 0.625 }}{1\cdot \text{ 0.714 }+\text{ 0.625 }}=0.66654$$