[目标检测] OCR: 文字检测、文字识别、text spotter

概述

OCR技术存在两个步骤：文字检测和文字识别，而end-to-end完成这两个步骤的方法就是text spotter。

文字检测数据集摘要

daaset	语言	体量	特色
MTWI	中英文	20k	源于网络图像，主要由合成图像，产品描述，网络广告(淘宝)
MSRA-TD500	中英文
SynthText		800k img + 8000k text	合成数据
CTW1500	中文	32k	野外场景
ICDAR 2015
ICDAR 2019-ReCTS	中文		标识牌上的文字（店铺名等）
ICDAR2019-ArT	中英文		组合Total-Text+SCUT-CTW1500+Baidu Curved Scene Text
ICDAR2019-LSVT	中英文	30k full annotation + 40k weakly annotation	Large-scale Street View Text with Partial Labeling,
ICDAR2017-DeText			Text Extraction from Biomedical Literature Figures， 生物医学文献图形中的文本提取
ICDAR 2011 (Born-Digital Images)、ICDAR 2017	英文
CurvedSynText150k	英文
Total-Text	英文+少量中文	1.5k	各种形状的文本,包括水平的,多取向的和弯曲的
Lecture Video DB
IMGUR			handwriting
KAIST
ILST	印度语言		三种印度语言（Devanagari 、 Telugu 和Malayalam）的场景文本识别数据集
VinText
BID			巴西身份证件数据集
RCTW		12k+	手机野外拍摄，包括街景、海报、菜单、室内场景以及手机应用的截图
HierText (Google)	英文		自然图像或者文献

OCR方法

前沿text spotter方法

• PSENet、PAN、PAN++(PAMI 2021)
• DeepSolo (CVPR2023)

方法框架

• mmocr: 集成方法并不是最新的(2022年以前的），其中预训练方法只支持英文，文字检测方法还可以检测出中文，文字识别无法识别中文，text spotter尚未介入到统一的接口中。

Github high star

• tesseract（57.7k star）：大概率是文字识别模型，C/C++，提供command line tool。
• PaddleOCR（38.1k star）: 80+ language support。提供轻量化、提供在线demo（后面有测试）,provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices。
• EasyOCR（21.8k star）: pytorch based，文字检测基于CRAFT，识别基于LSTM+Transformer。Ready-to-use OCR with 80+ supported languages and all popular writing scripts including Latin, Chinese, Arabic, Devanagari, Cyrillic and etc.提供 在线DEMO。
• tesseract.js (33.2k star): pure Javascript OCR for more than 100 Languages。
• UniOCR (20.6k star): 提供一个界面。
• OCRmyPDF (11.8k star): 解析pdf图片，基于tesseract。

PaddleOCR（PP-OCRv4）测试图如下

（1）弧形分布文字检测和识别都不准

(2) 放大了也识别不出来，应该和training data相关

Reference

• https://mmocr.readthedocs.io/en/dev-1.x/